Résumé Technique : Raisonnement Spatial via le Changement de Modalité entre le Langage et la Représentation Symbolique

Définition du Problème

Les grands modèles de langage (LLM) présentent des limitations significatives en matière de raisonnement spatial, particulièrement dans les contextes multi-étapes (multi-hop) où ils doivent composer plusieurs relations tout en maintenant une compréhension cohérente de l'emplacement des entités. Les benchmarks actuels (par exemple, StepGame, SpartQA, ReSQ) révèlent que même les modèles puissants sont confrontés à l'accumulation d'erreurs, à des hallucinations de relations et à des interprétations spatiales incohérentes lorsqu'ils s'appuient uniquement sur l'inférence en langage naturel. Contrairement au raisonnement humain, qui externalise souvent des descriptions spatiales complexes sous forme de croquis, de diagrammes ou de grilles pour simplifier la structure et éviter les erreurs, les LLM sont contraints d'inférer la géométrie et la disposition de manière implicite à partir du texte. Cet article étudie si le fait de fonder les récits spatiaux dans des modalités explicites et conscientes de la géométrie (telles que des mises en page ou des grilles) améliore les performances de raisonnement et si un modèle peut décider de manière adaptative quand passer du langage naturel à ces représentations structurées.

Méthodologie

1. Modalités de Raisonnement

Les auteurs proposent un cadre qui transforme les récits et questions spatiaux en quatre modalités de raisonnement distinctes :

• Texte Original : La base où le modèle raisonne directement sur l'histoire en langage naturel.
• Triplets Relationnels : Une représentation qualitative extrayant les relations spatiales par paires sous forme de triplets {tête, relation, queue} (par exemple, des relations directionnelles et topologiques).
• Grilles : Une représentation 2D structurée où les relations extraites sont mappées sur une disposition ligne-colonne discrète. Le cadre prend en charge à la fois les Grilles Complètes (représentant l'ensemble de la scène) et les Grilles Élaguées (ne conservant que les entités pertinentes pour la question afin de réduire le bruit).
• Mises en Page Basées sur des Coordonnées : Une représentation quantitative utilisant un solveur Prolog pour assigner des coordonnées numériques aux entités basées sur les contraintes extraites, fournissant une solution géométrique précise.

2. Changement de Modalité Adaptatif

Reconnaissant que le raisonnement structuré n'est pas toujours nécessaire ou rentable, l'article introduit une métrique de commutation pour décider quand s'appuyer sur le langage naturel et quand passer à une représentation basée sur une grille. Cette décision est basée sur deux signaux :

• Fiabilité ($T$) : Un score composite mesurant la fiabilité du raisonnement initial en langage naturel du modèle. Il est calculé comme $T = 0,6F + 0,4P$, où :
  • Fidélité ($F$) : Mesure si la réponse est ancrée dans les phrases de soutien (testée via des vérifications de suffisance et de nécessité).
  • Plausibilité ($P$) : Mesure la cohérence logique sous des transformations bénignes (testée via la stabilité de la paraphrase et la cohérence de l'inversion).
• Complexité ($C$) : Un score pondéré quantifiant la difficulté de l'instance spatiale. Il agrège sept facteurs incluant la charge de soutien, la longueur de la chaîne (profondeur multi-étapes), la difficulté de sélection, les motifs linguistiques difficiles (ex: directions de l'horloge), la charge diagonale, la charge d'entités et la difficulté de coréférence.

Règle de Décision : La politique conserve le raisonnement en langage naturel si la complexité est faible ($C < \tau_c$) et la fiabilité est élevée ($T > \tau_t$). Sinon, elle bascule vers un raisonnement basé sur une grille. Les seuils sont ajustés sur des ensembles de validation. Pour optimer l'efficacité, le système utilise un calcul par court-circuit, sautant le calcul de la plausibilité ou de la complexité si des signaux antérieurs (comme une faible fidélité ou une haute complexité) dictent déjà un changement.

Contributions Clés

1. Étude du Changement de Modalité : L'article démontre empiriquement que changer la modalité de raisonnement du langage naturel vers des structures spatiales explicites (spécifiquement les grilles) améliore significativement les performances de raisonnement spatial multi-étapes.
2. Cadre de Fondement par Grille (Grid-Grounding) : Les auteurs introduisent un pipeline qui convertit les récits spatiaux en grilles 2D structurées, servant de médium de raisonnement explicite pour les LLM.
3. Politique de Commutation Adaptative : Ils proposent un cadre adaptatif sans entraînement, qui utilise des signaux de fiabilité et de complexité pour sélectionner la modalité de raisonnement optimale pour une instance donnée, se rapprochant d'une sélection de modalité fondée sur des principes pour le raisonnement des LLM.

Résultats Expérimentaux

Le cadre a été évalué sur trois benchmarks : StepGame (raisonnement multi-étapes contrôlé), SpaRTUN (récits synthétiques avec des relations topologiques/directionnelles) et ReSQ (descriptions spatiales du monde réel).

• Gains de Performance : Le passage du langage naturel aux représentations basées sur des grilles a amélioré les performances des LLM jusqu'à 42 % sur StepGame (particulièrement pour les profondeurs de sauts plus élevées), 8 % sur SpaRTUN et 5 % sur ReSQ.
• Comparaison des Modalités : Les représentations basées sur des grilles (particulièrement les grilles élaguées) ont systématiquement surpassé le raisonnement textuel seul et les triplets relationnels. Les mises en page basées sur des coordonnées ont montré de fortes performances pour les modèles plus grands mais étaient moins constantes pour les plus petits.
• Efficacité de l'Adaptation : La politique de commutation adaptative a égalé ou dépassé les performances des bases de référence "grille uniquement" tout en basculant vers la modalité de grille pour seulement un sous-ensemble d'instances. Cela démontre que la politique identifie avec succès les cas où le langage naturel échoue (faible confiance/haute complexité) et les redirige vers un raisonnement structuré.
• Efficacité des Coûts : Sur SpaRTUN, la commutation adaptative a réduit les coûts moyens de jetons (tokens) jusqu'à 12 % par rapport à l'utilisation systématique du pipeline de grille, tout en maintenant une précision compétitive. Sur StepGame, le compromis de coût variait selon le modèle, le mécanisme de commutation servant principalement d'outil de routage de l'exactitude plutôt que de pur économiseur de coûts pour certaines configurations.

Signification et Limites

Signification :
L'article positionne le fondement structuré non pas simplement comme un format de sortie, mais comme un médium de raisonnement critique pour les modèles de langage. Il souligne que le choix de la modalité est un ingrédient clé pour un raisonnement fiable. En introduisant un mécanisme de commutation adaptatif basé sur la confiance et la complexité, ce travail pose un premier jalon vers une sélection de modalité fondée sur des principes, permettant aux modèles de tirer parti des forces du langage naturel (pour les cas simples et fiables) et des structures symboliques (pour les cas complexes et sujets aux erreurs).

Limites :
Les auteurs reconnaissent que le succès du cadre dépend fortement de la fiabilité de la construction de la structure spatiale intermédiaire. Si l'extraction de relations ou la construction de la grille ne reflète pas fidèlement le récit original, les erreurs se propagent et réduisent l'exactitude en aval. De plus, le processus de commutation adaptative introduit une surcharge de calcul due à la nécessité de calculer les signaux de fiabilité et de complexité avant le routage. Bien que le court-circuit atténue cela, le signal de commutation n'est pas gratuit et peut parfois compenser les économies réalisées en évitant la construction de la grille. Des travaux futurs sont suggérés pour améliorer l'extraction de relations via le fine-tuning et pour développer des signaux de routage moins coûteux.