From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs

---

1. Problématique et Contexte

L'intelligence spatiale est devenue une capacité cruciale pour les modèles de fondation (LLMs et VLMs), notamment pour la robotique, la navigation et l'interaction physique. Cependant, une question fondamentale demeure : les performances des LLMs sur les benchmarks de raisonnement spatial reflètent-elles de véritables représentations spatiales internes structurées, ou sont-elles le fruit de heuristiques linguistiques superficielles et de corrélations statistiques ?

La littérature actuelle se concentre principalement sur la précision des sorties (benchmarks), laissant l'opacité des mécanismes internes. Contrairement à la cognition humaine, où des mécanismes comme les cartes cognitives et la rotation mentale sont bien caractérisés, les études sur les modèles neuronaux ne vérifient pas directement la présence de représentations spatiales structurées. Ce manque de compréhension mécanistique limite l'évaluation de la robustesse et de l'interprétabilité de ces modèles.

2. Méthodologie

Les auteurs adoptent une perspective mécaniste inspirée des théories computationnelles de la cognition spatiale humaine. Au lieu de se fier uniquement aux performances comportementales, ils décomposent le raisonnement spatial en trois primitives computationnelles fondamentales et conçoivent des familles de tâches contrôlées pour les isoler.

A. Taxonomie des Tâches

Trois familles de tâches ont été conçues pour tester des primitives spécifiques, sans solliciter de traces de raisonnement explicites (pas de Chain-of-Thought) :

1. Raisonnement Relationnel (Relational Spatial Reasoning) : Teste la composition relationnelle. Le modèle doit construire une structure spatiale globale cohérente à partir de relations binaires (ex: A est à gauche de B, B est au-dessus de C) et inférer des relations indirectes.
2. Transformation de Perspective (Perspective Transformation) : Teste la transformation représentationnelle. Le modèle doit appliquer des transformations géométriques globales (rotations, réflexions, changements de point de vue) à une configuration initiale.
3. Exécution de Programmes Spatiaux (Spatial Program Execution) : Teste la mise à jour spatiale étatique. Le modèle doit suivre une séquence de commandes de mouvement et calculer la position finale, nécessitant le maintien d'un état latent dans le temps.

B. Conception Expérimentale

• Multilinguisme : Les tâches sont générées indépendamment en anglais, chinois et arabe pour garantir l'équivalence computationnelle tout en variant les indices linguistiques. Cela permet de distinguer les représentations spatiales des indices spécifiques à une langue.
• Modèles Évalués : Deux familles de LLMs multilingues (Qwen2.5-7B et Llama-3-8B), incluant les versions de base et celles ajustées par instruction.
• Protocole d'Inférence : Inférence en un seul passage (single-pass), sans génération de texte intermédiaire, pour isoler les représentations implicites dans les activations.

C. Techniques d'Analyse Mécanistique

Pour sonder les représentations internes, les auteurs utilisent trois approches complémentaires :

1. Sondage Linéaire (Linear Probing) : Entraînement de classifieurs linéaires pour décoder des variables spatiales (vecteurs de position, orientation, coordonnées) à partir des états cachés du modèle.
2. Analyse par Autoencodeurs Creux (Sparse Autoencoders - SAE) : Identification de caractéristiques (features) interprétables et sélectives spatialement au sein des couches du modèle.
3. Interventions Causales :
   • Patch d'activation : Remplacement des activations d'une couche par celles d'un scénario contrefactuel pour observer le changement de comportement.
   • Ablation de caractéristiques : Suppression des caractéristiques spatiales identifiées par les SAE pour mesurer l'impact sur la précision.

3. Résultats Clés

A. Encodage et Localisation des Représentations

• Profil en U inversé : Les informations spatiales sont fortement encodées dans les couches intermédiaires du modèle (pic de performance du sondage vers la couche 16-25), mais elles déclinent fortement dans les couches finales responsables de la prédiction du token.
• Fragilité : Bien que l'information spatiale soit présente et décodable, elle n'est pas préservée jusqu'à la décision finale. Les modèles semblent construire une structure spatiale temporaire qui n'est pas intégrée de manière robuste dans la sortie.

B. Nature des Représentations

• Spécificité des tâches : Les caractéristiques spatiales sont largement disjointes entre les familles de tâches. Il y a peu de chevauchement (12-18 %) entre les caractéristiques utilisées pour le raisonnement relationnel, l'orientation et l'exécution de programmes.
• Absence de carte cognitive unifiée : Contrairement aux cartes cognitives biologiques qui supportent divers calculs via un substrat commun, les LLMs utilisent des ensembles de caractéristiques différents pour chaque type de tâche spatiale.
• Rôle causal : Les interventions confirment que ces représentations sont fonctionnelles. Le patch d'activation dans les couches intermédiaires déplace systématiquement la sortie du modèle vers des trajectoires contrefactuelles, prouvant que ces représentations influencent causalement le comportement.

C. Dépendance Linguistique et Dégénérescence Mécaniste

• Dégénérescence Mécaniste : Des performances comportementales similaires sont obtenues dans différentes langues, mais elles reposent sur des chemins internes distincts. Les caractéristiques causalement importantes ne se chevauchent pas significativement entre l'anglais, le chinois et l'arabe.
• Invariance partielle : Les tâches basées sur des coordonnées (exécution de programmes) montrent une plus grande invariance linguistique que les tâches relationnelles ou d'orientation, suggérant que les représentations numériques sont moins sensibles aux variations linguistiques.

D. Modes d'Échec

• Effondrement compositionnel : La précision chute de manière non monotone dans les tâches relationnelles complexes, indiquant un échec à composer plusieurs contraintes.
• Absence de représentation de l'orientation : La tâche de suivi de l'orientation (rotation mentale) échoue presque au niveau du hasard, suggérant que les modèles ne maintiennent pas de variable d'état interne pour la direction, mais s'appuient sur des biais linguistiques.
• Dominance arithmétique : La réussite dans les tâches de programmes spatiaux est partiellement due à la compétence arithmétique plutôt qu'à un calcul spatial pur.

4. Contributions Principales

1. Cadre Mécanistique pour le Raisonnement Spatial : Introduction d'une taxonomie de tâches basée sur la décomposition computationnelle de la cognition spatiale humaine, permettant de tester les primitives fondamentales au-delà de la simple précision des benchmarks.
2. Preuve de Représentations Transitoires : Démonstration que les LLMs codent des informations spatiales structurées dans leurs couches intermédiaires, mais que ces représentations sont fragiles, fragmentées et mal intégrées dans les décisions finales.
3. Découverte de la Dégénérescence Mécaniste : Mise en évidence que des comportements spatiaux similaires à travers différentes langues sont soutenus par des mécanismes internes radicalement différents, remettant en cause l'idée d'une représentation spatiale universelle et agnostique à la langue.
4. Validation Causale : Utilisation d'interventions (patching et ablation) pour prouver que les représentations spatiales détectées ne sont pas de simples artefacts statistiques, mais qu'elles jouent un rôle causal dans le comportement du modèle.

5. Signification et Implications

Ce travail suggère que les LLMs actuels se situent dans un régime intermédiaire entre le matching de motifs linguistiques superficiels et une cognition spatiale robuste. Bien qu'ils ne possèdent pas de cartes cognitives unifiées et persistantes comme les humains, ils sont capables de construire des représentations spatiales fonctionnelles et causales sous certaines conditions (format de tâche, indices linguistiques).

Implications futures :

• Les évaluations basées uniquement sur la précision des benchmarks sont insuffisantes pour évaluer la compréhension spatiale réelle.
• Pour atteindre un raisonnement spatial plus humain et robuste, les futurs modèles devront probablement intégrer des mécanismes qui préservent et unifient les représentations spatiales à travers les étapes de traitement, au-delà de la simple prédiction de tokens.
• L'analyse mécanistique (sondage, SAE, interventions) est essentielle pour comprendre les limites et les biais des modèles de fondation dans des domaines critiques comme la robotique et la navigation.

En résumé, l'article démontre que si les LLMs "pensent" spatialement d'une certaine manière, cette pensée est éphémère, dépendante du contexte et linguistiquement fragmentée, loin de la robustesse d'un système de cognition spatiale biologique.