SpatialBench: Benchmarking Multimodal Large Language Models for Spatial Cognition

Ce papier présente SpatialBench, un benchmark à grande échelle et un cadre hiérarchique pour évaluer la cognition spatiale des modèles de langage multimodaux, révélant qu'ils maîtrisent la perception mais peinent encore dans le raisonnement symbolique et la planification par rapport aux humains.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment se déplacer dans le monde réel, comme un humain. Le problème, c'est que les robots actuels (les modèles d'intelligence artificielle) sont très forts pour voir les choses, mais ils sont souvent perdus quand il faut comprendre comment ces choses s'organisent dans l'espace et comment agir en conséquence.

Voici une explication simple du papier de recherche SpatialBench, qui propose une nouvelle façon de tester ces robots.

1. Le Problème : Le Robot "Myope"

Jusqu'à présent, on testait les robots avec des questions simples du genre : "Combien de voitures vois-tu ?" ou "Quelle est la couleur de ce feu ?".
C'est comme si on testait la capacité d'un élève à lire l'heure sur une montre, mais sans jamais lui demander de savoir comment conduire une voiture.

Les chercheurs ont remarqué que les robots actuels sont excellents pour observer (voir les objets), mais ils échouent lamentablement quand il faut :

• Comprendre les relations complexes (ex: "La voiture est derrière le camion, donc elle ne peut pas tourner").
• Imaginer le futur (ex: "Si je tourne à gauche, je vais percuter ce mur").
• Planifier un chemin (ex: "Pour sortir du parking, je dois faire demi-tour, puis aller tout droit").

2. La Solution : Une Échelle de 5 Échelons (L'Escalier de l'Intelligence)

Au lieu de faire un test unique, les auteurs de SpatialBench ont construit une échelle de 5 niveaux, comme un jeu vidéo où l'on passe de niveau en niveau.

Imaginez que vous apprenez à un enfant à conduire :

• Niveau 1 : L'Observation (Les yeux)
  • Analogie : C'est comme regarder par la fenêtre. Le robot doit juste dire : "Je vois une voiture rouge, un arbre et un panneau."
  • Résultat : Les robots sont très bons ici.
• Niveau 2 : La Topologie (La carte mentale)
  • Analogie : C'est comme comprendre que la cuisine est à côté du salon, et que la porte est entre les deux. Le robot doit comprendre comment les objets sont connectés.
  • Résultat : Pas mal, mais ils se trompent parfois sur les distances.
• Niveau 3 : Le Raisonnement Symbolique (Les règles)
  • Analogie : C'est comprendre que le panneau "STOP" signifie "s'arrêter", même si le panneau est abîmé. Le robot doit lire des symboles et appliquer des règles.
  • Résultat : Ça commence à devenir difficile.
• Niveau 4 : La Causalité (Le "Si... Alors...")
  • Analogie : C'est se demander : "Si je pousse cette brique, la tour va-t-elle tomber ?" Le robot doit prédire les conséquences de ses actions.
  • Résultat : Beaucoup de robots échouent ici. Ils ne comprennent pas la physique ou la logique des événements.
• Niveau 5 : La Planification (Le Chef d'orchestre)
  • Analogie : C'est le niveau ultime. Le robot doit dire : "Pour sortir de ce parking, je dois d'abord reculer, puis tourner à droite, puis accélérer doucement." C'est un plan complet pour atteindre un but.
  • Résultat : C'est là que les robots actuels sont le plus faibles. Ils perdent le fil et ne savent pas faire un plan cohérent.

3. La Nouvelle Arme : SpatialBench

Pour tester tout ça, les chercheurs ont créé SpatialBench.

• Ce n'est pas un jeu vidéo : Ils ont filmé de vraies vidéos (depuis le point de vue d'une personne qui marche ou conduit) dans des endroits réels (parkings, rues, maisons).
• C'est un examen complet : Ils ont posé 15 types de questions différentes, allant de "Combien de chaises ?" à "Comment sortir de ce parking ?".
• La comparaison Humain vs Robot : Ils ont aussi fait passer le test à des humains. Résultat : Les humains obtiennent presque 100 % de bonnes réponses, même pour les tâches les plus complexes. Les robots, eux, sont encore loin derrière.

4. Ce que les chercheurs ont découvert

En regardant les résultats, ils ont vu deux choses intéressantes :

1. Les robots sont "superficiels" : Ils regardent trop les détails (la couleur de la voiture, le type de pneu) mais oublient le but global (sortir du parking). C'est comme un étudiant qui mémorise le texte d'un livre mais ne comprend pas l'histoire.
2. L'entraînement aide, mais pas assez : Les plus gros modèles (les "génies" de l'IA) sont meilleurs, mais ils ne sont pas encore intelligents comme un humain pour la navigation et la logique spatiale.

En résumé

SpatialBench est comme un nouveau permis de conduire pour l'intelligence artificielle.
Avant, on demandait aux robots de reconnaître des objets (comme un test de vue). Maintenant, on leur demande de conduire (de raisonner, de planifier et de comprendre l'espace).

Le message est clair : nous avons des robots qui voient très bien, mais qui ont encore besoin d'apprendre à penser comme nous pour vraiment interagir avec le monde qui nous entoure.

Résumé technique

1. Problématique et Contexte

La cognition spatiale est une capacité fondamentale permettant aux systèmes intelligents d'interagir avec l'environnement physique. Bien que les Modèles de Langage Multimodaux (MLLM) aient réalisé des progrès significatifs, les benchmarks existants souffrent de limitations majeures :

• Réductionnisme : Ils simplifient souvent la cognition spatiale à une métrique unidimensionnelle, échouant à capturer sa structure hiérarchique et les interdépendances entre les capacités.
• Manque de complexité : La plupart des jeux de données reposent sur des environnements synthétiques ou des scénarios étroitement définis, manquant de la diversité visuelle et de la complexité du monde réel nécessaires pour évaluer une véritable cognition spatiale.
• Évaluation fragmentée : Les évaluations actuelles se concentrent sur des tâches isolées (reconnaissance, ancrage) plutôt que sur la cognition spatiale en tant que capacité structurée et progressive.

Il existe donc un besoin urgent d'un cadre d'évaluation systématique capable de mesurer la progression des modèles, de la perception de base au raisonnement de haut niveau.

2. Méthodologie

Les auteurs proposent une approche en deux volets : un cadre théorique hiérarchique et un benchmark de données massif.

A. Cadre de Cognition Spatiale Hiérarchique

Inspiré par la théorie de la carte cognitive (neurosciences), le papier décompose la cognition spatiale en cinq niveaux progressifs :

1. Observation (L1) : Identification des objets et de leurs attributs (couleur, taille, catégorie) à partir d'entrées visuelles.
2. Topologie et Relations (L2) : Compréhension des relations spatiales entre entités (adjacence, containment, orientation, connectivité).
3. Raisonnement Symbolique (L3) : Interprétation sémantique des symboles visuels (panneaux, flèches) et application de règles logiques pour déduire des intentions ou des contraintes.
4. Causalité (L4) : Inférence des dépendances spatio-temporelles et prédiction des conséquences d'actions ou de changements environnementaux.
5. Planification (L5) : Intégration de la perception, des relations et de la causalité pour formuler des stratégies d'action ou de navigation cohérentes et orientées vers un but.

B. Construction de SpatialBench

Pour opérationnaliser ce cadre, les auteurs ont créé SpatialBench :

• Données : Un ensemble de données à grande échelle composé de 1 347 paires question-réponse extraites de 50 vidéos enregistrées en première personne (perspective égocentrique).
• Diversité : Les vidéos couvrent des environnements intérieurs et extérieurs (rues urbaines, forêts, sous-sols) avec des scènes statiques et dynamiques.
• Précision Géométrique : L'utilisation d'un capteur LiDAR 3D synchronisé avec une caméra RGB permet de générer des réponses "ground-truth" précises pour les mesures de distance et de taille.
• Tâches : Le benchmark inclut 15 catégories de tâches réparties sur les 5 niveaux cognitifs (ex: comptage, estimation de distance, localisation contrainte par des repères, raisonnement causal, planification d'itinéraire).
• Annotation : Un processus rigoureux impliquant des annotateurs humains et des modèles IA pour garantir la qualité, la cohérence et la reproductibilité des données.

C. Métriques d'Évaluation

Pour évaluer les performances de manière unifiée, les auteurs introduisent une métrique globale orientée vers les capacités. Contrairement à une simple moyenne d'exactitude, cette métrique attribue des poids adaptatifs aux différents niveaux cognitifs, en accordant plus d'importance aux niveaux supérieurs (raisonnement, planification) tout en tenant compte de la difficulté inhérente et de la proportion des questions.

3. Résultats Expérimentaux

Les auteurs ont évalué une large gamme de modèles (propriétaires comme Gemini-2.5-pro, GPT-5, Claude, et open-source comme Qwen, GLM, ERNIE) sur SpatialBench.

• Stratification des performances : Il existe une corrélation claire entre le niveau cognitif et la performance. Les modèles excellent dans les tâches de perception (L1) et de relations topologiques simples (L2) (ex: comptage, estimation de distance).
• Déclin sur les niveaux supérieurs : Les performances chutent drastiquement sur les tâches de raisonnement symbolique (L3), de causalité (L4) et de planification (L5). Les modèles peinent à convertir les entrées perceptuelles en règles symboliques robustes ou à inférer des conséquences dynamiques.
• Comparaison Humain vs Machine :
  • Les humains obtiennent un score global de 96,40 %, avec une précision quasi parfaite sur les tâches de haut niveau.
  • Les meilleurs modèles (Gemini-2.5-pro) atteignent environ 71,86 %, mais avec un écart significatif sur les tâches de planification.
  • Analyse qualitative : Les humains utilisent une abstraction sélective et orientée vers un but, ignorant les détails non pertinents. À l'inverse, les MLLMs ont tendance à une attention diffuse, se focalisant excessivement sur les détails de surface sans intention spatiale cohérente, ce qui mène à des erreurs de raisonnement causal et de navigation.
• Apprentissage en contexte (One-shot) : L'ajout d'un exemple en contexte améliore significativement les performances des modèles plus faibles (comme GPT-5 ou Qwen), suggérant que le manque de raisonnement spatial intrinsèque peut être partiellement compensé par des capacités linguistiques et de mise en contexte.

4. Contributions Clés

1. Premier cadre systématique : Établissement du premier cadre d'évaluation complet et fondé sur la cognition pour mesurer l'intelligence spatiale des MLLMs, passant d'une évaluation basée sur les tâches à une évaluation basée sur les capacités.
2. SpatialBench : Création d'un benchmark multimodal à grande échelle, ancré dans des scénarios réalistes et complexes, avec 15 types de tâches alignées sur une hiérarchie cognitive de 5 niveaux.
3. Nouvelle métrique : Introduction d'une métrique globale orientée vers les capacités qui reflète la complexité progressive de la cognition spatiale.
4. Analyse des lacunes : Identification claire des limites actuelles des MLLMs (manque de raisonnement causal, de planification et d'attention sélective) par rapport à l'intelligence humaine.

5. Signification et Impact

Ce travail marque une étape importante dans l'évaluation de l'intelligence artificielle multimodale. En démontrant que les modèles actuels, bien que performants pour la perception visuelle, échouent encore à maîtriser la cognition spatiale profonde (raisonnement abstrait, causalité, planification), il redirige la recherche vers le développement de modèles capables de construire des représentations internes cohérentes de l'espace (cartes cognitives).

SpatialBench fournit une base solide pour le développement futur de systèmes spatialement intelligents, essentiels pour des applications comme la robotique autonome, la navigation en environnement complexe et les assistants personnels avancés. Le code et les données sont disponibles publiquement pour favoriser la reproduction et l'amélioration des modèles.