💬 NLP

SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes

Cet article introduit SpatialAct, un benchmark ancré dans la simulation qui révèle un écart significatif entre le raisonnement et l'action chez les modèles de vision-langage actuels, démontrant leur incapacité à maintenir une compréhension spatiale cohérente et à exécuter des actions fiables lors d'interactions multi-tours dans des scènes 3D malgré de fortes performances sur des tâches de raisonnement spatial isolées.

Auteurs originaux : Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à réorganiser les meubles d'un salon. Vous ne voulez pas seulement que le robot regarde la pièce et dise : « Cette chaise est trop proche du mur ». Vous voulez qu'il déplace réellement la chaise, regarde à nouveau pour voir si cela a fonctionné, et si ce n'est pas le cas, qu'il la déplace encore jusqu'à ce que la pièce soit correcte.

C'est exactement ce dont traite l'article SpatialAct. C'est un nouveau « test » conçu pour voir si les modèles de vision IA modernes (les robots capables de voir et de parler) sont réellement bons dans ce genre de boucle « voir-penser-faire », ou s'ils sont simplement doués pour parler de ce qu'ils voient.

Voici une décomposition des conclusions de l'article en utilisant des analogies simples :

1. Le Problème : Le « Bavard Intelligent » vs le « Faiseur »

Les chercheurs ont découvert que les modèles d'IA actuels sont comme des critiques d'art brillants qui n'ont jamais tenu un pinceau.

La Bonne Nouvelle : Si vous montrez à une IA l'image d'une pièce en désordre et que vous lui demandez : « Est-ce que la lampe touche le canapé ? », elle peut généralement répondre correctement. Elle possède de bons « yeux » et un bon « cerveau » pour les questions statiques.
La Mauvaise Nouvelle : Quand vous demandez à l'IA de réparer la pièce en déplaçant la lampe, elle s'embrouille. Elle déplace souvent la lampe dans la mauvaise direction, ou elle pense avoir résolu le problème alors qu'elle l'a en réalité aggravé. Elle a du mal à garder une trace de l'état de la pièce après avoir effectué un changement.

2. Le Test : « SpatialAct »

Pour prouver cela, l'équipe a construit un simulateur de jeu vidéo 3D appelé SpatialAct. Voyez cela comme un bac à sable numérique où :

La Scène : Il y a trois types de pièces : des formes géométriques simples (comme des blocs Lego), des rues de ville avec des bâtiments, et des pièces intérieures réalistes avec des meubles.
La Tâche : L'IA est confrontée à une pièce contenant des « bugs » (erreurs), comme un bâtiment qui s'écrase contre une route ou un placard qui dépasse d'un mur.
Le But : L'IA doit agir comme un décorateur d'intérieur numérique. Elle doit :
1. Repérer l'erreur.
2. Donner une commande (ex : « Déplace le placard de 1 mètre vers le Nord »).
3. Regarder la pièce se mettre à jour dans le simulateur.
4. Répéter ce processus jusqu'à ce que la pièce soit parfaite.

3. La Hiérarchie de Difficulté

Le test n'était pas seulement un grand défi ; c'était une échelle de difficulté pour voir précisément où l'IA échoue :

Niveau 1 (Compétences de base) : L'IA peut-elle compter les chaises ? Peut-elle dire dans quelle direction est le Nord ? (L'IA est plutôt bonne ici).
Niveau 2 (Réparation en une étape) : L'IA peut-elle repérer une erreur et la corriger en un seul mouvement ? (L'IA est correcte ici, mais pas excellente).
Niveau 3 (Le Combat contre le Boss - Raffinement multi-tours) : L'IA doit réparer une pièce en désordre encore et encore, en apprenant de ses erreurs. C'est là que l'IA échoue lamentablement.

4. Les Résultats : Un Écart Immense

L'article a comparé l'IA à des humains et a trouvé un écart massif :

Humains : Face à cette tâche, les humains ont réparé les pièces environ 91 % du temps. C'était facile pour eux car ils peuvent visualiser l'espace et se souvenir de ce qu'ils viennent de faire.
Meilleurs Modèles d'IA : Les meilleurs modèles d'IA n'ont réparé les pièces qu'environ 20 % du temps.
Le Score « Négatif » : Certains modèles d'IA ont même rendu les pièces pires qu'au départ. Ils essayaient de corriger une collision et créaient accidentellement une nouvelle collision.

5. Pourquoi l'IA Échoue-t-elle ?

L'article identifie quelques raisons clés, en utilisant des métaphores utiles :

L'Effet « Amnésie » : L'IA est excellente pour regarder un instantané, mais une fois qu'elle effectue une action, elle semble perdre la trace de la nouvelle réalité. Elle oublie que le mur a bougé, donc elle continue de percuter.
L'Erreur de « Diagnostic » : Parfois, l'IA ne sait même pas ce qui ne va pas. Elle peut penser qu'un bâtiment est incliné alors qu'il est parfaitement droit, ou passer totalement à côté d'une collision.
L'Erreur d'« Action » : Même quand l'IA sait ce qui ne va pas, elle donne la mauvaise commande. Elle pourrait dire « Pivoter de 90 degrés » quand elle aurait dû dire « Déplacer de 1 mètre ».
Surcharge de Complexité : Si la pièce contient trop d'erreurs à la fois, l'IA est submergée. C'est comme essayer de démêler un nœud avec dix cordes différentes ; on en tire une, et trois autres se resserrent.

6. La Conclusion

L'article conclut que si l'IA s'améliore pour « voir » et « parler » de l'espace, elle est encore très mauvaise pour « agir » dans l'espace.

État Actuel : L'IA est comme un touriste capable de décrire parfaitement une ville, mais qui se perd dès qu'il essaie de marcher dans la rue.
Le Fossé : Il existe un énorme fossé entre le « raisonnement » et l'« action ». Ce n'est pas parce qu'une IA peut résoudre un problème mathématique sur une pièce qu'elle peut réellement réorganiser les meubles de cette pièce.

En résumé : Nous avons construit une IA qui est un excellent observateur, mais nous n'avons pas encore construit une IA qui soit un exécutant fiable. Tant que nous n'aurons pas résolu ce problème de « mémoire et d'action », ces robots ne seront pas prêts à nous aider à organiser nos espaces 3D dans le monde réel.

Résumé Technique : SpatialAct

Énoncé du Problème

Bien que les modèles de vision-langage (VLM) aient démontré des capacités prometteuses en matière de perception et de raisonnement spatial passif (par exemple, répondre à des questions sur des images statiques), une lacune critique subsiste dans leur capacité à traduire le raisonnement spatial en actions itératives fiables au sein d'environnements 3D dynamiques. Les benchmarks existants évaluent largement les modèles en tant qu'observateurs, où la sortie du modèle ne modifie pas l'environnement dont il doit ensuite raisonner. À l'inverse, les benchmarks incarnés (embodied) confondent souvent le raisonnement spatial de haut niveau avec le contrôle de bas niveau (navigation, manipulation), ce qui rend difficile l'isolement de l'intelligence spatiale.

Le problème central abordé est le raisonnement conditionné par l'action : la capacité d'un agent non seulement à comprendre l'état spatial actuel, mais aussi à raisonner sur la manière dont ses propres actions modifient cet état, à observer les transitions résultantes et à maintenir des croyances spatiales cohérentes à travers plusieurs tours d'interaction. Les VLM actuels peinent à combler le fossé entre les tâches de raisonnement isolées et le raffinement spatial stable à long terme dans des scènes 3D.

Méthodologie : Le Benchmark SpatialAct

Pour combler cette lacune, les auteurs introduisent SpatialAct, un benchmark ancré dans un simulateur conçu pour sonder les capacités de raisonnement-à-l'action des agents VLM. Le benchmark est construit sur un cadre de diagnostic hiérarchique et un environnement de simulation 3D contrôlable.

1. Construction du Benchmark

Scénarios : SpatialAct couvre trois types distincts de configurations 3D :
- Géométrie Abstraite : Scènes générées procéduralement avec 5 à 7 primitives géométriques (cubes, cylindres, formes en L, etc.).
- Architecture Urbaine : Dérivé de RAISECity, présentant des scènes urbaines mixtes avec jusqu'à 20 bâtiments.
- Scène Intérieure : Construit à partir d'InternScenes, contenant 5 à 15 objets de mobilier déplaçables dans divers environnements intérieurs.
Échelle des Données : Le benchmark comprend 333 scènes et 4 355 paires QA (Question-Réponse).
Entrée Visuelle : Chaque scène est rendue depuis deux perspectives : une vue de dessus (Top-view) et une vue isométrique (Isometric-view), fournissant des informations spatiales complémentaires.
Injection d'Erreurs : Pour tester les capacités de raffinement, le système injecte procéduralement des erreurs spatiales dans des scènes propres, incluant des collisions, des violations de limites (conflits mur/route) et des désalignements d'orientation.

2. Conception de Tâches Hiérarchiques

SpatialAct évalue les agents à travers trois niveaux de complexité croissante :

Niveau 1 : Capacités Spatiales de Base : Cinq tâches fondamentales adaptées des théories psychométriques pour diagnostiquer la cognition spatiale sous-jacente :
1. Signification de l'Objet : Comptage, identification, position et distance.
2. Relation Spatiale : Direction, relations et comptage de côtés.
3. Orientation Spatiale : Consistance de la vue et rotation.
4. Rotation Mentale : Rotation centrée sur l'objet et centrée sur la scène.
5. Visualisation Spatiale : Prédire les résultats de mouvements, d'échanges et de collisions.
Niveau 2 : Détection et Correction d'Erreur en une Étape : Les modèles doivent identifier une erreur spatiale spécifique dans une scène et proposer une action corrective unique (Déplacer, Pivoter ou Redimensionner).
Niveau 3 : Raffinement Interactif Multi-tours (La Tâche Centrale) : Les modèles s'engagent dans une interaction en boucle fermée avec un simulateur.
- Flux de travail : Le modèle reçoit les vues de dessus/isométriques d'une scène erronée, identifie les erreurs et produit des commandes sémantiques de haut niveau (ex: Move(Object_2, North, 0.7)).
- Exécution : Un simulateur analyse et exécute ces commandes, rendant les vues mises à jour.
- Itération : Le modèle reçoit les nouvelles vues ainsi que l'historique des actions et répète le processus jusqu'à ce que la scène soit exempte d'erreurs ou qu'une limite maximale de tours (30) soit atteinte.

3. Métriques d'Évaluation

Le benchmark utilise une suite de métriques pour évaluer à la fois la précision et l'efficacité :

Taux de Réparation (Repair Rate) : La proportion d'erreurs réduites ( $E_{avant} - E_{après} / E_{avant}$ ).
Taux de Succès de la Scène (Scene Success Rate) : La proportion de scènes où toutes les erreurs sont complètement résolues.
Ratio de Tour de Réparation Effectif (Effective Repair Turn Ratio) : La fréquence des tours qui réduisent avec succès le nombre d'erreurs.
Taux d'Arrêt Prématuré (Premature Stop Rate) : La fréquence d'arrêt alors que des erreurs subsistent encore.
Coût en Tokens (Token Cost) : Nombre moyen de tokens de complétion par scène.

Contributions Clés

Formalisation du Raisonnement Conditionné par l'Action : L'article définit un nouvel axe d'évaluation pour les agents VLM où des actions de haut niveau, exécutables par un simulateur, modifient directement l'état de l'environnement 3D, exigeant que le modèle raisonne sur les transitions d'état dynamiques.
Le Benchmark SpatialAct : Un ensemble de données complet et ancré dans la simulation comprenant 333 scènes et 4 355 paires QA, organisé de manière hiérarchique pour diagnostiquer les échecs, de la perception de base au raffinement multi-tours complexe.
Évaluation Systématique et Analyse des Écarts : Une évaluation rigoureuse des principaux VLM propriétaires et open-source révèle un important « écart de raisonnement-à-l'action », fournissant un cadre de diagnostic pour le développement futur des agents.

Résultats Expérimentaux

Les auteurs ont évalué 7 VLM de pointe (incluant GPT-5.4, Gemini-3.1 Pro, GLM-5V-Turbo, Kimi-K2.5 et des variantes de Qwen3.6) ainsi que des participants humains.

Écart de Raisonnement-à-l'Action : Bien que les modèles performent bien sur des tâches spatiales isolées (atteignant ~80 % de précision dans les catégories de base), leurs performances chutent de manière précipitée lors du raffinement multi-tours.
- Base de Référence Humaine : Les humains ont atteint un Taux de Réparation de 0,911 et un Taux de Succès de Scène de 0,763.
- Meilleur VLM (Gemini-3.1 Pro) : N'a atteint qu'un Taux de Réparation de 0,411 et un Taux de Succès de Scène de 0,206.
- Autres Modèles : De nombreux modèles open-source et GLM-5V-Turbo ont obtenu des taux de réparation proches de zéro ou négatifs, indiquant qu'ils échouent souvent à corriger les erreurs ou en introduisent de nouvelles.
Modes de Défaillance : L'analyse (Figure 4) montre que les modèles échouent en raison de deux problèmes couplés :
1. Erreurs de Diagnostic : Mauvaise identification de l'existence d'une violation spatiale.
2. Erreurs de Raisonnement-à-l'Action : Même avec un diagnostic correct, émission d'actions correctives incorrectes (ex: déplacer un objet dans la mauvaise direction ou avec la mauvaise magnitude).
Contexte et Complexité :
- Fenêtre de Contexte : L'augmentation de la taille de la fenêtre de contexte a conduit à un raisonnement et des tours d'interaction plus verbeux, mais n'a pas amélioré les taux de réparation, suggérant un goulot d'étranglement dans la qualité du contrôle inter-tours plutôt que dans le budget de tokens.
- Complexité de la Scène : La performance s'est dégradée à mesure que le nombre d'erreurs initiales augmentait, soulignant les difficultés de suivi de plusieurs erreurs couplées.
- Types d'Erreurs : Les erreurs d'orientation étaient les plus faciles à corriger, tandis que les erreurs de conflit (collisions, violations mur/route) étaient les plus difficiles, indiquant une faiblesne dans la planification respectant les contraintes.

Signification et Revendications

L'article affirme que SpatialAct expose une limitation fondamentale des agents VLM actuels : l'incapacité à maintenir des croyances spatiales cohérentes et à produire des actions fiables sous l'effet de changements environnementaux induits par l'action.

Goulot d'Étranglement Central : Le principal échec ne réside pas dans la perception ou le raisonnement de base, mais dans la maintenance de l'état inter-tours, la planification respectant les contraintes et l'exécution stable du raisonnement-à-l'action.
Implications : Les résultats suggèrent que les VLM actuels manquent de la robustesse requise pour les tâches agentiques du monde réel où l'environnement change en réponse aux actions de l'agent.
Direction Future : Les auteurs positionnent SpatialAct comme un cadre de diagnostic actionnable pour guider le développement d'agents VLM dotés d'un suivi d'état spatial et d'une coordination plus forts à travers les boucles de rétroaction. Le benchmark, le flux de travail du simulateur et l'outil sont open-sourced pour soutenir cette recherche.

L'article conclut modestement, notant que bien que les modèles propriétaires montrent des progrès encourageants, tous les systèmes actuels sont loin de la fiabilité humaine dans la correction spatiale itérative, et que l'écart reste un défi majeur pour le domaine.