🤖 AI

Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models

Cet article introduit les Jetons de Perception Imaginative (IPT), des représentations perceptuelles intermédiaires qui permettent aux modèles de langage visuel d'améliorer le raisonnement spatial en externalisant des configurations spatiales non observées, surpassant ainsi les méthodes de chaîne de pensée textuelle sur des tâches telles que la prise de perspective, le traçage de chemin et le comptage multi-vues.

Auteurs originaux : Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Apprendre à l'IA à « imaginer » l'invisible

Imaginez que vous jouez à un jeu vidéo. Vous êtes dans une pièce et vous regardez une porte. Le jeu vous demande : « Si vous franchissez cette porte et que vous tournez à gauche, que verrez-vous sur votre droite ? »

Les modèles d'IA actuels (les modèles vision-langage) sont excellents pour décrire ce qui se trouve directement sous leurs « yeux ». Mais ils ont du mal avec cette question car la réponse ne figure pas dans l'image qu'ils regardent. Ils doivent simuler mentalement une nouvelle scène qu'ils n'ont pas encore vue.

Cet article soutient que pour résoudre ces énigmes de « raisonnement spatial », l'IA doit apprendre à imaginer les pièces manquantes du puzzle, tout comme le font les humains. Les auteurs appellent ce nouvel outil les Imaginative Perception Tokens (IPTs) (Jetons de perception imaginative).

Le problème : L'IA est mauvaise face au « Et si ? »

Pensez à l'IA actuelle comme à un bibliothécaire très intelligent capable de décrire parfaitement chaque livre sur une étagère. Mais si vous lui demandez : « À quoi ressemblerait la bibliothèque si nous déplacions les étagères contre le mur du fond ? », le bibliothécaire se retrouve bloqué. Il ne peut décrire que ce qui est actuellement visible.

Les tentatives précédentes pour corriger cela consistaient à demander à l'IA d'écrire ses pensées (comme une « Chaîne de pensée » ou Chain of Thought). Les auteurs ont découvert que forcer l'IA à décrire une rotation 3D ou un chemin caché en utilisant des mots revient à essayer de décrire une chorégraphie complexe uniquement par SMS. C'est maladroit, confus et cela mène souvent à des erreurs.

La solution : Le « carnet de croquis mental »

Les auteurs ont introduit les Imaginative Perception Tokens (IPTs). Au lieu de demander à l'IA de rédiger une longue description de la nouvelle vue, ils lui apprennent à dessiner un croquis rapide de ce qu'elle pense voir.

L'analogie : Imaginez que vous êtes un architecte. Pour savoir si un nouveau mur s'ajuste, vous ne vous contentez pas d'en parler ; vous dessinez un plan rapide de la nouvelle disposition.
Comment ça marche : L'IA est entraînée à générer une image intermédiaire (le « croquis ») qui représente un point de vue qu'elle n'a pas réellement vu.
- Exemple : Si la question concerne la marche dans un couloir, l'IA dessine un croquis de « vue latérale » de ce à quoi ressemble le couloir depuis le milieu du chemin, même si elle ne possède que la carte et les photos du début et de la fin.
- Exemple : Si la question concerne le comptage de chaises dans une pièce en désordre vue sous trois angles différents, l'IA dessine une carte en « vue de dessus » pour voir où se trouve chaque chaise sans compter deux fois la même.

Une fois que l'IA a « dessiné » ce croquis mental, elle regarde son propre dessin pour répondre à la question finale.

Les trois tâches de la « salle de sport de l'imagination »

Pour tester cela, les chercheurs ont créé trois jeux de données spécifiques où l'IA devait s'entraîner à imaginer :

Prise de perspective (Le jeu de la « Téléportation ») :
- La configuration : Vous voyez une pièce sous un certain angle.
- La tâche : « Si vous vous téléportez à cet endroit marqué et que vous tournez à 90 degrés, le canapé sera-t-il à votre gauche ou à votre droite ? »
- L'imagination : L'IA doit générer une image de la pièce depuis ce nouveau point pour répondre correctement.
Tracé de chemin (Le jeu de la « Marche aveugle ») :
- La configuration : Vous avez une carte de dessus d'un chemin et des photos du point de départ et d'arrivée.
- La tâche : « En marchant le long de ce chemin, quel objet verrez-vous sur votre gauche à mi-chemin ? »
- L'imagination : L'IA doit générer une « vue à la première personne » du milieu du chemin, qu'elle n'a jamais vue.
Comptage multi-vues (Le jeu du « Puzzle ») :
- La configuration : On vous montre trois photos différentes d'une pièce prises depuis différents coins.
- La tâche : « Combien de chaises y a-t-il au total dans cette pièce ? » (Certaines chaises peuvent être cachées dans une photo mais visibles dans une autre).
- L'imagination : L'IA doit générer une seule « carte de dessus » qui combine les trois vues en une seule image complète pour compter avec précision.

Ce qu'ils ont découvert

Les chercheurs ont entraîné un modèle d'IA puissant (BAGEL) en utilisant ces « croquis mentaux » comme outil d'enseignement. Voici ce qui s'est passé :

Le dessin bat l'écriture : Lorsque l'IA a été forcée de « réfléchir » en dessinant un croquis (IPT), elle est devenue bien meilleure pour les questions spatiales que lorsqu'elle était forcée de « réfléchir » en écrivant des mots (Chaîne de pensée textuelle). En fait, écrire des mots rendait parfois l'IA moins bonne à ces tâches car les mots sont un mauvais moyen de décrire l'espace 3D.
La magie de l'entraînement : Même lorsque l'IA était testée plus tard sans avoir le droit de dessiner le croquis (elle devait simplement donner la réponse), elle perforait mieux. Cela suggère que l'acte de pratiquer le « dessin » pendant l'entraînement a construit une carte interne plus solide dans le cerveau de l'IA.
Meilleur que les meilleurs : Sur certaines tâches, cette méthode a permis au modèle open-source de rivaliser avec des modèles fermés et très coûteux (comme GPT-5) qui dominent habituellement ces tests de référence.

L'essentiel à retenir

Cet article démontre que pour que l'IA comprenne l'espace et la navigation, nous ne devrions pas simplement lui demander de « réfléchir plus fort » avec des mots. Au lieu de cela, nous devons lui apprendre à visualiser l'invisible. En donnant à l'IA un « carnet de croquis mental » pour pratiquer l'imagination de nouveaux points de vue, nous l'aidons à construire une compréhension plus solide du monde en 3D, lui permettant de résoudre des énigmes qui lui étaient auparavant impossibles.

Résumé technique : Les jetons de perception imaginative améliorent le raisonnement spatial dans les modèles de langage multimodaux

1. Énoncé du problème

Les modèles de langage-vision (VLM) excellent actuellement dans la reconnaissance d'objets et d'attributs, mais ils éprouvent des difficultés significatives en matière de raisonnement spatial, particulièrement lorsque les informations requises ne sont pas directement observables dans l'entrée. De nombreuses tâches spatiales nécessitent une perception imaginative : simuler des points de vue non observés, tracer des trajectoires à travers des espaces obstrués ou intégrer des vues partielles en une carte spatiale cohérente.

Les approches existantes tentent de combler cette lacune en utilisant des représentations visuelles intermédiaires (par exemple, des pensées visuelles, des cartes de profondeur ou des jetons de boîtes englobantes). Cependant, ces méthodes se contentent principalement de raffiner des structures déjà visibles dans l'entrée ou d'extraire des attributs perceptifs. Elles ne parviennent pas à répondre au défi central consistant à construire des représentations spatiales qui ne sont pas directement observées, ce qui nécessite souvent de prédire la structure spatiale manquante impliquée par les indices plutôt que de simplement décrire ce qui est vu. De plus, forcer le calcul spatial via une chaîne de pensée (CoT) textuelle entraîne souvent un décalage de modalité, car la sérialisation des contraintes géométriques et des transformations de point de vue en langage est sujette aux erreurs et inefficace.

2. Méthodologie

2.1. Concept central : Jetons de perception imaginative (IPT)

Les auteurs proposent les Jetons de perception imaginative (Imaginative Perception Tokens - IPT), une forme de représentation perceptuelle intermédiaire qui externalise ce qu'un VLM percevrait sous une configuration spatiale alternative tout en restant cohérent avec l'entrée observée. Contrairement aux intermédiaires standards qui décrivent des structures visibles, les IPT représentent de nouveaux points de vue spatiaux (par exemple, une vue depuis une nouvelle coordonnée ou une carte de vue de dessus intégrant plusieurs vues) qui doivent être inférés.

2.2. Tâches et jeux de données

Pour étudier cette capacité, les auteurs formulent trois tâches nécessitant une perception imaginative, construisant des jeux de données d'environ 20 000 exemples chacun, couvrant des environnements simulés (AI2-THOR, Habitat) et réels :

Prise de perspective (Perspective Taking - PET) : Étant donné une vue à la première personne et une position cible, prédire la scène depuis le nouveau point de vue (ex: « Après avoir bougé vers 'X' et tourné à gauche, l'objet est-il à votre gauche ou à votre droite ? »). La vérité terrain est une image d'un nouveau point de vue.
Traçage de chemin (Path Tracing - PT) : Étant donné une carte de dessus et des vues de face aux points de passage, identifier les objets visibles à un point médian le long d'un chemin. La vérité terrain est une image de vue latérale (rendu à la première personne depuis le point médian).
Comptage multi-vues (Multiview Counting - MVC) : Étant donné plusieurs images à la première personne, déterminer le nombre total d'un objet spécifique en intégrant les vues pour résoudre les occlusions et les doublons. La vérité terrain est une carte de vue de dessus (Bird's-Eye View - BEV).

Chaque jeu de données comprend des imaginations intermédiaires de vérité terrain et des réponses finales, accompagnées de benchmarks d'évaluation filtrés par des humains.

2.3. Architecture du modèle et entraînement

Les auteurs utilisent BAGEL, un transformeur de type décodeur unique qui supporte nativement la compréhension et la génération multimodales entrelacées.

Architecture : BAGEL emploie une conception de mélange d'experts de transformeurs (Mixture-of-Transformer-Experts - MoT) avec des experts distincts pour la compréhension (jetons SigLIP2 ViT) et la génération (jetons latents FLUX VAE).
Objectif d'entraînement : Le modèle est entraîné avec une perte multi-tâche ( $L_{total}$ $L_{t o t a l}$ ) comprenant :
1. Perte de Flow-Matching ( $L_{fm}$ ) : Le modèle apprend à prédire le champ de vitesse pour transformer un bruit gaussien en la représentation latente cible de la vue non observée (l'IPT).
2. Perte de modélisation de langage ( $L_{lm}$ ) : Le modèle minimise la log-vraisemblance négative des jetons de réponse finale, conditionnée par le contexte observé et les jetons imaginatifs de vérité terrain.
Modes d'inférence :
- Mode Imagination : Le modèle génère l'image intermédiaire, la ré-encode, et l'utilise comme contexte pour prédire la réponse.
- Mode Réponse uniquement : Le modèle prédit la réponse directement sans générer d'image au moment de l'inférence, s'appuyant sur les représentations internes apprises lors de l'entraînement.

3. Résultats clés

3.1. Performance sur les tâches spatiales

En utilisant l'architecture BAGEL, la supervision par IPT améliore significativement le raisonnement spatial sur les trois tâches par rapport aux baselines :

Comptage multi-vues (MVC) : L'IPT améliore la précision de 3,4 % par rapport à l'entraînement avec étiquette seule (67,3 % contre 6 de 63,9 %) et surpasse la CoT textuelle (62,3 %).
Prise de perspective (PET) : L'IPT atteint 96,8 % de précision sur les données AI2-THOR in-domain, surpassant l'étiquette seule (97,5 % est le maximum, mais l'IPT est compétitif) et battant nettement la CoT textuelle (83,1 %). Sur les données out-of-domain (Habitat), l'IPT atteint 87,0 %, dépassant l'étiquette seule (82,0 %).
Traçage de chemin (PT) : L'entraînement mixte (IPT + étiquette seule) obtient les meilleurs résultats, atteignant 66,7 % sur les données synthétiques et 58,6 % sur les benchmarks du monde réel, surpassant à la fois l'étiquette seule et la CoT textuelle.

3.2. Comparaison avec la Chaîne de Pensée (CoT) textuelle

L'article constate que la CoT textuelle est souvent préjudiciable sur ces tâches. Par exemple, sur PET, la CoT fait chuter la performance à 83,1 % contre 96,8 % pour l'IPT. Les auteurs attribuent cela à un décalage de modalité : forcer le calcul spatial (changements de point de vue, occlusions) à travers le langage introduit du bruit et entre en compétition avec la capacité de prédiction de la réponse. En revanche, les IPT représentent ces relations directement dans la modalité visuelle.

3.3. Inférence et généralisation

Représentations internes : Crucialement, les gains de performance persistent même lorsque le modèle ne génère pas d'image lors de l'inférence (mode Réponse uniquement). Cela suggère que l'entraînement avec la supervision IPT aide les modèles à développer des représentations spatiales internes plus fortes.
Apprentissage par transfert : Les modèles entraînés avec des IPT montrent une amélioration du transfert vers des benchmarks externes (ex: SAT, MessyTable) et d'autres tâches spatiales (ScanNet, MindCube), indiquant que le raisonnement spatial appris se généralise au-delà des cibles de jetons spécifiques.
Ablation de résolution : Des jetons latents de plus haute résolution (Latent-64, 1024x1024) produisent des imaginations plus nettes et plus fidèles spatialement, ce qui corrèle avec une meilleure précision en aval.

4. Signification et affirmations

L'article affirme que les Jetons de perception imaginative fournissent un signal de supervision principalisé pour le raisonnement sur la structure non observée. Les principales contributions et affirmations sont :

Nouvelle représentation intermédiaire : Les IPT sont distincts des intermédiaires visuels précédents car ils prédisent des configurations spatiales non observées plutôt que de raffiner celles qui sont visibles.
Alignement de modalité : Superviser les modèles avec des prédictions visuelles intermédiaires est plus efficace que la CoT textuelle pour les tâches spatiales, évitant les goulots d'étranglement liés à la sérialisation des contraintes géométriques en langage.
Généralisation : L'entraînement avec une supervision imaginative produit un raisonnement spatial plus généralisable et des intermédiaires plus interprétables, alignés avec la géométrie sous-jacente de la tâche, même sans génération d'image explicite pendant l'inférence.
Benchmarking : Ce travail introduit les premiers jeux de données explicitement conçus pour entraîner et évaluer le raisonnement spatial intermédiaire ancré visuellement, mettant en évidence un « écart de perspective » et la nécessité d'une imagination spatiale constructive pour les VLM.

Les auteurs concluent que si les modèles unifiés actuels sacrifient souvent la robustesse de la compréhension au profit de la capacité de génération, l'intégration de la supervision par perception imaginative permet aux modèles d'atteindre des performances comparables à celles de modèles fermés puissants sur des tâches de raisonnement spatial complexes.