🤖 AI

Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

Ce papier présente le raisonnement vision-langage entrelacé (IVLR), un cadre de politique qui génère des traces explicites alternant entre sous-objectifs textuels et images clés visuelles pour permettre une manipulation robotique robuste à long horizon en combinant la cohérence logique avec l'ancrage géométrique, atteignant des taux de réussite à la pointe de l'état de l'art sur des benchmarks exigeants.

Auteurs originaux : Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment nettoyer une cuisine en désordre. La tâche ne se résume pas à « ramasser la cuillère ». C'est une longue histoire : « D'abord, déplacez l'assiette sale vers l'évier, puis saisissez l'éponge, frottez le comptoir, et enfin remettez l'éponge à sa place. »

Les cerveaux actuels des robots (appelés politiques Vision-Language-Action) sont comme des acteurs excellents pour la prochaine réplique du dialogue, mais terribles pour se souvenir de l'ensemble du script. Ils regardent l'évier, voient une assiette et la saisissent. Mais si la tâche exige qu'ils saisissent une tasse avant l'assiette, ils pourraient se confondre, saisir le mauvais objet, ou oublier pourquoi ils sont là au départ. Ils sont « myopes » : ils ne voient que l'étape immédiate suivante.

Ce papier introduit une nouvelle façon pour les robots de penser, appelée IVLR (Interleaved Vision–Language Reasoning). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : L'« Acteur Amnésique »

Imaginez un robot standard comme un acteur à qui l'on donne un script mais qui doit le mémoriser ligne par ligne pendant la performance. Si la pièce est courte, il s'en sort bien. Mais si la pièce est longue (une tâche à « long horizon »), il oublite l'intrigue.

Les plans uniquement textuels sont comme un script disant « Saisissez la tasse ». Il dit au robot quoi faire, mais pas où exactement ni à quoi la scène devrait ressembler. C'est comme une recette sans images.
Les plans uniquement visuels sont comme une bobine de film du futur. Ils montrent au robot à quoi ressemble la scène, mais sans mots, le robot pourrait ne pas comprendre pourquoi la tasse est là ou dans quel ordre les choses se sont produites.

2. La Solution : Le « Réalisateur Storyboard »

Les auteurs donnent au robot un Storyboard. Avant même que le robot ne bouge un muscle, il fait une pause et crée un « film » complet de toute la tâche dans sa tête. Ce storyboard est appelé une IVLR-Trace.

Cette trace est spéciale car elle mélange deux éléments, en alternant comme un comic book :

Panneaux de texte : « Saisissez la tasse blanche. » (La logique/l'ordre causal).
Panneaux d'images : Une image de la tasse blanche posée exactement là où elle doit aller. (L'objectif visuel).

Le robot génère ce storyboard entier une seule fois au tout début. C'est comme un réalisateur disant : « D'accord, voici le film entier. Scène 1 : Saisir la tasse. Scène 2 : Placer sur l'assiette. Scène 3 : Saisir la tasse jaune... »

3. Comment le Robot l'Utilise : Le « GPS avec une Carte »

Une fois le storyboard créé, le robot ne suit pas aveuglément les images comme un personnage de jeu vidéo. Au lieu de cela, il garde le storyboard en « cache » (sauvegardé dans sa mémoire à court terme) pendant qu'il travaille.

La Boucle : À chaque instant, le robot regarde le monde réel (ce qu'il voit maintenant) et le compare au storyboard (ce qu'il avait prévu de voir).
L'Analogie : Imaginez que vous conduisez à une fête. Vous avez une carte (le storyboard) qui montre l'itinéraire et la destination. Mais vous avez aussi les yeux (la caméra en direct). Si vous prenez un mauvais virage, vos yeux vous disent : « Hé, ce n'est pas la rue sur la carte ! » Vous corrigez alors votre direction.
Le robot fait cela constamment. Il utilise le storyboard pour se souvenir de l'ordre des événements et de l'objectif visuel, mais il utilise ses yeux en direct pour s'assurer qu'il ne percute pas une chaise qui n'était pas là quand il a fait le plan.

4. Comment ils ont Enseigné au Robot (La « Pseudo-Supervision »)

Les vrais robots ne viennent pas avec des storyboards ; ils viennent simplement avec des vidéos de personnes effectuant des tâches. Les auteurs ont dû apprendre au robot comment créer ses propres storyboards.

Ils ont pris des vidéos de robots effectuant des tâches et utilisé une IA intelligente pour découper la vidéo en « scènes » (étapes).
Ensuite, ils ont utilisé une autre IA pour écrire une légende pour chaque scène (par exemple, « Le préhenseur se déplace vers la tasse ») et sélectionner une « image clé » (une photo représentative de ce moment).
Ils ont fourni ces storyboards fabriqués au robot comme données d'entraînement. C'est comme donner à un élève un manuel avec les réponses déjà remplies, afin qu'il puisse apprendre à résoudre les problèmes lui-même plus tard.

5. Les Résultats : Pourquoi cela Compte

Le papier a testé cela sur des simulations informatiques où les robots devaient accomplir des tâches longues et multi-étapes (comme empiler des blocs ou déplacer des tasses).

Sans storyboard : Le robot échouait souvent, surtout sur les tâches longues (seulement environ 37 % de réussite). Il se perdait au milieu de l'histoire.
Avec seulement du texte ou seulement des images : Il s'en sortait mieux, mais pas bien (environ 60-68 %).
Avec le « Storyboard » complet (Texte + Images) : Le robot a réussi 92,4 % du temps sur les tâches les plus difficiles.

La découverte clé est que vous avez besoin des deux. Vous avez besoin du texte pour se souvenir de l'ordre (causalité) et des images pour se souvenir de l'emplacement (géométrie). L'un sans l'autre ne suffit pas.

6. L'Inconvénient (Limites)

Le papier est honnête sur les inconvénients :

Temps de réflexion : Le robot doit « réfléchir » pendant environ 10 secondes avant de commencer à bouger pour créer le storyboard. C'est acceptable pour une tâche lente et prudente, mais c'est trop lent pour un robot qui doit esquiver une balle en mouvement rapide.
Plans périmés : Si le monde change après que le robot a fait le plan (par exemple, quelqu'un déplace la tasse pendant que le robot réfléchit), le storyboard devient erroné. Le robot pourrait essayer de suivre un plan pour un monde qui n'existe plus.
Simulation uniquement : Ils ont testé cela dans une simulation informatique, pas sur un vrai robot dans une vraie cuisine.

Résumé

Ce papier propose que, au lieu de forcer un robot à deviner l'étape suivante en se basant uniquement sur ce qu'il voit à l'instant présent, nous devrions lui permettre d'écrire d'abord un « comic book » de toute la tâche. En mélangeant les mots (le plan) et les images (l'objectif) en une seule « trace », le robot peut se souvenir de la vue d'ensemble tout en réagissant toujours au monde immédiat. C'est un passage du « réagir » au « planifier et réagir ».

1. Énoncé du problème

La manipulation robotique à long horizon nécessite des politiques satisfaisant deux exigences contradictoires : la cohérence causale (maintenir l'ordre logique des sous-objectifs) et l'ancrage géométrique (positionnement spatial précis).

Limites des méthodes actuelles :
- Politiques VLA (Vision-Language-Action) standards : Masquent généralement la planification dans des états latents. Elles souffrent souvent d'une « myopie temporelle », échouant à maintenir l'état sur de longues séquences ou exécutant les étapes dans le désordre.
- Chaîne de pensée (CoT) uniquement textuelle : Encode bien l'ordre causal mais manque des détails spécifiques sur la pose spatiale, la géométrie de contact et le placement cible requis pour le contrôle de bas niveau.
- Prédiction visuelle / Modèles du monde : Fournissent des indices géométriques mais restent souvent locaux et sémantiquement sous-contraints, conduisant à des futurs visuels plausibles mais incorrects pour la tâche.
Le vide : Il manque une représentation intermédiaire explicite capturant simultanément la logique sémantique (texte) et l'état géométrique (vision) sur l'ensemble de l'horizon de la tâche.

2. Méthodologie : Raisonnement Vision–Langage Intercalé (IVLR)

Les auteurs proposent IVLR, un cadre centré sur la Trace IVLR, une représentation intermédiaire explicite alternant sous-objectifs textuels et images clés visuelles.

A. Représentation centrale : Trace IVLR

La trace est une séquence d'étapes $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ , où :

$c^{(i)}$ : Un sous-objectif textuel (légende) décrivant le rôle causal de l'étape.
$k^{(i)}$ : Une image clé visuelle (image RVB) ancrant l'état spatial visé pour cette étape.
Cela crée un « storyboard à horizon complet » qui rend le raisonnement du robot visible et ablatable.

B. Architecture

Le système utilise un transformateur multimodal natif unique (initialisé à partir de Show-o2 1.5B) avec deux phases distinctes :

Phase de raisonnement (t=0) :
- Entrée : Observation initiale ( $o_0$ ) et instruction de tâche ( $I$ ).
- Processus : Le modèle génère la Trace IVLR complète.
- Mécanisme : Le texte est décodé de manière autorégressive via une tête de langage ; les images clés visuelles sont générées via une tête d'appariement de flux (prédiction de champs vectoriels pour transporter le bruit vers des latents cibles).
Phase d'exécution (t>0) :
- Entrée : Observation courante ( $o_t$ ), instruction originale ( $I$ ) et la trace mise en cache ( $z$ ).
- Processus : Un décodeur d'actions en boucle fermée prédit des actions continues ( $a_t$ ).
- Mécanisme : Le jeton d'action porte attention à l'ensemble de la trace mise en cache et à l'observation en direct, permettant au modèle de sélectionner dynamiquement les parties pertinentes du plan en fonction de l'état actuel, sans pointeur d'étape codé en dur.

C. Pipeline de pseudo-supervision

Puisque les jeux de données robotiques standards manquent de traces intercalées, les auteurs ont construit un pipeline pour générer des pseudo-traces pour l'entraînement :

Segmentation : Utilisation du Décomposeur Visuel Universel (UVD) pour diviser les trajectoires de démonstration en étapes basées sur des ruptures de monotonie dans les embeddings visuels.
Sélection d'images clés : La dernière image de chaque segment devient l'image clé visuelle ( $k^{(i)}$ ).
Légendage : Un Modèle Vision-Langage (Qwen3-VL) génère une légende textuelle structurée ( $c^{(i)}$ ) décrivant l'interaction préhenseur-objet et les relations spatiales pour chaque étape.

D. Objectif d'entraînement

La perte totale combine trois composantes :

$L_{text}$ : Entropie croisée pour le prochain jeton pour les légendes.
$L_{flow}$ : Perte d'appariement de flux pour les images clés visuelles.
$L_{action}$ : Perte L1 pour la prédiction d'actions continues.
Robustesse : Du bruit aléatoire sur la trace et un masquage dynamique du contexte sont appliqués pendant l'entraînement pour prévenir une dépendance excessive à des traces parfaites.

3. Contributions clés

Trace IVLR explicite : Formulation d'une séquence intercalée à horizon complet de texte et d'images clés RVB servant d'interface sémantico-géométrique pour le contrôle VLA.
Architecture unifiée : Implémentation dans un transformateur multimodal natif unique qui génère le plan une fois et conditionne l'exécution en boucle fermée sur la trace mise en cache.
Construction évolutive de pseudo-traces : Un pipeline utilisant UVD et des VLM pour réadapter des démonstrations robotiques non structurées avec une supervision multimodale par étapes.
Validation empirique : Démonstration que les traces intercalées surpassent nettement les baselines unimodales dans les tâches à long horizon et sont robustes à une dérive d'exécution modérée et à la corruption de trace.

4. Résultats expérimentaux

La méthode a été évaluée sur LIBERO (manipulation simulée) et SimplerEnv-WidowX (décalage de distribution visuelle).

Performance principale (LIBERO) :
- IVLR : A atteint 95,5 % de succès moyen.
- LIBERO-Long (Long horizon) : A atteint 92,4 %, surpassant nettement CoT-VLA (69,0 %) et VLA-0 (87,6 %).
- SimplerEnv-WidowX : A atteint 59,4 % de succès global, surpassant SpatialVLA (42,7 %).
Études d'ablation (La nécessité de l'intercalage) :
- Sans trace : Le succès chute à 37,7 % sur LIBERO-Long.
- Trace uniquement textuelle : 62,0 % (Bon pour l'ordre, manque d'ancres spatiales).
- Trace uniquement visuelle : 68,4 % (Bon pour la géométrie, manque de séquence sémantique).
- IVLR complet : 92,4 % (Prouve que le texte et la vision sont complémentaires, non interchangeables).
Tests de stress de robustesse :
- Perturbation d'exécution : Avec un déplacement aléatoire de 2 cm de l'effecteur terminal, le succès n'a baissé que modérément (95,5 % $\to$ 92,1 %), montrant que la nature en boucle fermée peut récupérer de petits glissements.
- Corruption de trace : Le masquage de 30 % des jetons textuels ou visuels a entraîné une dégradation modérée (vers ~90-92 %), indiquant que le système tolère des contenus manquants locaux.

5. Signification et limites

Signification :

Raisonnement explicite : Change le paradigme de la planification latente implicite vers un raisonnement multimodal explicite, inspectable et contrôlable.
Évolutivité : Démontre que des traces pseudo-supervisées peuvent entraîner efficacement des politiques pour des tâches complexes et multi-étapes sans plans symboliques étiquetés par des humains.
Complémentarité : Valide que la combinaison de la logique sémantique (texte) et de l'ancrage géométrique (vision) est cruciale pour le succès à long horizon.

Limites :

Latence : La génération de la trace complète prend environ 10 secondes (sur un GPU H20) avant le début de l'exécution, ce qui constitue un goulot d'étranglement pour les environnements dynamiques.
Hypothèse statique : La méthode suppose un espace de travail entièrement observé et statique à $t=0$ . Si la scène change radicalement (par exemple, retrait d'objet, occlusion) après la planification, la trace mise en cache devient obsolète.
Simulation uniquement : Les résultats sont actuellement limités à des benchmarks simulés ; le déploiement sur robot réel nécessite une validation supplémentaire.

Directions futures :
Les auteurs suggèrent d'explorer la planification asynchrone en agissant (générer les étapes futures de la trace tout en exécutant les actuelles) et la replanification auto-déclenchée pour gérer les changements de scène dynamiques.