💻 computer science

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

L'article propose CAST, une méthode qui exploite les modèles vision-langage pour générer des étiquettes contrefactuelles afin d'augmenter les jeux de données robotiques, améliorant ainsi considérablement les capacités de suivi d'instructions des modèles vision-langage-action sans nécessiter de collecte de données supplémentaires.

Auteurs originaux : Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Publié 2026-06-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment naviguer dans une maison ou ramasser des objets. Vous lui montrez une vidéo d'un robot marchant dans un couloir et tournant à droite. Vous dites au robot : « Voici à quoi ressemble "aller tout droit". »

Le problème est que le robot est un peu un élève paresseux. Il remarque que chaque fois qu'il voit un couloir, le robot dans la vidéo tourne à droite. Il apprend donc un raccourci : « Si je vois un couloir, je tourne à droite. » Il cesse d'écouter vos instructions spécifiques (comme « tourne à gauche à la table bleue ») parce qu'il pense que l'image du couloir lui dit tout ce qu'il a besoin de savoir. Dans les termes techniques de l'article, cela s'appelle l'« effondrement de la distribution a posteriori » (posterior collapse) : le robot ignore votre voix et se contente de deviner en fonction de ce qu'il voit.

La solution CAST : Le jeu du « Et si ? »

Les auteurs de cet article, de l'UC Berkeley et de Princeton, ont trouvé une astuce ingénieuse pour corriger cela. Ils appellent cela CAST (Counterfactual Labels Improve Instruction Following).

Considérez CAST comme un coach en écriture créative pour les robots. Au lieu de simplement montrer au robot le seul chemin qu'il a réellement emprunté, le coach lui demande de jouer à un jeu de « Et si ? »

Voici comment cela fonctionne, étape par étape :

La scène originale : Le robot a une vidéo de lui-même marchant dans un couloir.
La question « Et si ? » : Les chercheurs utilisent une IA très intelligente (un modèle vision-langage) pour regarder ce même couloir et demander : « Hé, qu'est-ce que le robot aurait pu faire d'autre ici ? »
- Original : « Aller tout droit. »
- Contrefactuel (Et si ?) : « Tourner à droite à la table orange », ou « Se déplacer le long du mur sur la gauche ».
Inventer le chemin : L'IA ne se contente pas d'inventer une phrase ; elle invente aussi un faux chemin vidéo qui correspond à cette nouvelle phrase. Elle imagine : « D'accord, si le robot tournait à droite à la table orange, à quoi ressembleraient les quelques secondes suivantes ? »
La nouvelle leçon : Désormais, le robot a deux leçons pour ce même couloir :
- Leçon A : « Aller tout droit » (la vidéo réelle).
- Leçon B : « Tourner à droite à la table orange » (la vidéo inventée).

Pourquoi cela change tout

Avant cette astuce, le robot voyait un couloir et pensait : « Je connais ça ! Je tourne à droite ! » Il n'avait pas besoin d'écouter vos mots.

Après l'astuce CAST, le robot voit le même couloir mais réalise : « Attendez, parfois je vais tout droit, et parfois je tourne à droite à la table orange. L'image seule ne me dit pas quoi faire. Je dois écouter les mots spécifiques que vous donnez pour savoir quel chemin prendre. »

Les résultats

Les chercheurs ont testé cela sur deux types de robots :

Robots de navigation : Des robots qui se déplacent à l'intérieur et à l'extérieur.
Robots de manipulation : Des bras robotisés qui ramassent des objets comme du brocoli ou des cuillères.

Ils ont constaté qu'en utilisant ces données de type « Et si » (sans avoir besoin de collecter de nouvelles vidéos réelles), les robots sont devenus bien meilleurs pour suivre des instructions.

En navigation, le taux de réussite a doublé par rapport aux robots entraînés sans cette astuce.
Dans les tâches de manipulation (comme ramasser des objets à proximité d'objets distrayants), les robots se sont améliorés de 27 %.

L'essentiel à retenir

CAST est comme si l'on donnait à un robot une bibliothèque de « réalités alternatives ». En montant au robot que la même scène peut mener à des résultats différents selon l'instruction, cela le force à arrêter de deviner et à commencer à écouter. Cela transforme un robot qui se contente de « regarder et deviner » en un robot qui « écoute et agit » véritablement.

Résumé technique : CAST – Les étiquettes contrefactuelles améliorent le suivi d'instructions dans les modèles de vision-langage-action

Énoncé du problème
Les robots généralistes nécessitent la capacité de suivre des instructions linguistiques diversifiées et à vocabulaire ouvert. Bien que les modèles Vision-Langage-Action (VLA) offrent une architecture prometteuse pour lier le langage aux actions robotiques, ils peinent actuellement à suivre des instructions fines. Une limitation primaire est le manque de diversité sémantique et d'ancrage linguistique dans les jeux de données robotiques existants. Dans de nombreux jeux de données, les observations sont fortement corrélées à des actions spécifiques (par exemple, un commode implique « ouvrir le tiroir »), ce qui conduit à un effondrement de la distribution postérieure (posterior collapse). Dans ce phénomène, la politique apprend à ignorer les entrées linguistiques pour déduire les tâches uniquement à partir des observations visuelles, car le langage n'apporte aucune information prédictive supplémentaire. De plus, les jeux de données existants manquent souvent de diversité de tâches fines pour des observations similaires, et certains jeux de données de navigation ne possèdent aucun label linguistique. L'augmentation de la collecte de données pour remédier à ces problèmes est coûteuse et fastidieuse.

Méthodologie : Augmentation contrefactuelle par trajectoires synthétiques (CAST)
Les auteurs proposent CAST, un cadre d'augmentation de données qui exploite les modèles Vision-Langage (VLM) pour générer des étiquettes linguistiques contrefactuelles et des actions synthétiques pour des jeux de données de trajectoires robotiques existants et non curatés. L'idée centrale est qu'en entraînant les politiques sur plusieurs actions distinctes associées à la même observation (mais pilotées par des instructions différentes), le modèle est contraint d'accorder de l'attention à l'entrée linguistique pour prédire l'action correcte, atténuant ainsi l'effondrement de la distribution postérieure.

Le pipeline CAST opère en quatre étapes principales :

Identification des points de décision : Les trajectoires existantes sont segmentées en blocs atomiques basés sur des changements de comportement (ex: tourner, s'arrêter). Ces limites servent de points de décision.
Génération d'instructions contrefactuelles : À chaque point de décision, un VLM (spécifiquement Gemini 2.5 Pro) est interrogé avec l'observation actuelle et le contexte de la trajectoire originale. Le VLM génère des instructions contrefactuelles plausibles (ex : « Tourner à gauche » au lieu de l'exécution « Tourner à droite ») et des commandes atomiques correspondantes (ex : « tourner à gauche »).
Génération d'actions synthétiques : Une politique atomique ( $\pi_a$ ) pré-entraînée, entraînée sur des données robotiques réelles pour suivre des commandes atomiques simples (ex : « avancer », « tourner à gauche »), est utilisée pour générer les blocs d'actions pour ces instructions contrefactuelles. Cette politique bifurque de la trajectoire originale pour créer une nouvelle « fin contrefactuelle » plausible.
Augmentation du jeu de données : Les trajectoires originales sont augmentées de ces nouveaux tuples $(observation, instruction\_contrefactuelle, action\_contrefactuelle)$ . Ce jeu de données élargi est utilisé pour entraîner la politique VLA finale, nommée CounterfactualVLA.

Les auteurs fournissent une motivation théorique basée sur l'information mutuelle. Ils soutiennent que le suivi du langage est amélioré en maximisant l'information mutuelle $I(a; \ell|o)$ entre l'action ( $a$ ) et le langage ( $\ell$ ) conditionnés par l'observation ( $o$ ). En augmentant l'entropie des commandes atomiques ( $H(\ell_a|o)$ ) pour une observation donnée tout en garantissant que la commande atomique est prédictible à partir de l'instruction complète ( $H(\ell_a|\ell, o)$ ), CAST augmente efficacement une borne inférieure de cette information mutuelle.

Détails d'implémentation
Les auteurs instaurent CAST dans deux domaines :

Navigation : En utilisant le jeu de données GNM (intérieur/extérieur), ils emploient un pipeline de réétiquetage a posteriori (hindsight relabeling) pour générer des labels initiaux pour les données non étiquetées. Ils segmentent les trajectoires en comportements atomiques (tourner à gauche/droite, avancer, s'arrêter) pour entraîner une politique atomique. Le VLM génère des prompts de navigation contrefactuels, et la politique atomique synthétise les blocs d'actions correspondants.
Manipulation : En utilisant le jeu de données Bridge, ils utilisent les labels de niveau tâche et les décompositions de sous-tâches existants (ex : « ramasser », « déplacer vers ») comme commandes atomiques. Le VLM génère des tâches contrefactuelles (ex : placer un objet sur une autre surface), et une politique pilotable (Steerable Policy) pré-entraînée génère les actions.

Dans les deux cas, le CounterfactualVLA final est une version affinée (fine-tuned) du VLM PaliGemma 3B, entraînée sur le jeu de données augmenté en utilisant le découpage d'actions (action chunking) pour assurer la cohérence temporelle.

Résultats expérimentaux
Les auteurs évaluent la méthode à travers plusieurs prismes :

Qualité des labels : Des juges humains ont évalué la précision des labels générés concernant les objets, le mouvement et l'ancrage dans la scène. Les labels contrefactuels ont été jugés précis et plausibles.
Performance de navigation : CounterfactualVLA a été testé sur 27 tâches de suivi d'instructions dans trois environnements (bureau, cuisine, parc extérieur). Les tâches incluaient la navigation par objet, la navigation référentielle (relations spatiales) et la navigation continue.
- CounterfactualVLA a surpassé les VLA entraînés sur des données non augmentées de 27 %.
- Il a atteint un taux de succès double par rapport à la ligne de base.
- Il a surpassé les méthodes de pointe dans le domaine.
Performance de manipulation : Évaluée sur des tâches de prise et de dépose avec des distracteurs, la méthode montre une amélioration de performance de 27 % par rapport à un VLA entraîné avec des données standards.

Signification et revendications
L'article affirme que CAST fournit une méthode scalable et efficace en termes de données pour améliorer la capacité de pilotage et de suivi d'instructions des politiques VLA sans nécessoter de collecte supplémentaire de données réelles. En exploitant des VLM prêts à l'emploi pour générer des données contrefactuelles, la méthode traite le problème de l'« effondrement de la distribution postérieure » inhérent aux jeux de données actuels. Les auteurs positionnent ce travail comme une « première étape vers un véritable suivi de langage en ensemble ouvert », démontant que l'augmentation des jeux de données existants avec des contrefactuels synthétiques peut considérablement améliorer la capacité d'un robot à suivre des commandes complexes et fines dans des environnements divers. Le code, les données et les checkpoints sont en accès libre pour faciliter la recherche ultérieure.

Articles similaires