💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

Ce papier démontre que les modèles Vision-Language-Action (VLA) peuvent surmonter leurs difficultés d'extrapolation de tâches et de surajustement spatial en manipulant des latents textuels internes par interpolation, une technique qui atteint un taux de réussite de 83 % sur des benchmarks d'instructions nouvelles et révèle le potentiel d'une injection de prompts cachés et illisibles par l'humain.

Auteurs originaux : Quanyi Li

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Quanyi Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un chef robot comment cuisiner. Vous lui montrez deux recettes spécifiques :

Recette A : « Mettez le fromage à la crème dans le bol. »
Recette B : « Posez le bol sur le dessus de l'armoire. »

Le robot apprend parfaitement ces deux mouvements. Il peut exécuter la Recette A, et il peut exécuter la Recette B. Mais ensuite, vous lui posez une nouvelle question : « Mettez le fromage à la crème sur le dessus de l'armoire. »

Logiquement, le robot devrait être capable de le faire. Il sait comment saisir le fromage, et il sait comment atteindre l'armoire. Il lui suffit simplement de combiner les deux compétences qu'il possède déjà. Cependant, selon cet article, la plupart des cerveaux robotiques avancés (appelés Modèles Vision-Langage-Action ou VLAs) échouent lamentablement à cela. Ils restent bloqués, agissant comme s'ils n'avaient jamais vu l'armoire ou le fromage auparavant, même s'ils viennent de les utiliser dans les étapes précédentes.

Le Problème : Le Robot est un « Perroquet », pas un « Chef »

Les auteurs ont découvert que ces robots ne comprennent pas vraiment le monde. Au lieu de cela, ils mémorisent des scènes spécifiques.

Pensez-y comme un élève qui mémorise les réponses d'un test d'entraînement mais ne comprend pas les mathématiques. Si vous demandez : « Combien font 2 + 2 ? », il répond « 4 ». Mais si vous demandez : « Combien font 2 + 2 si les chiffres sont écrits en encre rouge ? », il pourrait paniquer.

Dans le cas du robot, il a appris que « Fromage à la crème » est toujours associé à l'endroit précis sur la table où il a vu le fromage à la crème pendant l'entraînement. Il ne comprend pas que « Fromage à la crème » est un objet qui peut bouger ; il pense que « Fromage à la crème » est cet endroit précis. L'article appelle cela le « Surajustement Spatial ». Le robot est si concentré sur l'endroit où les choses se trouvaient dans les vidéos d'entraînement qu'il ignore où elles se trouvent réellement à l'instant présent.

La Solution : La « Carte Recette Magique » (Latent Textuel)

Les chercheurs voulaient savoir : Le robot est-il vraiment intelligent au fond, ou est-il simplement cassé ?

Ils ont trouvé un « ingrédient » caché à l'intérieur du cerveau du robot appelé Latent Textuel.

L'Analogie : Imaginez que le cerveau du robot est une immense bibliothèque. Lorsque vous lui donnez un ordre comme « Mettez le fromage dans le bol », le robot sort une « carte recette » spécifique et invisible de sa mémoire interne. Cette carte n'est pas écrite dans des mots que vous pouvez lire ; c'est un motif complexe de signaux électriques (un vecteur) qui indique au robot exactement comment bouger.
La Découverte : Les chercheurs ont constaté que s'ils prenaient cette « carte recette » invisible pour « mettre des choses dans un bol » et l'injectaient à nouveau dans le cerveau du robot, celui-ci exécutait parfaitement cette action — même si vous ne lui donniez aucun mot. La carte était l'instruction.

La Percée : Mélanger les Cartes (Interpolation de Latents Textuels)

La véritable magie s'est produite lorsqu'ils ont tenté de résoudre le problème du « Fromage à la crème sur l'armoire ».

Ils ont pris la « carte recette » invisible pour la Tâche A (Fromage vers Bol) et la carte pour la Tâche B (Bol vers Armoire). Ensuite, ils ont créé un mélange fluide des deux cartes.

L'Analogie : Imaginez que vous avez deux pistes musicales en lecture. L'une est une chanson de jazz, l'autre un rock. Au lieu de passer brusquement de l'une à l'autre, vous utilisez une table de mixage pour faire lentement disparaître le jazz tout en faisant apparaître le rock.
Le Résultat : En « mélangeant » ces deux cartes recettes invisibles à l'intérieur du cerveau du robot, celui-ci a réussi à combiner les compétences. Il a saisi le fromage, l'a déplacé vers l'armoire et l'a déposé.

Les Statistiques :

Sans cette astuce, le robot (nommé π0) réussissait seulement 9 % du temps sur ces nouvelles tâches combinées.
Avec l'astuce du « mélange », le succès a bondi à 83 %.

Cela a prouvé que le robot avait les compétences en lui tout au long ; il ne parvenait simplement pas à comprendre comment les mélanger seul. Les « cartes recettes » étaient là, mais le robot avait besoin d'un humain pour les aider à se fondre ensemble.

Le Grand Test : Le Benchmark « Libero-OOD »

Pour prouver qu'il ne s'agissait pas d'un simple coup de chance, les auteurs ont créé un nouveau test appelé Libero-OOD. Ce test contient 20 tâches piégeuses où le robot doit combiner des compétences qu'il connaît déjà de nouvelles manières.

Le Résultat : Ils ont testé les meilleurs cerveaux robotiques au monde (comme UniVLA, OpenVLA et π0-fast). Aucun d'eux n'a pu le faire seul. Ils ont tous obtenu un score inférieur à 21 %.
La Conclusion : Même les robots les plus intelligents sont actuellement « bloqués » dans leurs données d'entraînement. Ils ne peuvent pas généraliser ou « penser hors des sentiers battus » sans aide.

L'Avertissement : « Instructions Privées »

Les chercheurs ont également découvert quelque chose de quelque peu effrayant. Comme ces « cartes recettes » ne sont que des motifs de nombres, vous pouvez les retransformer en texte.

Lorsqu'ils ont tenté de lire la « carte recette » d'une tâche, le texte résultant était du charabia (comme QSize, black, plate).
Cependant, si vous nourrissiez ce charabia de nouveau dans le robot, cela fonctionnait toujours !
La Métaphore : C'est comme avoir un code secret que seul le robot comprend. Vous pourriez cacher une instruction secrète à l'intérieur d'une phrase d'apparence normale, et le robot la suivrait sans que personne d'autre ne le sache. Cela s'appelle une « porte dérobée », et cela montre que ces modèles sont plus mystérieux que nous ne le pensions.

Résumé

L'article nous dit que les robots les plus intelligents d'aujourd'hui sont comme des musiciens qui peuvent jouer deux chansons parfaitement mais ne peuvent pas improviser une nouvelle mélodie. Ils mémorisent les notes et les positions exactes de leurs séances d'entraînement mais échouent lorsque la musique change légèrement.

Les auteurs ont montré que si nous mélangeons manuellement les « partitions musicales » (les latents textuels) de deux chansons différentes, le robot peut jouer la nouvelle mélodie. Cela prouve que le robot a le talent, mais il manque de la capacité à combiner ses propres compétences. L'article introduit un nouveau test (Libero-OOD) pour aider les chercheurs à construire des robots capables d'apprendre réellement à mélanger leurs propres compétences, plutôt que de simplement mémoriser des scènes.

1. Énoncé du problème

Les modèles Vision-Language-Action (VLA) ont démontré de solides performances sur des tâches en distribution lorsqu'ils sont affinés avec des démonstrations spécifiques. Cependant, ils éprouvent des difficultés significatives avec les tâches hors distribution (OOD), en particulier celles nécessitant une extrapolation (la recomposition de compétences apprises de nouvelles manières).

Le problème central : Un VLA peut apprendre avec succès « mettre du fromage à la crème dans un bol » et « mettre un bol sur un placard » individuellement, mais échouer à exécuter la tâche extrapolée « mettre du fromage à la crème sur le placard », même si les primitives de mouvement constitutives (saisie, atteinte) sont déjà apprises.
La question : Les VLA se contentent-ils de surapprendre les trajectoires démontrées, ou apprennent-ils des représentations internes composables qui soutiennent une généralisation plus large ?
Le vide : Il manque des benchmarks adaptés pour tester cela, car les tâches OOD existantes sont souvent soit trop difficiles (par exemple, nécessitant une physique entièrement nouvelle), soit trop faciles. Les auteurs proposent qu'un benchmark valide doit être composé de tâches que le modèle devrait pouvoir résoudre en combinant des compétences existantes, mais qu'il échoue actuellement à résoudre de manière autonome.

2. Méthodologie

Le papier introduit un cadre basé sur l'interprétabilité mécaniste pour sonder et manipuler les états internes des VLA, en se concentrant spécifiquement sur le modèle $\pi_0$ .

A. Extraction de latents textuels

Les auteurs émettent l'hypothèse que les représentations de compétences spécifiques à une tâche sont encodées dans les états cachés des jetons de texte (descriptions de tâches).

Définition : Un Latent Textuel ( $T$ ) est un vecteur spécifique à une tâche dérivé en moyennant les états cachés des jetons de texte à travers toutes les couches du transformateur et plusieurs épisodes de démonstration pour une tâche spécifique.
Extraction : $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ , où $h_T(i)$ représente les états cachés des jetons de texte au pas de temps $i$ .
Fonction : Injecter $T$ à nouveau dans le flux résiduel du modèle (spécifiquement les états cachés des jetons de texte) permet de reconstruire le comportement de tâche associé, même sans l'invite de texte originale.

B. Interpolation de latents textuels (TLI)

Pour réaliser une extrapolation, les auteurs proposent de mélanger les latents textuels de deux tâches de base afin de créer un nouveau comportement composite.

Mécanisme : Au lieu d'interpoler des jetons de texte discrets (ce qui est impossible), ils interpolent les latents textuels ( $T_1$ et $T_2$ ) au sein du flux résiduel.
Formule : Au pas de temps $i$ , l'état caché est modifié comme suit :
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
où $\alpha = i/\lambda$ contrôle la vitesse de transition de la Tâche 1 vers la Tâche 2.
Effet : Cela guide le modèle pour qu'il commence par le comportement de la Tâche 1 et transitionne de manière fluide vers la Tâche 2, « cousant » efficacement des sous-trajectoires ensemble pour résoudre une tâche extrapolée nouvelle.

C. Le benchmark Libero-OOD

Les auteurs introduisent libero-ood, une nouvelle suite de benchmarks contenant 20 tâches extrapolées dérivées des suites LIBERO standard (libero-goal, libero-spatial, libero-object).

Conception : Chaque tâche nécessite de combiner un lieu de saisie appris à partir d'une tâche et un lieu de placement appris à partir d'une autre. La trajectoire spécifique reliant ces deux points n'est jamais vue lors de l'entraînement.
Objectif : Tester si les VLA peuvent recombiner de manière autonome des représentations de compétences apprises.

3. Contributions clés

Découverte de représentations de compétences composables : Le papier démontre que les VLA (spécifiquement $\pi_0$ ) possèdent des représentations internes de compétences qui sont individuelles mais composables. Bien que le modèle ne puisse pas les combiner de manière autonome, il peut être forcé à le faire via la manipulation de latents textuels.
Interpolation de latents textuels (TLI) : Une technique d'intervention novatrice au moment de l'inférence qui mélange les représentations de tâches pour permettre l'extrapolation, augmentant les taux de réussite sur des tâches nouvelles sans réentraînement.
Le benchmark Libero-OOD : Un benchmark rigoureux conçu pour isoler la capacité de recombiner des compétences. Il filtre les tâches impossibles pour le robot, se concentrant plutôt sur des tâches qui sont théoriquement solubles par la base de connaissances existante du modèle.
Identification du surapprentissage spatial : Le papier révèle un mode de défaillance critique où les VLA associent des noms d'objets à des emplacements spatiaux fixes issus des données d'entraînement plutôt que de comprendre l'identité de l'objet ou son état actuel.

4. Résultats expérimentaux

Performance sur Libero-OOD

Échec de la ligne de base : Les VLA de l'état de l'art ( $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft) ont obtenu un taux de réussite < 21 % sur les 20 tâches extrapolées de libero-ood, malgré un taux d'environ 95 % sur les tâches LIBERO standard.
Succès de la TLI : L'application de la TLI à $\pi_0$ a augmenté son taux de réussite de 9 % à 83 % sur libero-ood.
Comparaison : Aucun autre VLA n'a atteint un taux de réussite supérieur à 21 % sur le benchmark, soulignant une limitation systémique des architectures actuelles en matière d'extrapolation.

Reconstruction de tâches et implications pour la sécurité

Reconstruction : L'injection de latents textuels dans une invite vide a permis à $\pi_0$ d'accomplir des tâches avec un taux de réussite > 80 %, prouvant que le latent capture les connaissances essentielles de la tâche.
Déembedding : Le déembedding des latents textuels en identifiants de jetons a produit des « invites obscures » (souvent illisibles) qui pouvaient toujours instruire le modèle. Cela suggère des vulnérabilités potentielles pour les instructions privées ou les attaques par porte dérobée.

Analyse des modes de défaillance : Surapprentissage spatial

Observation : Lorsqu'on lui demande de saisir un objet (par exemple, « fromage à la crème ») qui a été déplacé vers un nouvel emplacement, le modèle ignorait souvent la position actuelle de l'objet et se dirigeait vers l'emplacement où cet objet apparaissait dans les démonstrations d'entraînement.
Preuve : Dans des expériences où les emplacements des objets étaient échangés, $\pi_0$ (et d'autres VLA) se déplaçait systématiquement vers le « lieu d'entraînement » du nom de l'objet plutôt que vers l'objet réel.
Conclusion : Les VLA présentent un surapprentissage spatial, mappant les noms d'objets à des coordonnées fixes plutôt qu'apprenant une véritable compréhension objet-but.

5. Importance

Redéfinition de la généralisation OOD : Le papier soutient que les VLA actuels ne sont pas « cassés » mais « verrouillés ». Ils possèdent les compétences nécessaires mais manquent du mécanisme pour les recombiner de manière autonome. Le benchmark proposé (libero-ood) fournit une norme pour mesurer cette capacité latente.
L'interprétabilité comme outil : En utilisant l'interprétabilité mécaniste (latents textuels), les auteurs prouvent que l'échec n'est pas un manque de connaissances mais un échec de la composition. Cela déplace le focus de la recherche de la collecte de plus de données vers l'amélioration des mécanismes de composition internes du modèle.
Sécurité et sûreté : La découverte que les latents textuels peuvent être déembeddés en invites obscures met en évidence de nouveaux vecteurs pour les attaques adverses et les portes dérobées dans les systèmes robotiques.
Direction future : Les résultats suggèrent que les futures architectures VLA doivent être conçues pour soutenir explicitement la recomposition des représentations apprises, plutôt que de compter sur des astuces post-entraînement comme la TLI pour débloquer leur potentiel.

En résumé, ce papier fournit des preuves solides que les VLA ont le potentiel de généralisation mais sont actuellement entravés par un surapprentissage spatial et une incapacité à composer de manière autonome des compétences apprises. L'introduction de libero-ood et de TLI offre à la fois un nouveau benchmark pour la communauté et une méthode pour sonder la « boîte noire » interne des politiques robotiques.