💻 computer science

ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

ChainVLA est une politique vision-langage-action de 1,2 milliard de paramètres qui atteint une performance de manipulation à long terme supérieure en enchaînant des requêtes successives via un état d'exécution unifié et révisable combinant une mémoire de travail récurrente pour la progression de la tâche et un suivi de mouvement pour la génération d'actions continues.

Auteurs originaux : Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à ranger votre chambre en désordre. Vous lui donnez une commande simple : « Range les jouets. » Un robot qui réfléchit par étapes minuscules et isolées pourrait regarder le sol, ramasser un bloc rouge et le mettre dans une boîte. Ensuite, il s'arrête. Il oublie qu'il vient de ramasser le bloc. Il regarde à nouveau le sol, voit un bloc bleu, et le ramasse. Mais qu'en est-il si le bloc rouge devait en fait aller sous le bloc bleu ? Ou si le robot devait se souvenir qu'il a déjà dégagé le côté gauche de la pièce, afin de ne pas y retourner ? C'est le défi de la « manipulation à long horizon ». Il ne s'agit pas seulement de bouger un bras ; il s'agit de garder une histoire en tête pendant que vos mains sont occupées.

Dans le monde de la robotique, les scientifiques utilisent ce qu'on appelle des politiques VLA (Vision-Language-Action). Voyez cela comme le cerveau du robot, qui regarde la caméra (vision), lit vos instructions (langage) et décide de ce qu'il doit faire (action). Habituellement, ces cerveaux fonctionnent par courtes rafales. Ils élaborent un plan pour les quelques secondes à venir, exécutent ces mouvements, puis s'arrêtent immédiatement pour élaborer un nouveau plan à partir de zéro. C'est comme essayer d'écrire un roman en écrivant une seule phrase, en effaçant la mémoire de la phrase précédente, puis en essayant de deviner la phrase suivante en se basant uniquement sur la page actuelle. Le problème est que le robot perd souvent le fil de l'histoire. Il oublie ce qu'il vient d'accomplir ou se retrouve confus parce que son nouveau plan entre en conflit avec le mouvement qu'il était déjà en train d'effectuer. Cette publication demande : Comment pouvons-nous créer un robot qui se souvient de son histoire et qui garde des mouvements fluides, tout en observant le monde en temps réel ?

Le robot avec une mémoire et un élan

Découvrez ChainVLA. C'est un nouveau type de cerveau robotique conçu par des chercheurs pour résoudre le problème du « robot oublieux ». Imaginez que vous faites du vélo sur un chemin sinueux. Pour rester en équilibre, vous avez besoin de deux choses : vous devez vous souvenir d'où vous venez (ai-je tourné à gauche ? y a-t-il une colline qui arrive ?) et vous devez continuer à pédaler avec fluidité pour ne pas vaciller et tomber. ChainVLA est construit pour faire exactement cela pour les bras robotiques.

La plupart des cerveaux de robots actuels fonctionnent comme une personne qui prend une photo, prend une décision, pose la photo, prend une nouvelle photo et prend une nouvelle décision. Ils ne transportent pas le « sentiment » de la décision précédente dans la suivante. ChainVLA change la donne en enchaînant ces décisions. Il crée un « état d'exécution » spécial qui agit comme un sac à dos que le robot porte. Ce sac à dos possède deux compartiments très importants :

Le compartiment « Histoire » (Contexte de progression) : Il contient la mémoire de ce que le robot a déjà accompli. C'est comme une liste de contrôle mentale. Si le robot vient de déplacer un bloc vers la gauche, ce compartiment se souvient : « D'accord, le côté gauche est dégagé. » Il combine une mémoire de travail rapide (ce qui se passe en ce moment) avec une mémoire à long terme parcellaire (les événements importants survenus il y a un certain temps, comme « J'ai déplacé le bloc rouge en premier »). Cela aide le robot à savoir où il en est dans le cadre global de la tâche.
Le compartiment « Élan » (Queue de mouvement) : C'est la partie géniale. Quand le robot décide de bouger, il ne dit pas seulement « avance ». Il prédit toute une séquence de mouvements pour les quelques secondes à venir. Mais il n'exécute réellement que les premiers mouvements avant de s'arrêter pour réfléchir à nouveau. La « Queue de mouvement » est la partie de cette prédiction qui n'a pas encore été faite. ChainVLA sauvegarde ce plan inachevé et le réinjecte dans le cerveau du robot pour l'étape suivante. C'est comme un coureur qui, même après s'être arrêté pour lacer ses chaussures, se souvient exactement de la vitesse à laquelle il courait et dans quelle direction, afin de ne pas repartir d'un arrêt complet.

Comment cela fonctionne en pratique

Les chercheurs ont testé cette idée sur des tâches difficiles. L'une des plus complexes s'appelait « Remettre le bloc » (Put Back Block). Imaginez qu'un robot doive déplacer un bloc à un endroit, puis déplacer un autre objet, et enfin remettre le bloc sur cet emplacement d'origine. Le problème ? Au moment où le robot est prêt à remettre le bloc, l'emplacement d'origine peut être caché de la caméra par le nouvel objet. Un robot normal regarderait la caméra, ne verrait rien et serait confus. Il oublierait où se trouvait l'emplacement.

ChainVLA, cependant, utilise son compartiment « Histoire » pour se souvenir : « Hé, j'ai placé ce bloc là plus tôt, même si je ne peux plus le voir maintenant. » En même temps, son compartiment « Élan » garantit que lorsqu'il bouge pour remettre le bloc, il ne fait pas brusquer le bras dans une nouvelle direction étrange qui entrerait en conflit avec la direction où le bras pointait juste avant.

Les résultats ont été assez spectaculaires. Sur un test difficile appelé RMBench, ChainVLA a réussi 62,8 % du temps. Comparez cela à d'autres robots intelligents :

Si vous retirez l'« Histoire » (Contexte de progression), le taux de réussite s'effondre à 3,0 %. Le robot oublie totalement la tâche.
Si vous retirez l'« Élan » (Queue de mouvement), le taux de réussite tombe à 11,2 %. Le robot se souvient de la tâche mais se déplace de manière si maladroite qu'il échoue.

Cela montre que les deux parties sont essentielles. L'« Histoire » dit au robot quoi faire, et l'« Élan » l'aide à le faire fluidement sans trébucher sur ses propres pieds.

Pourquoi c'est important

L'article suggère que maintenir le « mouvement inachevé » vivant est en fait crucial pour se souvenir de la tâche. C'est un peu comme une danse : si vous arrêtez complètement de danser entre les pas, vous pourriez oublier le rythme. Mais si vous maintenez le rythme (la Queue de mouvement), votre cerveau est meilleur pour se souvenir de la chorégraphie (le Contexte de progression).

Lorsque les chercheurs ont essayé de corriger la maladresse du robot en lissant simplement les mouvements après que le robot a déjà décidé de ce qu'il allait faire (une astuce courante chez d'autres robots), cela n'a pas fonctionné. Le robot a quand même échoué. Cela prouve que le secret n'est pas seulement de rendre les mouvements esthétiques ; c'est de nourrir l' idée du mouvement suivant dans le cerveau du robot avant qu'il ne prenne une nouvelle décision.

En bref, ChainVLA suggère que pour que les robots puissent gérer des tâches longues et compliquées, ils doivent être moins comme une caméra prenant des clichés et plus comme un conteur qui ne perd jamais sa place dans le livre, tout en gardant les pieds en mouvement au rythme de la musique. C'est un petit pas vers des robots capables de nous aider réellement dans les corvées quotidiennes et multi-étapes de la vie réelle sans se perdre ou tout faire tomber.

Résumé Technique : ChainVLA

Énoncé du Problème

La manipulation robotique à long horizon nécessite un flux d'exécution continu où les décisions dépendent à la fois de la progression de la tâche établie par les actions antérieures et de la continuité du mouvement des actions en cours. Les politiques de Vision-Langage-Action (VLA) existantes opèrent généralement selon un régime de planification par morceaux (action-chunked) à horizon fuyant. Dans cette conception, la politique replanifie de manière répétée à partir de l'observation actuelle, de l'état proprioceptif et de l'instruction, prédisant un horizon d'action fini, exécutant un préfixe strict, puis rejetant le reste.

Cette conception crée un transfert de requête incomplet à deux niveaux :

Niveau Tâche : Les preuves de la tâche antérieure (par exemple, une sous-tâche terminée ou la disposition initiale d'un objet) peuvent quitter le champ d'observation actuel. Sans mémoire explicite de ces événements, la politique ne peut pas déduire l'étape suivante correcte lorsque la vue actuelle est ambiguë (par exemple, la tâche « Put Back Block » dans RMBench).
Niveau Mouvement : La replanification rejette la continuation non exécutée de la prédiction précédente. Cela provoque des désaccords entre le nouveau préfixe prédit et le mouvement déjà en cours, créant des discontinuités de pose et de vélocité. Puisque le mouvement exécuté façonne le flux d'observation pour la requête suivante, ces discontinuités dégradent la qualité des observations utilisées pour l'inférence de la progression de la tâche.

Les solutions existantes traitent ces problèmes séparément : les politiques augmentées par la mémoire conservent l'historique de la tâche mais rejettent la continuité du mouvement, tandis que l'ensemble temporel (temporal ensembling) ou l'exécution en temps réel préserve le mouvement mais manque de preuves de tâche à long terme.

Méthodologie : ChainVLA

ChainVLA est une politique VLA de 1,2 milliard de paramètres conçue pour enchaîner des requêtes successives via un état d'exécution conjoint et révisable ( $s_k = (g_k, u_k)$ ). Cet état est maintenu à travers les frontières de requête, permettant à la politique de régénérer des horizons d'action sous la dernière observation tout en conservant le contexte nécessaire.

1. L'État d'Exécution

L'état se compose de deux éléments complémentaires :

Contexte de Progression ( $g_k$ ) : Porte la progression de la tâche dérivée de l'observation. Il s'agit d'une fusion de :
- État de Travail (Working State) : Un résumé récurrent de l'exécution actuelle, mis à jour à chaque requête en utilisant des jetons (tokens) vivants de l'entrée actuelle et un cache borné de jetons récents.
- Mémoire d'Événements Épars (Sparse Event Memory) : Une mémoire récupérable de jalons significatifs et épars (ex: transitions d'étapes). Les événements sont écrits sur la base d'annotations d'étapes ou de règles périodiques et sont récupérés via une requête conditionnée par l'estimation de l'exécution actuelle et un encodage d'âge.
Queue de Mouvement (Motion Tail $u_k$ ) : Porte le suffixe non exécuté de la prédiction précédente. Ce composant comble le fossé entre le préfixe exécuté et la requête suivante, fournissant un « a priori de continuation » pour le mouvement inachevé.

2. Transition de Requête et Architecture

À chaque requête $k$ , la politique reçoit l'entrée actuelle $x_k$ et l'état transporté $s_k$ .

Mise à jour de l'état : L'encodeur traite $x_k$ en jetons multimodaux. Une banque de requêtes de travail (working-query bank) apprise est attentive à ces jetons et à l'état de travail précédent pour produire des jetons vivants ( $L_k$ ) et un résumé ( $\bar{W}_k$ ). Le résumé récupère les preuves d'événements ( $Z^e_k$ ) de la Mémoire d'Événements Épars.
Formation du Contexte de Progression : $g_k$ est formé en fusionnant $L_k$ et $Z^e_k$ .
Intégration de la Queue de Mouvement : La Queue de Mouvement entrante ( $u_k$ ) conditionne l'État de Travail et initialise le processus de génération d'actions. Spécifiquement, elle aligne le suffixe normalisé avec la représentation d'action à horizon complet pour définir la moyenne initiale ( $\mu_{k+1}$ ) de l'état du décodeur.
Génération d'Action : Un décodeur de flux conditionnel (backbone DiT) régénère l'horizon d'action complet $A_k$ conditionné par $x_k$ , $g_k$ , et $u_k$ . Crucialement, le décodeur ne copie ni ne fige aucune position d'horizon ; il régénère chaque position basée sur la dernière observation, garantissant que l'état transporté agit comme un a priori révisable plutôt que comme un plan fixe.
État Suivant : Après l'exécution du préfixe, le suffixe non exécuté de $A_k$ devient la Queue de Mouvement ( $u_{k+1}$ ) pour la requête suivante.

3. Entraînement

L'entraînement déroule la transition de l'état d'exécution dans l'ordre des épisodes. Le modèle est supervisé par :

Des objectifs de flux conditionnel standards.
Une supervision par étape (là où les annotations existent) pour l'estimation de l'étape et les cibles d'écriture.
Un régularisateur de cohérence de chevauchement qui pénalise le désaccord entre le chevauchement temporelement aligné des horizons prédits consécutifs, encourageant un transfert cohérent sans fixer les actions dans le nouvel horizon.

Contributions Clés

Identification des Composants d'État Trans-Requêtes : Le papier identifie la progression de la tâche et le mouvement inachevé comme deux composants complémentaires et asymétriques de l'état d'exécution trans-requêtes. Les études d'ablation montrent que supprimer l'un ou l'autre de ces composants réduit drastiquement les performances, et leur interaction suggère que la continuité du mouvement est essentielle pour préserver le flux d'observation requis pour l'inférence de la progression de la tâche.
Politique ChainVLA : Une politique de 1,2 milliard de paramètres qui enchaîne les requêtes via un état conjoint de Contexte de Progression et de Queue de Mouvement. Contrairement aux travaux précédents, elle régénère chaque horizon sous la dernière observation tout en maintenant un a priori révisable dérivé de la prédiction précédente.
Validation Empirique : Une évaluation étendue sur les suites RMBench et LIBERO démontre que ChainVLA surpasse les bases de comparaison augmentées par la mémoire et par morceaux d'action.

Résultats

RMBench : ChainVLA atteint un taux de succès moyen de 62,8 % sur cinq tâches dépendantes de la mémoire. Cela surpasse de manière significative la méthode la plus forte avec une couverture complète (Mem-0 à 52,8 %) et est particulièrement efficace sur la tâche « Put Back Block » (96 % contre 90 % pour Mem-0), où les preuves de la tâche quittent le champ de vision.
LIBERO : La politique atteint un succès moyen de 98,8 % sur quatre suites (Spatial, Object, Goal, Long), toutes les suites dépassant les 98 % de succès.
Études d'Ablation :
- Supprimer le Contexte de Progression réduit le succès de RMBench à 3,0 %.
- Supprimer la Queue de Mouvement réduit le succès de RMBech à 11,2 %.
- Remplacer l'état transporté par l'historique des observations et un ensemble temporel post-décodage (FIFO Hist. + TE) ne produit que 35,6 % de succès.
- Les contrôles de lissage post-décodage (Linear Continuation, Temporal Ensemble) réduisent les discontinuités aux frontières mais échouent à récupérer le succès de la tâche, indiquant que le gain provient du conditionnement du processus de génération côté modèle, et non simplement d'une exécution plus fluide.

Signification

Le papier affirme que ChainVLA comble une lacune fondamentale dans la manipulation à long horizon : l'absence d'un mécanisme unifié pour gérer simultanément les preuves de tâche à long terme et la continuité du mouvement à court terme. Les résultats suggèrent que la continuité du mouvement n'est pas seulement un objectif de contrôle, mais un prérequis pour une inférence fiable de la progression de la tâche, car un mouvement discontinu altère le flux d'observation de manière à dégrader la récupération de la mémoire. En enchaînant les requêtes via un état conjoint et révisable, ChainVLA permet aux politiques de maintenir la cohérence sur de longs horizons sans nécessolement de planificateurs ou de modèles de monde distincts.