💻 computer science

StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

StellaVLA est un cadre d'adaptation à l'inférence pour les modèles Vision-Langage-Action qui exploite des démonstrations structurées à coût nul (par exemple, des plans de tâches et du mouvement 3D verbalisé) comme guidage contextuel pour améliorer la généralisation à travers des scénarios hors distribution et des embodiments, atteignant des performances de pointe sur les principaux benchmarks sans latence d'inférence.

Auteurs originaux : Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à faire un sandwich. Vous pourriez lui montrer une vidéo de vous en train de le faire, et le robot pourrait essayer de copier exactement vos mouvements de main. Mais qu'arrive-t-il si le robot est dans une cuisine différente, que le pain est à gauche au lieu de la droite, ou que le robot possède un type de bras différent ? Soudain, le robot est confus et fait tomber le pain. C'est un gros problème dans le monde de la robotique, plus précisément pour un type de système intelligent appelé modèle Vision-Langage-Action (VLA). Ce sont des systèmes qui sont comme des robots super intelligents capables de « voir » une image, de « lire » une commande comme « ramasse la tasse » et de « agir » en bouvant leur bras. Le problème, c'est qu'ils sont souvent comme des étudiants qui ont mémorisé un examen spécifique mais échouent lorsque les questions sont légèrement différentes. Ils ont du mal quand la scène change, qu'un nouvel objet apparaît ou que l'angle de la caméra se déplace. Pour corriger cela, les scientifiques doivent généralement collecter des milliers de nouvelles vidéos et réentraîner le robot, ce qui prend un temps infini.

Mais et si le robot pouvait simplement regarder un seul exemple de quelqu'un effectuant la tâche et comprendre instantanément pourquoi cette personne le faisait, et pas seulement ce qu'elle faisait ? C'est la grande question que ce document traite. Au lieu de simplement montrer au robot une vidéo brute d'une main en mouvement, les chercheurs veulent lui donner un « guide de référence » qui explique la logique derrière les mouvements. Ils veulent que le robot apprenne le plan (comme « saisir la poignée d'abord ») plutôt que simplement les pixels (comme « déplacer la main vers les coordonnées X, Y, Z »). S'ils y parviennent, le robot pourrait être capable de gérer de nouvelles situations étranges sans avoir besoin d'un redémarrage complet.

Entrez en scène StellaVLA, un nouveau cadre de travail de l'équipe technique de StellarEdge AI qui tente de résoudre exactement ce problème. Considérez StellaVLA comme un robot qui ne se contente pas de regarder un film ; il lit le commentaire du réalisateur en regardant le film.

Voici comment cela fonctionne : l'équipe a construit un système qui prend une vidéo brute et désordonnée d'un robot ou d'un humain effectuant une tâche et la transforme automatiquement en une démonstration structurée. Imaginez prendre une longue vidéo confuse de quelqu'un construisant un château en Lego et la transformer en un manuel d'instructions clair, étape par étape. Le système décompose la tâche en « sous-objectifs » (comme « trouver la brique rouge ») et décrit les mouvements en langage courant (comme « lever le bras et aller vers la droite »). Cela se produit automatiquement, sans que des humains aient besoin de prendre des notes, en utilisant une IA puissante pour « lire » la vidéo et écrire l'histoire.

Une fois ces exemples « basés sur l'histoire » prêts, ils sont stockés dans une bibliothèque. Lorsqu'un robot est confronté à une nouvelle tâche, il ne devine pas. Il recherche dans cette bibliothèque, trouve l'histoire la mieux adaptée et l'utilise comme guide. Mais voici la partie ingénieuse : le robot est entraîné de manière spéciale. Pendant son « apprentissage », il doit faire deux choses à la fois : il doit apprendre à bouger son bras (l'action) et il doit apprendre à expliquer le mouvement avec des mots (le raisonnement). C'est comme un étudiant qui doit résoudre un problème de mathématiques et rédiger les étapes pour obtenir tous les points. Cela force le robot à comprendre la logique de la tâche, et non pas seulement à imiter le mouvement.

Cependant, le document fait une distinction très importante sur la manière dont cela fonctionne dans le monde réel. Bien que le robot apprenne en se parlant à lui-même pendant l'entraînement, lorsqu'il va réellement accomplir la tâche (l'inférence), il s'arrête de parler. La partie « explicative » de son cerveau est désactivée, et seule la partie « motrice » reste active. Pourquoi ? Parce que parler prend du temps, et les robots doivent bouger rapidement. En désactivant le bavardage pendant le travail effectif, le robot reste super rapide et réactif, mais il bénéficie tout de même de la compréhension profonde acquise pendant ses études.

Les résultats de cette approche sont assez prometteurs, du moins lors des tests menés par les chercheurs. Dans une série de simulations appelées LIBERO, le robot a atteint un taux de réussite de 98,8 %, ce qui est très élevé. Lorsqu'ils l'ont testé sur un classement plus difficile appelé VLA-Arena, qui inclut des situations délicates comme de nouveaux objets ou des arrière-plans confus, StellaVLA a obtenu un score global de 0,63. Cela a battu d'autres modèles performants, qui ont obtenu environ 0,44 et 0,22. Même lorsque le robot devait faire face à un éclairage étrange, des angles de caméra différents ou des objets qu'il n'avait jamais vus auparavant (comme mettre une carotte dans un bol alors que la carotte était d'une couleur différente), il s'est mieux maintenu que ses concurrents, obtenant un score de 85,1 % sur un test de robustesse appelé LIBERO-Plus.

Les chercheurs ont également testé cela sur un vrai bras robotique dans le monde réel. Ils ont constaté que le robot pouvait utiliser des démonstrations d'humains, d'autres robots ou même de simulations de réalité virtuelle (XR) comme guide. Peu importait si le « professeur » avait une apparence différente ; tant que l'« histoire » de la tâche était claire, le robot pouvait la suivre. Par exemple, lorsqu'on lui a demandé de mettre des blocs dans un tiroir qu'il n'avait jamais vu auparavant, le robot n'a pas simplement échoué ; il a progressé, atteignant un score moyen de 1,9 sur 4, montant ainsi qu'il essayait de suivre le plan même s'il ne pouvait pas terminer la tâche parfaitement.

Cependant, le document prend soin de préciser que ceci n'est pas une solution miracle pour tous les problèmes. Le robot éprouve toujours des difficultés avec les tâches très longues et complexes où le plan doit changer en cours de route (par exemple, si une personne entre dans la pièce et déplace les blocs pendant que le robot travaille). Dans ces tests d'« horizon long », le taux de réussite a considérablement chuté, suggérant que bien que le robot soit excellent pour suivre une histoire pré-écrite, il n'est pas encore prêt à improviser un tout nouveau scénario sur le vif. De plus, le document note que bien que le robot soit très cohérent lorsqu'il utilise différents types de démonstrations (humain vs robot), les tests en conditions réelles ont montré qu'il a toujours besoin du bon type de guidage pour fonctionner parfaitement.

En résumé, StellaVLA suggère que si vous voulez qu'un robot soit intelligent et adaptable, vous ne devez pas seulement lui montrer quoi faire ; vous devez lui expliquer pourquoi il le fait. En transformant des vidéos brutes en histoires structurées et logiques, et en enseignant au robot cette logique, le système devient bien meilleur pour gérer des situations nouvelles et délicates. C'est une étape vers des robots qui ne se contentent pas de copier nos mouvements, mais qui comprennent réellement nos intentions.

Résumé Technique : StellaVLA

Énoncé du Problème

Les modèles de Vision-Langage-Action (VLA) se sont imposés comme un paradigme de premier plan pour la manipulation robotique, traduisant des entrées visuelles et textuelles en actions physiques. Cependant, une limitation critique subsiste : ces modèles souffrent souvent d'un effondrement de performance lorsqu'ils sont confrontés à des scénarios hors distribution (OOD), tels que des changements de scène, de point de vue ou de propriétés d'objets. Les méthodes de récupération actuelles nécessitent généralement la collecte de nouvelles données et l'ajustement fin (fine-tuning) des poids du modèle, ce qui est inefficace en termes de données et lent.

Bien que l'Apprentissage par Imitation In-Context (ICIL) offre une voie vers l'adaptation au moment du test sans mise à jour des poids en ajoutant des trajectoires d'experts comme contexte, les approches existantes souffrent d'une « inertie comportementale ». Elles traitent les démonstrations comme des séquences brutes d'observations et d'actions continues, encourageant une imitation superficielle. Sans compréhension du raisonnement sous-jacent (le « pourquoi ») derrière les actions d'un expert, la politique traite souvent la démonstration comme du bruit et revient à ses priorités pré-entraînées, échouant ainsi à se généraliser à de nouvelles tâches.

Méthodologie

StellaVLA répond à cela en déplaçant l'ICIL de l'imitation d'actions vers l'imitation du raisonnement derrière celles-ci. Le cadre introduit un contexte structuré, augmenté de raisonnements, qui permet à la politique de planifier en se basant sur l'intention sémantique plutôt que sur de simples trajectoires de pixels.

1. Extraction Automatisée de Contexte Structuré Hors-Ligne

L'innovation centrale est un pipeline automatisé qui convertit les trajectoires d'experts brutes (provenant de vrais robots, de mains humaines ou de données de retargeting XR) en démonstrations structurées sans coût d'annotation humaine.

Segmentation Sémantique : Un modèle de Vision-Langage (VLM) puissant (ex. Qwen3-VL) analyse les trajectoires brutes pour les décomposer en segments discrets et sémantiquement significatifs. Il identifie des sous-buts de haut niveau (ex. « Saisir la poignée ») basés sur les changements visuels.
Verbalisation Cinématique : Utilisant un paradigme de « langage-comme-action », les actions physiques au sein de chaque segment sont traduites de manière déterministe en texte structuré. Cela inclut :
- Rationale Sémantique : Descriptions de sous-buts de haut niveau.
- Rationale Cinématique : Descriptions de mouvements fins, verbalisant les déplacements dans l'espace de travail 3D (ex. « Déplacer l'effecteur terminal de $\Delta x, \Delta y, \Delta z$ ») et les projections 2D sur le plan de la caméra.
Représentation Unifiée : Ce processus crée un pool de trajectoires augmentées de rationales ( $\tau_{rat}$ ) où chaque pas de temps est ancré par des observations, des actions, des étiquettes de sous-tâches et des rationales structurées au niveau du segment. Cela unifie diverses incarnations (humain, robot, XR) dans une représentation sémantique commune.

2. Paradigme d'Entraînement Dual Parallèle

StellaVLA emploie une architecture d'entraînement parallèle pour intérioriser à la fois le quoi faire et le pourquoi.

Prompting Augmenté par Récupération : Pendant l'entraînement, le système récupère une démonstration unique augmentée de rationale basée sur la similitude de l'instruction de la tâche. Cela sert de préfixe contextuel ( $P_{demo}$ ) fournissant un signal d'apprentissage in-context implicite.
Experts Duaux : Le backbone VLA alimente une représentation latente partagée vers deux têtes parallèles :
1. Expert d'Action : Un MLP léger qui régresse des blocs d'actions continues.
2. Expert Spatial-Langage : Une tête autorégressive qui prédit l'étiquette de la sous-tâche et verbalise le mouvement 3D/2D du bloc d'action actuel.
Objectif Conjoint : Le modèle est optimisé via une fonction de perte conjointe ( $L = L_{act} + \lambda L_{lang}$ ), forçant la représentation partagée à connecter la structure de la tâche démontrée avec le mouvement robotique requis.

3. Inférence Asymétrique et Mise en Cache

Pour garantir un contrôle en temps réel à haute fréquence, StellaVLA découple l'acquisition du raisonnement de l'exécution.

Exécution Uniquement par l'Action : Lors de l'inférence, l'expert spatial-langage est entièrement retiré. La politique effectue une seule passe directe à travers le backbone et l'expert d'action, guidée par le préfixe de démonstration mis en cache (KV-cache). Cela élimine la surcharge du décodage autorégressif, préservant une faible latence.
Mise en Cache du Préfixe : Puisque le préfixe de la démonstration récupérée est statique pour un épisode donné, son cache de clés-valeurs (KV cache) est calculé une seule fois au début, réduisant drastiquement l'empreinte computationnelle pendant le déroulement (rollout).

Contributions Clés

Cadre StellaVLA : Un VLA augmenté par la récupération qui déplace l'ICIL de l'imitation d'actions vers l'imitation de raisonnement, réduisant l'inertie comportementale dans les conditions OOD.
Extraction Structurée à Coût Zéro : Un pipeline automatisé qui convertit des démonstrations hétérogènes (humaines, robotiques, XR) en contextes structurés augmentés de raisonnement sans annotation humaine.
Entraînement Dual Parallèle avec Inférence Asymétrique : Une stratégie d'entraînement qui intériorise le raisonnement spatial-langage tout en supprimant la tête de langage lors de l'inférence, garantissant un contrôle en temps réel sans sacrifier les bénéfices du guidage structuré.
Généralisation Trans-Embodiment : Capacité démontrée à utiliser des démonstrations humaines et XR comme guidage in-context pour des tâches de robots réels, unifiant diverses sources de données via une représentation sémantique structurée.

Résultats Expérimentaux

Le papier évalue StellaVLA à travers des benchmarks de simulation et de robotique réelle, comparant ses performances à des bases solides comme $\pi0.5$ , LingBot-VLA et StarVLA-OFT.

Classement VLA-Arena : StellaVLA atteint le rang supérieur avec un score global de 0,63, surpassant de manière significative $\pi0.5$ (0,44) et LingBot-VLA (0,22). Il montre une force particulière dans les catégories « Flux de travail des tâches » et « Objets non vus ».
LIBERO (En-Distribution) : Atteint un taux de succès moyen de 98,8 %, démontrant que le contexte structuré ne compromet pas les performances en distribution.
LIBERO-Plus (Robustesse Zero-Shot) : Atteint un succès moyen de 85,1 % sous sept types de perturbations (point de vue, bruit, éclairage, etc.), surpassant le contrôle apparié (StarVola-OFT) de 10,1 points. Les gains les plus importants sont observés pour le point de vue de la caméra (+23,5) et le bruit du capteur (+19,7).
Évaluation sur Robot Réel : Sur un bras AgileX Piper, StellaVLA atteint 85,0 % de succès en distribution et 75,0 % sur les tâches OOD-L1 (changements d'attributs d'objets). En revanche, les bases chutent de 20 à 25 points sur des tâches OOD similaires.
Cohérence des Sources : Les expériences montrent que l'utilisation de démonstrations humaines ou XR comme contexte produit des prédictions d'action presque identiques à l'utilisation de démonstrations robotiques (désaccord < 0,03° d'angle articulaire), confirmant l'efficacité de la représentation structurée unifiée.
Efficacité : La latence d'inférence pour le chemin d'action seule est de 88 ms. L'ajout de l'expert spatial-langage pour le décodage augmente la latence à 3177 ms (environ 36 fois plus lent), validant la nécessité de la conception d'inférence asymétrique pour le contrôle en temps réel.

Signification et Revendications

Le papier affirme que le principal goulot d'étranglement de la généralisation des VLA actuels est l'absence de raisonnement explicite dans les démonstrations récupérées. En convertissant les trajectoires brutes en rationales hiérarchiques structurées (sous-buts et descriptions cinématiques), StellaVLA permet à la politique de raisonner sur la tâche plutôt que de simplement mimer des trajectoires de pixels.

La signification réside dans trois domaines :

Généralisation : Le contexte structuré agit comme un modèle réutilisable pour la planification, permettant au modèle de s'adapter à des tâches et des environnements OOD sans mise à jour des paramètres.
Efficacité : Le cadre intègre avec succès des capacités de raisonnement complexes pendant l'entraînement tout en maintenant des vitesses d'inférence en temps réel en supprimant la tête de langage lors du déploiement.
Efficacité des Données : Il permet l'utilisation de sources de données diverses et hétérogènes (humains, XR, robots) comme guidage in-context, surmontant les décalages d'incarnation (embodiment mismatch) grâce à une représentation sémantique partagée plutôt qu'en exigeant des espaces d'action alignés.

Les auteurs concluent que StellaVLA représente une étape vers des politiques robotiques plus robustes et généralisables qui peuvent exploiter le « pourquoi » du comportement expert pour naviguer face à des défis imprévus.