💻 computer science

ICI-VLA: In-Context Imitation with Spatiotemporally Aligned Demonstrations for Vision-Language-Action Models

ICI-VLA est un cadre d'entraînement et de récupération qui permet aux modèles Vision-Langage-Action fixes de parvenir à une adaptation rapide et à quelques exemples lors du test en conditionnant la génération d'actions sur des micro-démonstrations spatiotemporellement alignées et sémantiquement étiquetées, éliminant ainsi le besoin de mises à jour de gradients supplémentaires tout en surpassant significativement les bases de référence sur de multiples bancs d'essai de manipulation robotique.

Auteurs originaux : Songhua Yang (Wuhan University), Ziyu Liu (Wuhan University), Xuetao Li (Wuhan University), Ruqi Xiao (Wuhan University), Kangxin Zhu (Wuhan University), Miao Li (Institute of Technological Sciences

Publié 2026-09-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Songhua Yang (Wuhan University), Ziyu Liu (Wuhan University), Xuetao Li (Wuhan University), Ruqi Xiao (Wuhan University), Kangxin Zhu (Wuhan University), Miao Li (Institute of Technological Sciences, Wuhan University)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots ont longtemps eu du mal à apprendre de nouvelles tâches rapidement. Les méthodes traditionnelles exigent souvent qu'un robot soit réentraîné à partir de zéro chaque fois qu'il fait face à un nouveau travail, un processus qui demande d'énormes quantités de données et de puissance de calcul. Cela rend difficile le déploiement de robots dans des environnements changeants où ils doivent s'adapter à la volée. Une approche plus récente, connue sous le nom d'apprentissage en contexte (in-context learning), offre une voie différente. Au lieu de réentraîner le cerveau du robot, cette méthode permet au système d'observer quelques exemples de la façon dont une tâche a été accomplie auparavant et d'utiliser ces informations pour déterminer ce qu'il faut faire ensuite, le tout sans modifier ses paramètres internes. Bien que cette technique ait révolutionné la manière dont les ordinateurs comprennent le langage et les images, l'appliquer à des robots physiques est beaucoup plus complexe. Un robot doit non seulement comprendre une scène visuelle et une instruction vocale, mais aussi coordonner ses propres mouvements corporels en temps réel, là où un léger décalage de synchronisation ou de position peut provoquer un échec.

Des chercheurs de l'Université de Wuhan ont développé un nouveau cadre appelé ICI-VLA qui apporte avec succès cette capacité d'« apprendre des exemples » aux bras robotiques. Leur système permet à un robot de regarder quelques courts clips vidéo d'une tâche en cours d'exécution, puis d'appliquer immédiatement cette connaissance à une nouvelle situation similaire. L'innovation clé réside dans la manière dont le système traite les exemples. Au lieu de nourrir le robot avec des vidéos entières et longues d'une tâche, les chercheurs décomposent ces démonstrations en petits segments étiquetés qui correspondent à des moments spécifiques du travail actuel du robot. Ils entraînent ensuite un outil de recherche spécialisé pour trouver le segment exact qui s'aligne sur ce que le robot voit en ce moment même, garantissant ainsi que le robot copie le bon mouvement au bon moment. Pour empêcher le robot de simplement mémoriser les chiffres des vidéos d'exemple, le système est entraîné pour ignorer la fin exacte de l'exemple et se concentrer plutôt sur la vue actuelle, forçant ainsi le robot à comprendre l'action plutôt qu'à simplement la répéter.

Lors de leurs expériences, l'équipe a testé cette approche dans deux environnements simulés différents et sur un véritable robot physique doté de deux bras. Dans la première simulation, qui impliquait une variété de tâches comme déplacer des objets et ouvrir des tiroirs, le système a atteint un taux de réussite de 97,7 pour cent. Dans une seconde simulation, plus difficile, impliquant une coordination de bras doubles, il a atteint 60,4 pour cent, une améliplication significative par rapport aux méthodes précédentes. Lorsqu'ils ont transféré le système vers une configuration réelle avec des caméras physiques et des bras robotiques, il a accompli avec succès des tâches telles que le tri d'objets et le placement d'articles dans des tiroirs 83,2 pour cent du temps. Ces résultats suggèrent qu'un robot n'a pas besoin d'être réentraîné pour chaque nouveau travail si l'on peut lui donner les bons exemples, bien adaptés, à consulter sur le moment.

Le cœur de ce succès réside dans la gestion du flux d'informations par le système. Lorsqu'un robot reçoit une instruction longue, telle que « ouvre le tiroir et mets le bol à l'intérieur », le système la décompose en étapes plus petites. Il recherche ensuite dans une bibliothèque d'expériences passées des clips courts qui correspondent à l'étape actuelle. Par exemple, si le robot est en train de pousser un tiroir pour le fermer, le système trouve un court clip d'un tiroir en train d'être poussé pour se fermer, plutôt que de montrer un clip du tiroir en train de s'ouvrir. Cela garantit que le robot regarde des informations pertinentes. Les chercheurs ont également introduit une technique d'entraînement où ils cachent certaines parties des actions d'exemple pendant la phase d'apprentissage. Cela force le robot à se reposer sur ce qu'il voit en ce moment et sur le contexte général de la tâche, plutôt que de simplement copier aveuglément les chiffres de la vidéo d'exemple. Cela empêche le robot de se tromper si la position de départ est légèrement différente de celle de l'exemple.

L'étude souligne que la qualité des exemples importe plus que la quantité. En sélectionnant et en alignant soigneusement ces courtes démonstrations avec la phase de mouvement actuelle du robot, le système peut s'adapter instantanément. Les chercheurs ont constaté que l'utilisation de seulement trois exemples suffisait pour atteindre des performances maximales ; en ajouter davantage n'aidait pas et rendait parfois le système moins efficace. Cela indique que le robot bénéficie de quelques indices hautement pertinents plutôt que d'un flot d'informations. Le système fonctionne en maintenant le logiciel de contrôle principal du robot fixe et inchangé, en ajustant uniquement son comportement sur la base des exemples récupérés. Cela signifie que le robot peut être déployé dans de nouvelles situations sans avoir besoin de sessions de réentraînement coûteuses et chronophages.

Bien que les résultats soient prometteurs, les chercheurs notent que le système dépend toujours de la possession d'une bonne bibliothèque de démonstrations passées pour s'en inspirer. Si le robot rencontre une situation totalement différente de tout ce qui se trouve dans sa bibliothèque, il peut éprouver des difficultés à trouver un exemple utile. De plus, le processus de construction de la bibliothèque et d'entraînement de l'outil de recherche nécessite un travail important hors ligne avant que le robot ne puisse être utilisé. Cependant, les conclusions démontrent une voie claire vers une plus grande flexibilité des robots. En traitant les expériences passées comme un guide de référence plutôt que comme un script rigide, les robots peuvent apprendre à gérer de nouveaux défis avec un niveau d'adaptabilité qui était auparavant hors de portée. Les travaux suggèrent que l'avenir du contrôle robotique pourrait ne pas résider dans la construction de cerveaux plus intelligents à partir de zéro, mais dans l'apprentissage de la manière de tirer parti des bons exemples au bon moment.

Résumé Technique : ICI-VLA

Énoncé du Problème
Les modèles Vision-Langage-Action (VLA) s'adaptent généralement à de nouvelles tâches de manipulation en collectant des données spécifiques à la tâche et en effectuant des mises à jour de gradient (ajustement fin ou fine-tuning). Ce paradigme limite le déploiement rapide dans des environnements dynamiques où les données ou la puissance de calcul sont rares. L'apprentissage en contexte (In-Context Learning ou ICL) offre une alternative sans modification de paramètres en se conditionnant sur des démonstrations d'entrée, mais l'appliquer à la robotique est complexe. Les démonstrations robotiques impliquent des données visuelles, linguistiques, proprioceptives et d'actions continues couplées. Un contexte mal apparié peut entraîner un « aliasing temporel » (désalignement entre les longues trajectoires et les courts segments d'action) ou un « décalage sémantique-dynamique » (démonstrations visuellement similaires nécessitant des mouvements incompatibles), poussant le modèle à copier des séquences plutôt qu'à raisonner à partir des observations actuelles. De plus, les architectures VLA existantes reposent souvent sur des têtes d'action ou des tokeniseurs spécialisés qui augmentent la charge d'ingénierie et peuvent dégrader les capacités de raisonnement natif du modèle de fondation.

Méthodologie
Les auteurs proposent ICI-VLA (In-Context Imitation with Spatiotemporally Aligned Demonstrations), un cadre permettant une adaptation à l'inférence par quelques exemples (few-shot) en utilisant une politique texte-action fixe. L'approche se compose de trois étapes principales :

Construction de Micro-Démonstrations : Les trajectoires à long horizon sont décomposées en « micro-démonstrations » courtes et étiquetées sémantiquement. Un modèle Qwen3-VL segmente de manière heuristique les trajectoires en sous-tâches, associant à chacune des instructions fines, des observations de caméra, des états proprioceptifs et des segments d'action textualisés. Cela réduit le désalignement temporel entre la requête et le contexte récupéré.
Alignement de Récupération Spatio-Temporelle (RD-Encoder) : Pour récupérer le contexte pertinent, le cadre entraîne un encodeur de récupération de démonstrations (RD-Encoder) via un processus de minage en deux étapes :
- Filtrage Sémantique Dur (Semantic Hard-Filtering) : Filtre les candidats sur la base de la compatibilité sémantique avec l'instruction de la sous-tâche actuelle.
- Classement Géométrique par DTW : Utilise le Dynamic Time Warping (DTW) sur les trajectoires étiquetées pour classer le pool sémantiquement filtré. Cela garantit que les exemples récupérés correspondent à la fois à la sémantique de la tâche et à la phase de mouvement ou à la géométrie requise.
- L'encodeur est entraîné par apprentissage contrastif en utilisant des positifs identifiés par DTW et des négatifs difficiles (candidats dont la phase est désalignée au sein de la même sous-tâche sémantique).
Entraînement de la Politique avec Masquage d'Action Cible : La politique VLA (basée sur Qwen3-VL-4B) est ajustée sans ajouter de têtes d'action spécifiques ni de modifications structurelles, préservant ainsi l'interface de génération de texte native. Une innovation clé est le Masquage d'Action Cible (Target Action Masking), un objectif de corruption de contexte où les jetons d'action cibles dans les démonstrations récupérées sont masqués pendant l'entraînement. Cela force le modèle à s'appuyer sur l'observation actuelle et le contexte sémantique de la démonstration plutôt que de simplement copier la continuation numérique de la séquence d'action.

Lors de l'inférence, la politique et le récupérateur restent gelés. Le système conditionne la génération d'actions sur l'observation actuelle et un petit ensemble de micro-démonstrations récupérées, ne nécessitant aucune mise à jour de gradient.

Contributions Clés

Adaptation de Politique Fixe : Formule l'adaptation VLA comme un conditionnement par quelques exemples à l'inférence sur une politique texte-action fixe, séparant explicitement l'entraînement hors ligne de l'inférence à l'inférence.
Décomposition en Sous-Tâches et Récupération : Construit des micro-démonstrations au niveau des sous-tâches et emploie une supervision extraite par DTW pour entraîner un RD-Encoder capable d'une récupération sensible à la sémantique et aux phases.
Masquage d'Action Cible : Introduit un objectif de corruption de contexte pour réduire la copie directe d'actions et accroître la dépendance aux observations actuelles, validé par des études d'ablation.

Résultats Expérimentaux
ICI-VLA a été évalué sur LIBERO, RoboTwin 2.0 et quatre tâches physiques de bras doubles Aloha :

LIBERO : A atteint un taux de succès moyen de 97,7 %, surpassant la moyenne la plus élevée rapportée par les bases de référence (96,4 % de l'OpenVLA-OFT) dans la comparaison au niveau du benchmark.
RoboTwin 2.0 : A atteint un succès moyen de 60,4 %, dépassant la moyenne de la base de référence la plus forte de 19,3 points de pourcentage. Sous des conditions contrôlées (même squelette et mêmes données), il a nettement surpassé une variante ICL de base (10,7 %).
Tâches Physiques : A atteint un taux de succès moyen de 83,2 % sur quatre tâches physiques de bras doubles, dépassant des bases de référence comme $\pi0$ (66,4 %) et VLA-0 (63,0 %).
Ablations : Le retrait du Masquage d'Action Cible a provoqué une chute drastique des performances (par exemple, de 60,4 % à 10,7 % sur RoboTwin 2.0), confirmant sa nécessité pour prévenir la copie de trajectoire. De même, le retrait du DTW ou du filtrage sémantique a considérablement dégradé la qualité de la récupération et les taux de succès.

Signification et Revendications
L'article affirme qu'ICI-VLA démontre qu'une politique VLA fixe peut s'adapter efficacement à de nouvelles tâches lors de l'inférence en se conditionnant sur des démonstrations alignées spatio-temporellement, éliminant ainsi le besoin d'un ajustement fin spécifique à la tâche. En conservant l'interface de génération de texte native et en utilisant un mécanisme de récupération qui aligne à la fois la sémantique et les phases de mouvement, le cadre comble le fossé entre le pré-entraînement à grande échelle et le contrôle robotique spécifique. Les résultats suggèrent que « les démonstrations comme contexte » constituent une alternative viable à « les démonstrations comme données d'entraînement » pour une adaptation robotique rapide, à condition que le contexte soit soigneusement aligné et que la politique soit entraînée pour résister à la simple copie de séquences.

Limites
Les auteurs reconnaissent qu'ICI-VLA reste dépendant de la couverture de la bibliothèque de démonstrations et du planificateur visuel. Cela entraîne des coûts d'entraînement hors ligne et de récupération. Des travaux futurs sont identifiés pour améliorer l'efficacité de la récupération, étendre la couverture des démonstrations et étudier l'adaptation trans-embodiment scalable.

Résumé Technique : ICI-VLA

Articles similaires