🤖 AI

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

Cet article propose une approche de récupération augmentée qui étend les modèles gelés Vision-Langage-Action à de nouvelles tâches au moment du test en indexant des démonstrations provenant d'une incarnation moins coûteuse, éliminant ainsi la nécessité d'un ajustement fin par tâche tout en atteignant une performance supérieure sur des tâches et des incarnations inédites.

Auteurs originaux : Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot qui doit apprendre de nouveaux métiers. Traditionnellement, enseigner une nouvelle tâche à un robot (comme ouvrir un placard spécifique ou placer une bouteille dans une boîte) revient à embaucher un tuteur personnel pour chaque nouvelle compétence. Vous devez :

Enregistrer le robot en train d'accomplir la tâche manuellement (ce qui est lent et coûteux).
Réentraîner le cerveau du robot spécifiquement pour cette tâche unique (ce qui demande beaucoup de puissance informatique et de temps).

Si vous voulez qu'un robot accomplisse 100 tâches différentes, vous devez répéter ce processus d'entraînement coûteux 100 fois.

La grande idée de l'article : « Récupérer, plutôt que réentraîner »

Les auteurs de cet article proposent une méthode plus intelligente appelée RECAP. Au lieu de réentraîner le cerveau du robot à chaque fois, ils lui donnent une bibliothèque d'exemples « moins coûteux » et lui apprennent comment les rechercher.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Les deux « corps » (Embodiments)

Imaginez que le robot est un ouvrier du bâtiment lourd et maladroit (la « Cible »). Il est difficile de lui faire démontrer de nouvelles tâches car il est lent et nécessite un équipement coûteux pour être contrôlé.

Maintenant, imaginez une main humaine agile (le « Pool »). Il est facile de filmer un humain accomplissant des tâches. Ils sont rapides, peu coûteux à enregistrer et peuvent presque tout faire.

Le problème est que la main humaine bouge différemment de l'ouvrier du bâtiment. Si vous dites simplement à l'ouvrier de « copier la main humaine », il pourrait casser des choses parce que ses bras sont différents.

2. L'ancienne méthode vs La nouvelle méthode

L'ancienne méthode (Réentraîner) : Chaque fois que vous voulez qu'un ouvrier apprenne une nouvelle tâche, vous engagez un formateur pour se tenir à côté de lui, lui montrer la tâche, puis vous passez des heures à ajuster son cerveau pour qu'il puisse l'accomplir. C'est lent et coûteux.
La nouvelle méthode (RECAP) :
1. Entraîner une seule fois : Vous apprenez au cerveau de l'ouvrier une seule fois comment traduire « Le mouvement de la main humaine » en « Le mouvement de l'ouvrier du bâtiment ». Vous lui apprenez : « Quand tu vois la main humaine faire X, tu fais Y. »
2. Geler le cerveau : Une fois que cette compétence de traduction est apprise, vous verrouillez le cerveau. Plus d'entraînement.
3. La bibliothèque (Récupération) : Vous créez une bibliothèque de vidéos montrant une main humaine accomplissant de nombreuses tâches différentes.
4. La magie : Lorsqu'un ouvrier doit accomplir une nouvelle tâche qu'il n'a jamais vue auparavant, vous ne le réentraînez pas. Au lieu de cela, vous demandez à la bibliothèque : « Avons-nous une vidéo d'un humain faisant quelque chose de similaire à ceci ? »
5. Le résultat : L'ouvrier trouve la vidéo humaine la plus proche, la regarde, et utilise sa « compétence de traduction » pour comprendre comment lui doit bouger pour obtenir le même résultat.

3. L'astuce du « Résiduel » (La recette secrète)

L'article utilise un type spécial de modèle d'IA (appelé « Modèle Monde-Action ») qui agit comme un conteur prédictif.

La vidéo humaine (Le plan) : La vidéo récupérée donne un « plan grossier » au robot. Elle dit : « Le but est de déplacer l'objet d'ici à là. »
Le travail du robot (La correction) : Le robot n'essaie pas de copier exactement l'humain. Au lieu de cela, il calcule la différence (le « résiduel ») entre la façon dont l'humain bouge et la façon dont lui doit bouger.
- Analogie : Imaginez qu'un danseur réalise une pirouette. Le robot est un chariot élévateur. Le robot n'essaie pas de tournoyer comme un danseur. Il regarde le plan du danseur (« Tourner vers la gauche ») et calcule : « D'accord, je dois tourner mes roues vers la gauche pour obtenir ce même résultat. »

Le modèle d'IA est entraîné pour prédire non seulement le prochain mouvement du robot, mais aussi à quoi ressemblera la scène ensuite. Cela sert de « vérification de la réalité ». Si le plan du robot devait entraîner un désastre (comme faire tomber la bouteille), le modèle le détecte et corrige le mouvement.

4. Ce qu'ils ont découvert

Les chercheurs ont testé cela de trois manières :

Un jeu 2D simple (PushT) : Ils ont fait en sorte qu'un robot pousse un bloc sous différents angles. En ajoutant plus de vidéos humaines à la bibliothèque, le robot est devenu meilleur pour pousser le bloc vers de nouveaux angles qu'il n'avait jamais vus, sans aucun entraînement supplémentaire.
Une simulation complexe (RoboTwin) : Ils ont testé un robot à deux bras effectuant des tâches complexes. La méthode de « Récupération » a surpassé les autres méthodes qui tentaient de réentraîner le robot pour chaque nouveau travail.
Un vrai robot : Ils ont appliqué cela à un robot physique réel. Ils l'ont entraîné sur une tâche (ouvrir un placard) en utilisant des vidéos humaines. Ensuite, ils ont gelé le cerveau. Lorsqu'on a demandé au robot d'accomplir de nouvelles tâches (fermer le placard, placer une bouteille), ils ont simplement ajouté des vidéos humaines de ces tâches à la bibliothèque. Le robot a réussi à comprendre comment les faire, alors qu'un robot standard échouait complètement.

L'essentiel

Cet article montre que vous n'avez pas besoin de réentraîner le cerveau d'un robot pour chaque nouveau travail. Au lieu de cela, vous pouvez l'entraîner une seule fois pour qu'il comprenne comment traduire des « exemples humains peu coûteux » en « actions de robot coûteuses ». Ensuite, pour lui apprendre un nouveau métier, il vous suffit d'ajouter une nouvelle vidéo à la bibliothèque.

Cela transforme l'apprentissage robotique de « construire un nouveau cerveau pour chaque tâche » en « chercher une recette dans un livre de cuisine ».

Résumé technique : Retrieve, Don't Retrain (RECAP)

Énoncé du problème

L'extension des politiques de Vision-Langage-Action (VLA) à de nouvelles tâches ou à de nouveaux corps de robots (par exemple, passer d'une main humaine à un bras robotique spécifique) nécessite généralement la collecte de démonstrations téléopérées coûteuses et spécifiques à la tâche, ainsi qu'un ajustement fin (fine-tuning) par tâche. Ce processus entraîne deux coûts importants :

Coût de collecte de données : Les données robotiques téléopérées sont lentes à acquérir (environ 18 fois plus lentes que les démonstrations par main humaine) et liées au matériel.
Coût de calcul : L'ajustement fin des modèles de Monde-Action (WAM) modernes ou des larges politiques VLA pour chaque nouvelle tâche est intensif en termes de calcul (par exemple, environ 24 heures-GPU par tâche pour Cosmos Policy) et augmente avec la taille du modèle et la longueur du contexte.

Les auteurs soutiennent que ce coût d'adaptation par tâche est évitable. Au lieu de réentraîner, les connaissances comportementales provenant d'une source riche en données et peu coûteuse (l'incarnation "pool", par exemple les mains humaines) peuvent être transférées vers l'incarnation cible (la "requête") via un paradigme basé sur la récupération (retrieval).

Méthodologie : RECAP

Le papier propose RECAP (Retrieval-Conditioned Action Policy), un cadre qui déplace l'adaptation de l'optimisation des paramètres vers la récupération de données. Le principe central est que, bien que les incarnations diffèrent dans leur dynamique d'exécution, elles s'accordent largement sur les exigences de haut niveau d'une tâche.

1. Phase d'entraînement

Back Backbone : La méthode utilise un Modèle de Monde-Action (WAM), spécifiquement Cosmos Policy, qui traite les actions et les observations visuelles futures comme une séquence vidéo débruitée unique.
Conditionnement par récupération augmentée : La politique est entraînée une seule fois sur des démonstrations appariées provenant des incarnations de la requête (robot cible) et du pool (ex: main humaine).
Paramétrage résiduel : Au lieu de prédire la séquence d'actions complète, la politique prédit un résidu ( $\Delta a$ $Δ a$ ) sur la trajectoire du pool récupérée.
- $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
- Cela force le modèle à n'apprendre que les corrections spécifiques à l'incarnation (dynamique, géométrie de contact) plutôt que l'ensemble du plan de mouvement.
Objectif conjoint : Le modèle est entraîné avec une perte de "flow-matching" qui supervise conjointement l'action prédite et l'état visuel futur prédit (image). L'objectif de l'image future agit comme un signal de cohérence visuelle, garantissant que la trajectoire récupérée s'aligne avec l'évolution physique de la scène sur le robot cible.

2. Adaptation au moment du test (Inférence)

Politique gelée : Une fois entraînée, les paramètres de la politique sont gelés. Aucun ajustement de gradient ne se produit pour les nouvelles tâches.
Pool de récupération dynamique : Les nouvelles tâches sont gérées en ajoutant des démonstrations pertinentes de l'incarnation du pool (ex: vidéos humaines) à un pool de récupération.
Récupération étape par étape : À chaque étape de contrôle $t$ $t$ , le système :
1. Observe l'état actuel de la requête $s^{query}_t$ .
2. Récupère le segment état-action le plus similaire $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ dans la base de données du pool sur la base d'un descripteur composite (objectif linguistique, pose de l'objet, proprioception et caractéristiques visuelles).
3. Injecte l'observation actuelle et le segment récupéré dans la politique gelée.
4. La politique produit le segment d'action suivant pour le robot cible, conditionné par le plan de haut niveau récupéré.

Principales contributions

Paradigme d'adaptation au moment du test : Une méthode pour adapter les politiques à de nouvelles tâches entièrement au moment du test en étendant un pool de récupération avec des démonstrations peu coûteuses, tout en gardant la politique gelée.
Politique résiduelle conditionnée par la récupération sur les WAM : Une architecture spécifique où la récupération fournit le mouvement grossier de haut niveau, et le WAM apprend uniquement la correction spécifique à l'incarnation. Les auteurs soulignent que l'objectif de prédiction de l'image future du WAM est particulièrement bénéfique, fournissant un signal d'alignement visuel qui renforce les actions conditionnées par la récupération.
Validation empirique : A démontré des gains constants par rapport aux bases de comparaison inter-incarnations dans trois configurations :
- PushT (2D) : Généralisation à des angles de cible non vus.
- RoboTwin 2.0 (Simulation) : Manipulation multi-tâches, double bras.
- Robot réel : Transfert de vidéos de mains humaines vers un bras robotique physique.

Résultats expérimentaux

Benchmark PushT (Généralisation inter-incarnation)

Configuration : Un pousseur de triangle (cible) entraîné sur des angles de $\pm 45^\circ$ , évalué sur 9 angles (7 non vus). Le pool consistait en des démonstrations de pousseur de disque.
Résultats :
- Progression du pool : L'expansion du pool de récupération au moment du test sans réentraînement a amélioré de manière monotone le succès sur les angles non vus, passant de 6,0 % (sans récupération) à 34,9 % (pool complet).
- Comparaison des backbones : La récupération a amélioré tant la politique VLA standard ( $\pi0.5$ ) que le backbone WAM (Cosmos), mais le gain était nettement plus important pour le WAM (25,1 % contre 34,9 %), confirmant la synergie entre la récupération et l'objectif de l'image future.
- Mécanisme : L'analyse de l'attention a montré que la politique utilise les premières couches pour porter attention à la trajectoire récupérée et les couches ultérieures pour adapter le plan aux dynamiques de la cible.

RoboTwin 2.0 Simulation

Configuration : Cible (Aloha-Agilex) vs Pool (UR5). Entraîné sur 5 tâches appariées, évalué sur 5 tâches non vues.
Résultats :
- Performance : RECAP a atteint 31,5 % de succès sur les tâches non vues, surpassant la base la plus forte (Cosmos Policy sans récupération) à 26,0 % et la "Récupération seule" (exécution naïve) à 26,0 %.
- Croissance du pool : Les taux de succès ont augmenté de manière monotone à mesure que le pool augmentait de 11 à 35 tâches, atteignant 31,5 % avec le pool complet.
- Qualitatif : Dans des tâches comme "hand-over-mic" (passer un micro), la récupération naïve a échoué (collision avec des objets), tandis que RECAP a réussi à ajuster l'orientation de la prise.

Expériences sur Robot Réel

Configuration : Robot cible entraîné sur "ouvrir une armoire" (25 démos appariées). Évalué sur des tâches non vues : "poser une bouteille" et "fermer l'armoire".
Résultats :
- La base (entraînée uniquement sur l'ouverture d'armoire) a échoué sur les tâches non vues (0 % et 10 % de succès), rejouant simplement la trajectoire d'entraînement.
- RECAP, utilisant seulement 10 démonstrations de mains humaines par nouvelle tâche ajoutée au pool, a atteint 80 % de succès pour poser la bouteille et 30 % pour fermer l'armoire.

Signification et revendications

Le papier affirme qu'indexer des données d'incarnation du pool moins coûteuses lors du déploiement peut remplacer la collecte de nouvelles démonstrations pour le robot cible.

Réduction des coûts : La méthode remplace le coût de l'ajustement fin de ~24 heures-GPU/tâche et le coût de téléopération 18× plus lent par un processus de récupération.
Scalabilité : En gelant la politique, le système peut absorber de nouvelles tâches simplement en ajoutant des données au pool de récupération, évitant ainsi les coûts cumulatifs de l'ajustement fin traditionnel.
Synergie avec les WAM : Ce travail démonte que les modèles de Monde-Action, lorsqu'ils sont couplés à la récupération, peuvent efficacement exploiter la planification "grossière" d'une incarnation pour apprendre la dynamique "fine" d'une autre, une capacité que les politiques classiques axées uniquement sur l'action n'ont pas.

Les auteurs reconnaissent des limites, notant que la méthode nécessite des espaces d'action partagés (ex: pose de l'effecteur) et que les descripteurs de récupération actuels (combinant langage, pose et vision) pourraient nécessiter un affinement pour des scénarios plus complexes ou temporellement décalés. Cependant, les résultats suggèrent une voie viable vers des politiques robotiques polyvalentes qui s'adaptent par la récupération plutôt que par le réentraînement.