💻 computer science

Adaptation of Generalist Robot Policies with Minimal Data

Ce papier introduit MiDAS, un cadre d'apprentissage par renforcement simple de l'offline à l'online qui permet aux politiques robotiques généralistes de s'adapter rapidement à de nouvelles tâches et de parvenir à une amélioration autonome robuste en partant d'une seule démonstration humaine au minimum.

Auteurs originaux : Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

Publié 2026-08-13

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots ne se contentent pas de suivre un script rigide écrit par un ingénieur humain, mais apprennent et s'améliorent d'eux-mêmes, tout comme nous le faisons. C'est le Saint Graal de la robotique : construire des machines capables d'entrer dans une nouvelle pièce, de comprendre ce qu'il y a à faire et de s'améliorer grâce à l'essai et l'erreur. Pour comprendre comment cela fonctionne, imaginez que le cerveau d'un robot possède deux parties principales. Premièrement, il a besoin d'une base de « connaissances générales », comme une bibliothèque sur le fonctionnement du monde, qu'il apprend en regardant des millions de vidéos de personnes en train de faire des choses. Deuxièmement, il doit apprendre des compétences spécifiques, comme ouvrir un bocal particulier ou empiler un ensemble spécifique de blocs. Le grand défi auquel les scientifiques sont confrontés est que, bien que les robots deviennent très doués pour ces connaissances générales, ils sont encore très mauvais pour apprendre de nouvelles tâches spécifiques de manière autonome. Si vous demandez à un robot de faire quelque chose qu'il n'a jamais vu auparavant, il se fige souvent ou s'agite dans tous les sens parce qu'il ne sait pas par où commencer. C'est comme donner à une personne une carte du monde entier, mais sans aucune idée de la rue sur laquelle elle se trouve actuellement ; elle possède tous les outils pour naviguer, mais elle ne peut pas faire le premier pas sans un peu d'aide.

C'est l'histoire d'une nouvelle méthode appelée MiDAS, qui tente de résoudre ce problème du « premier pas ». Les chercheurs ont posé une question simple : Et si nous ne donnions au robot qu'une seule vidéo d'une personne réussissant la tâche, puis que nous le laissions découvrir le reste par lui-même ? Habituellement, une seule vidéo ne suffit pas. C'est comme regarder quelqu'un résoudre un Rubik's Cube une seule fois, puis se voir dire de le résoudre soi-même ; vous connaissez l'idée générale, mais vous échouerez probablement souvent avant d'y arriver. L'article suggère qu'en combinant cette vidéo unique avec une manière intelligente d'apprendre de ses erreurs, un robot peut en fait apprendre à accomplir la tâche de manière fiable. Ils ont testé cela dans des simulations informatiques et sur un vrai robot à deux bras, constatant que même avec un seul exemple, le robot pouvait apprendre à réussir après quelques heures de pratique, alors que d'autres méthodes auraient abandonné immédiatement.

Le Problème : Le « Regard Vide » du Robot

Imaginez que vous appreniez à un robot à faire un sandwich. Vous avez un robot super intelligent qui a regardé des millions de vidéos d'humains en train de cuisiner. Il sait à quoi ressemble le pain, ce qu'est le fromage et comment fonctionne un couteau. C'est son cerveau « pré-entraîné ». Mais si vous entrez dans la cuisine et dites : « Fais-moi un sandwich avec le fromage bleu sur la gauche », le robot pourrait simplement vous fixer du regard. Il connaît les ingrédients, mais il ne connaît pas ce sandwich spécifique.

Si vous laissez le robot essayer d'apprendre par lui-même (apprentissage autonome), il échouera probablement encore et encore. Il pourrait attraper le mauvais pain, faire tomber le fromage ou essayer de mettre le couteau dans le grille-pain. Dans le monde de la robotique, ces échecs sont appelés « récompenses éparses » (sparse rewards). C'est comme jouer à un jeu vidéo où vous ne recevez un message « Vous avez gagné ! » qu'à la toute fin, sans aucun indice ni point pour vous indiquer que vous vous rapprochez du but. Si le robot échoue 99 fois sur 100, il ne reçoit jamais le signal « Vous avez gagné », il n'apprend donc jamais quoi faire. Il est coincé dans une boucle d'échec.

La Solution : Une Vidéo et un Aide « Résiduel »

Les chercheurs derrière MiDAS (Minimal-Data Adaptation Strategy) ont trouvé une recette astucieuse en deux étapes pour briser cette boucle.

Étape 1 : La Vidéo d'« Ancrage »
D'abord, ils montrent au robot juste une vidéo réussie de la tâche. Ils ne se contentent pas de laisser le robot regarder ; ils utilisent une technique appelée « imitation par apprentissage » (behavior cloning). Voyez cela comme une session d'étude rapide et intense pour le robot. Il regarde la vidéo et essaie de copier les mouvements.

Ce qui se passe : Le robot s'améliore nettement. Il arrête de fixer le vide. Il sait qu'il doit saisir le pain, puis le fromage, puis le couteau.
Le bémol : Il reste maladroit. Il peut saisir le pain correctement, mais faire tomber le fromage parce que sa prise est trop serrée, ou rater l'assiette parce qu'elle est légèrement décentrée. Il a l'idée de la tâche, mais il manque de précision. Dans les tests de l'article, ce robot « une vidéo » pouvait s'approcher de l'objectif, mais échouait souvent à terminer le travail.

Étape 2 : Le Coach « Résiduel »
C'est là que la magie opère. Au lieu d'essayer de réapprendre tout au robot en partant de zéro, MiDAS ajoute un « coach » minuscule et léger au-dessus du cerveau du robot.

Comment ça marche : Le cerveau principal du robot (celui entraîné sur la vidéo) dit : « Je pense que je devrais déplacer le bras de cette façon ». Le nouveau « coach » (appelé politique résiduelle) écoute cette suggestion et dit : « En fait, déplace-le juste un tout petit peu plus vers la gauche ».
L'apprentissage : Le robot essaie ensuite ce mouvement ajusté. S'il réussit, le coach reçoit un point. S'il échoue, le coach apprend à ajuster différemment la prochaine fois.
Pourquoi c'est spécial : Le cerveau principal reste figé (il ne change pas), de sorte que le robot n'oublie pas ce qu'il a appris de la vidéo. Le coach est petit et rapide, apprenant seulement les minuscules corrections nécessaires pour transformer un « bon essai » en un « succès parfait ».

Les Résultats : De l'Essai Unique à la Maîtrise

L'équipe a testé cette idée dans deux mondes virtuels différents (appelés LIBERO-Long et RoboCasa) et sur un vrai robot à deux bras (appelé YAM).

Dans les Simulations :
Les résultats ont été étonnamment solides. Avec seulement une démonstration :

Les méthodes standards qui tentaient d'apprendre à partir de zéro ou de simplement copier la vidéo ont presque totalement échoué (0 % de réussite).
D'autres méthodes avancées qui tentaient d'ajuster le comportement du robot ont réussi à accomplir environ 30 % à 40 % des tâches.
MiDAS a réussi 91 % des tâches en moyenne. Dans certaines tâches spécifiques, comme poser une marmite sur une cuisinière, il a atteint 98 % de réussite.

Dans le Monde Réel :
Ils ont appliqué la méthode à un vrai robot doté de deux bras.

Tâche 1 : Placer un bloc vert dans un contenant et un bloc bleu dans un autre. Le robot partait d'un taux de réussite de 40 % après avoir vu la vidéo unique. Après environ 6 heures de pratique autonome, il est monté à 67 % de réussite.
Tâche 2 : Placer un couteau et un donut sur une assiette. C'était plus difficile. Le robot ne partait qu'avec 27 % de réussite. Mais après 5 à 6 heures d'interaction autonome, il a bondi à 80 % de réussite.

L'article suggère que cela fonctionne parce que le cerveau pré-entraîné du robot sait déjà comment bouger ses bras et à quoi ressemblent les objets. La vidéo unique lui dit quoi faire. L'apprentissage en ligne (le coach) vient simplement combler les lacunes pour savoir comment le faire parfaitement.

Ce que cela signifie (et ce que cela ne signifie pas)

Les chercheurs prennent soin de préciser ce que cette méthode peut et ne peut pas faire.

Ce qu'elle fait bien :

Elle transforme un « peut-être » en un « oui » pour les tâches pour lesquelles le robot possède déjà des connaissances générales.
Elle permet au robot de généraliser. Si vous déplacez légèrement les objets ou changez l'éclairage, le robot peut toujours s'en sortir car son « cerveau » est assez intelligent pour gérer ces changements.
Elle nécessite très peu d'aide humaine. Vous n'avez pas besoin d'enregistrer 100 vidéos ; une seule suffit pour démarrer.

Ce qu'elle ne fait pas (encore) :

Elle ne peut pas apprendre au robot quelque chose de totalement nouveau qu'il n'a aucune connaissance préalable. Si le robot n'a jamais vu de couteau ou de donut auparavant, une seule vidéo ne suffira pas.
Elle éprouve des difficultés si la tâche nécessite une façon de bouger complètement différente. Par exemple, si le robot doit échanger les positions de deux objets d'une manière qui contredit la vidéo, il pourrait être confus.
Les « 6 heures » de pratique sont encore un temps long pour un robot. L'article suggère que bien que ce soit un pas de géant, nous devons encore rendre l'apprentissage plus rapide et plus efficace.

La Vue d'Ensemble

Considérez MiDAS comme un pont. Avant cela, il y avait un fossé énorme entre les « robots qui savent tout en général » et les « robots qui peuvent accomplir une tâche spécifique ». Soit vous aviez besoin qu'un humain programme chaque mouvement, soit vous aviez besoin de centaines d'heures d'essais et d'erreurs. MiDAS montre que si vous donnez à un robot un tout petit peu de guidance humaine (une vidéo) et que vous le laissez s'exercer avec un coach léger et intelligent, il peut franchir ce fossé de lui-même.

Les auteurs suggent que c'est la première fois que quelqu'un démontre qu'un robot peut s'adapter de manière fiable à une nouvelle tâche en partant d'une seule démonstration. Ce n'est pas une baguette magique qui résout tous les problèmes, mais c'est un nouvel outil puissant qui suggère que nous nous rapprochons de robots capables de réellement apprendre de nous, avec juste un peu d'aide.

Résumé technique : Adaptation de politiques robotiques généralistes avec un minimum de données

Définition du problème : Adaptation avec un minimum de données (MDA)

L'article traite du défi consistant à permettre aux politiques robotiques généralistes de s'adapter à de nouvelles tâches avec une supervision humaine minimale. Bien que les modèles récents de Vision-Langage-Action (VLA) pré-entraînés sur des ensembles de données diversifiés offrent des priors étendus, ils échouent souvent en tant qu'apprenants zero-shot dans de nouveaux environnements en raison de la rareté des récompenses et d'une exploration faible. À l'inverse, un apprentissage entièrement autonome à partir de zéro est impraticable pour les politiques actuelles.

Les auteurs proposent le régime d'Adaptation avec un Minimum de Données (MDA - Minimal-Data Adaptation) comme un proxy traitable pour une amélioration entièrement autonome. Dans ce cadre, une politique pré-entraînée doit apprendre une nouvelle tâche en utilisant uniquement $K$ démonstrations réussies (où $K=1$ est le cas le plus extrême) suivies d'une interaction autonome en ligne. L'objectif n'est pas de résoudre la tâche uniquement grâce aux démonstrations, mais de les utiliser comme un échafaudage pour rendre l'apprentissage autonome ultérieur réalisable. Le défi central est qu'avec $K=1$ , la politique initiale est souvent trop faible pour atteindre systématiquement les régions porteuses de récompenses, ce qui conduit à un effondrement de la politique sous l'effet de récompenses éparses.

Méthodologie : MiDAS

Les auteurs introduisent MiDAS (Minimal-Data Adaptation Strategy), une recette d'apprentissage par renforcement offline-to-online en deux étapes, conçue pour combler le fossé entre une politique pré-entraînée faible et un contrôleur spécifique à la tâche robuste.

Étape I : Clonage de comportement (BC) pour l'ancrage de la tâche

Objectif : Transformer la politique pré-entraînée zero-shot ( $\pi_{base}$ ) en une politique dirigée vers la tâche ( $\pi^K_{base}$ ) capable d'entreprendre grossièrement la tâche, même si l'exécution est fragile.
Mécanisme : Le squelette (backbone) VLA pré-entraîné est affiné à l'aide d'une adaptation de bas rang (LoRA - Low-Rank Adaptation) sur les $K$ démonstrations, tandis que la tête d'action est affinée par un own-matching (flow matching) standard.
Résultat : Cette étape récupère un comportement grossier et pertinent pour la tâche (ex: s'approcher de l'objet correct), mais échoue à obtenir un contrôle fiable (ex: saisie précise ou alignement). Elle sert à « ancrer » la politique à la tâche, réduisant ainsi l'espace de recherche pour l'apprentissage en ligne.

Étape II : Amélioration en ligne via le RL résiduel

Objectivité : Apprendre des corrections fines pour surmonter la fragilité de $\pi^K_{base}$ en utilisant l'interaction autonome.
Mécanisme :
- Squelette gelé : La politique ancrée à la tâche $\pi^K_{base}$ est gelée.
- Acteur résiduel : Une politique résiduelle légère ( $\pi^{res}_{\theta}$ ) est entraînée au-dessus des représentations gelées. Contrairement aux formulations résiduelles additives qui prédisent de petits décalages, MiDAS prédit directement l'action exécutée conditionnée par la proposition de la politique de base ( $a_{exec} \sim \pi^{res}_{\theta}(\cdot | s, a_{base})$ ). Cela permet à la politique de déplacer la distribution d'action au-delà du voisinage immédiat de la proposition de base si nécessaire.
- Apprentissage basé sur la valeur : Le système utilise un RL agnostique à la politique (PA-RL) avec un ensemble de critiques entraînés par apprentissage par différence temporelle (TD). L'acteur est mis à jour via un objectif de distillation "Best-of-N", où les actions candidates sont affinées par une ascension de gradient sur la fonction Q avant d'être distillées dans la politique.
Techniques de stabilisation :
1. Préchauffage hors-ligne (Offline Warmup) : L'acteur résiduel et le critique sont initialisés à l'aide d'un tampon contenant les $K$ démonstrations et quelques déroulements de $\pi^K_{base}$ . L'acteur est initialisé pour reproduire les actions de la politique de base ( $\mathcal{L}_{warm}$ ), garantissant que l'exploration précoce reste pertinente pour la tâche.
2. Équilibrage du succès : Pour lutter contre la parcité des récompenses (où les taux de réussite peuvent être aussi bas que 2-5 %), le tampon de relecture est divisé en un tampon général ( $\mathcal{B}$ ) et un tampon de succès ( $\mathcal{B}_{succ}$ ). Les mises à jour du critique échantillonnent un mélange de ces tampons, suréchantillonnant les trajectoires réussies pour éviter que la fonction de valeur ne soit dominée par les échecs.

Contributions clés

Définition de la MDA : L'article formalise le régime MDA, l'identifiant comme le seuil critique où une supervision minimale ( $K=1$ ) rend l'apprentissage autonome en ligne réalisable pour les politiques généralistes.
Algorithme MiDAS : Une nouvelle recette combinant le clonage de comportement à peu d'exemples (few-shot) avec un RL résiduel à squelette gelé. Il démontre qu'une seule démonstration peut amorcer l'apprentissage autonome lorsqu'elle est combinée à des représentations pré-entraînées et une correction guidée par la valeur.
Validation empirique :
- Simulation : Sur LIBERO-Long et RoboCasa, MiDAS atteint des taux de réussite élevés (ex: ~91% sur LIBERO) à partir d'une seule démonstration, surpassant de manière significative les bases telles que le Filtered BC, le Diffusion-Steering RL (DSRL) et le DICE-RL.
- Monde réel : La méthode a été transférée avec succès à une plateforme bimanuelles YAM. Partant d'une politique fragile avec ~27% de réussite sur une tâche complexe (placer un couteau et un donut), MiDAS a amélioré la robustesse à 80% après environ 6 heures d'interaction autonome.
Aperçus mécanistes : Les auteurs valident empiriquement que :
- Les représentations VLA pré-entraînées sont essentielles pour l'efficacité d'échantillonnage ; un pré-entraînement visuel générique (ex: DINO) ou un entraînement à partir de zéro échouent à converger avec $K=1$ .
- Le clonage de comportement fournit un ancrage grossier à la tâche mais pas un contrôle fiable.
- Le RL résiduel en ligne est nécessaire pour apprendre des actions qui se situent en dehors du support effectif de la politique à peu d'exemples, une capacité que les bases comme DSRL ne possèdent pas.

Résultats et généralisation

Performance : MiDAS récupère systématiquement de solides performances sur diverses tâches à long horizon. Dans le cadre "Une démonstration", il atteint un succès quasi parfait sur de nombreuses tâches LIBERO là où le zero-shot et les bases standards échouent complètement.
Généralisation :
- Décalages d'observation : La méthode hérite de la robustesse aux décalages visuels (couleur, texture) et linguistiques du squelette VLM gelé.
- Décalages d'état : Le RL en ligne améliore la robustesse aux décalages d'état modérés (ex: position de l'objet, changement de forme) où la stratégie de manipulation requise reste similaire. Cependant, la performance se dégrade sur les décalages nécessitant des stratégies fondamentalement nouvelles (ex: changement d'objet ou de catégorie), indiquant les limites d'une démonstration unique.
- Apprentissage par curriculum : L'article montre qu'élargir progressivement la distribution de réinitialisation pendant le RL en ligne peut récupérer une performance de généralisation comparable à des politiques entraînées sur 50 démonstrations, sans nécessiter de données humaines supplémentaires.

Signification et affirmations

L'article affirme fournir la première démonstration d'une adaptation fiable de politique robotique à partir d'une seule démonstration de tâche en utilisant une politique pré-entraînée généraliste.

Les auteurs soutiennent que la MDA représente un régime pivot où l'interaction de trois composants permet l'amélioration autonome :

Pré-entraînement : Fournit des caractéristiques réutilisables et des priors d'action larges.
Démonstrations : Ancrent la politique à la tâche spécifique, rendant le comportement pertinent pour la tâche accessible.
Interaction autonome : Fournit les corrections nécessaires pour atteindre la robustesse et gérer les décalages de distribution.

Ce travail suggère que les politiques robotiques pré-entraînées modernes ont atteint un niveau de maturité tel qu'elles sont « assez proches » du succès de la tâche pour qu'une seule démonstration puisse rendre le fossé restant apprenable par l'interaction en ligne, à condition que la stratégie d'adaptation (MiDAS) soit conçue pour stabiliser le processus d'apprentissage et étendre la distribution d'action au-delà du support de la politique initiale à peu d'exemples. L'article reste modeste, reconnaissant que si la MDA fonctionne pour des comportements bien représentés dans les distributions de pré-entraînement, l'adaptation à des tâches nécessitant des modes de comportement entièrement nouveaux ou une manipulation dextre peut encore nécessiter plus de supervision ou des mécanismes différents.