🤖 AI

EXIMO: VLM Guided Exploration of VLA Policies

Cet article présente EXIMO, un algorithme en trois étapes qui combine un planificateur de modèle vision-langage (VLM) pour la décomposition des tâches et la collecte de données avec l'apprentissage par imitation et l'apprentissage par renforcement résiduel subséquents afin d'affiner efficacement les politiques de vision-langage-action (VLA) de grande taille pour de nouvelles tâches robotiques.

Auteurs originaux : Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Publié 2026-08-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots ont longtemps eu du mal à apprendre de nouvelles tâches sans qu'un humain ne se tienne juste à côté d'eux pour guider chaque mouvement. Pendant des années, l'approche la plus fructueuse a consisté à montrer à un robot des milliers d'heures de démonstrations humaines, lui apprenant à copier ces mouvements spécifiques. Cela fonctionne bien pour des tâches simples et répétitives, mais cela échoue lorsqu'un robot est confronté à une situation qu'il n'a jamais vue auparavant, comme déterminer comment mettre un fruit spécifique dans un bol en se basant sur une énigme concernant ce qu'un singe aime manger. L'alternative, laisser un robot apprendre par essais et erreurs, est souvent trop lente et dangereuse pour le monde réel, car le robot pourrait avoir besoin de millions de tentatives pour réussir. Le défi pour les scientifiques est de trouver un moyen de donner aux robots la capacité de réfléchir à un problème et d'apprendre rapidement, sans avoir besoin qu'un humain enregistre chaque étape.

Une équipe de chercheurs de Google DeepMind a développé une nouvelle méthode appelée Eximo pour résoudre ce problème. Ils sont partis d'un robot qui savait déjà effectuer des compétences de base, telles que ramasser une banane ou poser une tasse, mais qui ne pouvait pas comprendre comment combiner ces compétences pour des objectifs complexes à plusieurs étapes. Pour combler ce fossé, ils ont introduit un second programme informatique hautement intelligent qui agit comme un planificateur stratégique. Ce planificateur, connu sous le nom de modèle vision-langage, peut observer l'environnement du robot et comprendre l'objectif global, tel que « pose l'assiette et le bol sur le support ». Au lieu d'essayer de bouger directement les bras du robot, ce planificateur décompose le grand objectif en une série d'instructions simples en langage naturel, comme « prends l'assiette bleue avec ta main gauche », et les transmet au robot.

Le processus se déroule en trois étapes distinctes. Premièrement, les chercheurs laissent le robot et le planificateur travailler ensemble pour explorer de nouvelles tâches. Le planificateur observe les progrès du robot via un flux vidéo et met constamment à jour ses instructions, guidant le robot à travers les étapes qu'il doit suivre pour réussir. Lorsqu'un robot termine une tâche avec succès, l'équipe enregistre cette séquence d'événements. Dans la deuxième étape, ils utilisent ces succès enregistrés pour enseigner directement au robot. Ils prennent le cerveau original du robot et l'affinent en utilisant les exemples réussis, lui montrant ainsi concrètement comment résoudre le problème par lui-même sans avoir besoin que le planificateur lui murmure des instructions à l'oreille. Enfin, dans la troisième étape, ils laissent le robot pratiquer la tâche, cette fois en utilisant une méthode d'apprentissage qui lui permet d'effectuer de petits ajustements dans ses mouvements pour devenir encore plus précis et fiable.

Les résultats de cette approche ont été testés dans un environnement simulé avec vingt-deux tâches différentes, allant du placement de vaisselle sur un support au tri d'outils dans des compartiments spécifiques. Les chercheurs ont constaté que le robot, lorsqu'il était guidé par le planificateur lors de l'exploration initiale, était capable de résoudre ces tâches complexes beaucoup plus souvent qu'un robot essayant de les résoudre seul. Plus important encore, après que le robot a été enseigné grâce aux exemples réussis du planificateur, il est devenu nettement meilleur dans la tâche que même les robots les plus avancés actuellement disponibles. Le robot a appris à résoudre des problèmes nécessitant un raisonnement, comme identifier un objet par sa description plutôt que par son nom, et il l'a fait avec beaucoup moins de tentatives que les méthodes traditionnelles ne l'exigeraient.

Ce travail démontre que la combinaison des compétences physiques d'un robot avec un programme informatique puissant et capable de réflexion peut créer un apprenant bien plus capable. L'idée clé est que le robot n'a pas besoin de faire fonctionner le programme de réflexion indéfiniment ; au contraire, il peut apprendre de l'orientation du programme puis accomplir la tâche de manière indépendante. En utilisant cette méthode, les chercheurs ont montré que les robots peuvent être enseignés de nouveaux comportements complexes rapidement et efficacement, se rapprochant ainsi d'une étape vers des machines capables de s'adapter à la nature imprévisible du monde réel sans nécessiter une supervision humaine constante.

Résumé Technique : Eximo : Exploration de Politiques VLA Guidée par VLM

Énoncé du Problème

Le papier traite du défi consistant à affiner efficacement les politiques robotiques pour apprendre de nouvelles tâches complexes à la volée sans dépendre de la téléopération humaine coûteuse. Bien que les politiques de manipulation robotique de pointe reposent sur l'apprentissage comportemental à grande échelle (LBC) de modèles Vision-Language-Action (VLA), ces modèles peinent face aux tâches à long horizon, compositionnelles ou nécessitant un raisonnement intense qui se situent en dehors de leur distribution d'entraînement.

Deux approches existantes présentent des limitations :

Apprentissage par Renforcement (RL) : Bien que capable d'auto-amélioration, le RL est notoirement inefficace en termes d'échantillonnage, particulièrement pour les tâches à long horizon où l'exploration est difficile. Appliquer le RL directement à de massifs modèles VLA est d'autant plus compliqué par leur taille et leur conception architecturale (par exemple, les têtes de diffusion).
Apprentissage Comportemental par Téléopération : La collecte de nouveaux jeux de données de téléopération pour chaque nouvelle tâche nécessite des centaines d'heures de travail humain coûteux et ne parvient pas à capturer toute la diversité des scénarios du monde réel.

Les auteurs proposent un cadre où une politique VLA pré-entraînée, conditionnée par le langage, est adaptée à de nouvelles tâches spécifiées uniquement par des objectifs en langage naturel et un détecteur de succès, visant l'efficacité d'échantillonnage sans téléopération supplémentaire.

Méthodologie : Eximo

Les auteurs proposent Eximo, un algorithme en trois étapes conçu pour combler le fossé entre la compréhension sémantique et le contrôle moteur. Le pipeline se compose d'Exploration (Explore), d'Imitation (Imitate) et d'Optimisation (Optimize).

1. Explore : Collecte de Données Guidée par VLM

Dans cette phase, le système exploite un Modèle Vision-Langage (VLM) de pointe pour agir comme un planificateur de haut niveau et un orchestrateur pour le VLA.

Mécanisme : Le VLM (spécifiquement Gemini) reçoit l'historique visuel de l'environnement et l'objectif en langage naturel. Il décompose l'objectif complexe à long horizon en une séquence de sous-objectifs ou d'instructions à horizon court et gérable.
Interaction : Le VLM opère en boucle fermée, fournissant des instructions en langage naturel étape par étape au la VLA (par exemple, "prend l'assiette bleue avec ta main gauche"). Le VLA exécute ces instructions.
Filtrage des Données : Le système déroule ces politiques orchestrées. Seuls les épisodes qui complètent la tâche avec succès (vérifié par un détecteur de succès de vérité terrain) sont stockés dans un tampon de données. Les tentatives infructueuses sont filtrées.
Objectif : Collecter des trajectoires de haute qualité et diversifiées pour de nouvelles tâches sans intervention humaine, en exploitant la connaissance du monde du VLM pour l'exploration sémantique.

2. Imitate : Apprentissage Supervisé (SFT)

Les trajectoires réussies collectées sont utilisées pour distiller la connaissance d'orchestration du VLM vers le VLA.

Processus : Le VLA est affiné via un apprentissage comportemental supervisé sur le jeu de données filtré.
Distillation : Crucialement, le VLA est entraîné pour prédire des actions conditionnées directement sur l'objectif de la tâche originale ( $g$ ), plutôt que sur les instructions intermédiaires fournies par le VLM. Cela permet au VLA d'internaliser le raisonnement multi-étapes et l'enchaînement de compétences démontrés par le VLM.
Résultat : La politique résultante devient un agent autonome capable d'exécuter la nouvelle tâche sans nécessiter de requêtes VLM en ligne, éliminant ainsi la latence et réduisant la charge de calcul lors du déploiement.

3. Optimize : RL Résiduel en Ligne

La dernière étape affine davantage la politique en utilisant l'Apprentissage par Renforcement (RL) en ligne.

Défi : Entraîner directement de grands VLA via le RL est difficile en raison de leur taille et de la parcimonie des récompenses dans les tâches à long horizon.
Approche : Les auteurs utilisent une architecture de politique résiduelle. Une politique résiduelle plus petite ( $\pi_{ref}$ ) apprend à produire un terme de correction ( $\Delta a$ ) basé sur l'état actuel, l'objectif et l'action prédite par le VLA affiné ( $a_{VLA}$ ). L'action finale exécutée est $a = a_{VLA} + \Delta a$ .
Entraînement : La politique résiduelle est entraînée via un RL hors-politique (spécifiquement l'algorithme MPO) pour maximiser la probabilité de succès. Le VLA pré-affiné fournit une initialisation forte, rendant l'exploration pour la politique résiduelle plus efficace en termes d'échantillonnage.

Contributions Clés

Cadre Eximo : Un nouveau pipeline en trois étapes (Explore-Imitate-Optimize) qui combine l'exploration guidée par VLM avec l'affinage VLA et le RL résiduel.
VLM comme Orchestrateur : Démontrer que les VLM peuvent efficacement orchestrer les politiques VLA en langage naturel pour résoudre des tâches complexes à long horizon sans nécessiter d'ancrage explicite aux API robotiques ou à des ensembles de compétences prédéfinis.
Distillation de Connaissances : Montrer que la distillation stratégique des trajectoires guidées par VLM dans le VLA via SFT améliore considérablement les performances et l'efficacité d'échantillonnage du VLA de base, créant une politique autonome qui surpasse à la fois le VLA de base et le VLA orchestré par VLM lors de l'inférence.
Intégration du RL Résiduel : Intégrer avec succès le RL en ligne avec l'affinage VLA via une politique résiduelle, obtenant des gains de performance supplémentaires tout en maintenant l'efficacité d'échantillonnage.

Résultats Expérimentaux

Les auteurs ont évalué Eximo sur 22 tâches de manipulation en simulation à l'aide de la plateforme robotique ALOHA. Les tâches comprenaient le placement de vaisselle, la sélection d'objets basée sur le raisonnement (ex: "le fruit que le singe aime") et le raisonnement spatial (ex: compartiments gauche vs droite).

Efficacité de l'Exploration : L'orchestration par VLM a considérablement augmenté le taux de réussite du VLA de base (GROD) et a réduit la longueur des épisodes par rapport au VLA de base seul, démontrant une collecte de données plus efficace.
Gains d'Affinage : L'apprentissage comportemental supervisé (SFT) sur les données orchestrées par VLM a radicalement amélioré les performances du VLA de base. Le VLA affiné a surpassé le VLA orchestré par VLM lors de l'inférence, prouvant le succès du processus de distillation.
Performance du RL : Lorsque le RL en ligne a été appliqué, la configuration "GROD + SFT + RL" a obtenu les taux de réussite les plus élevés et la convergence la plus rapide. Elle a nettement surpassé le modèle GROD de base, même lorsque ce dernier était entraîné sur beaucoup plus d'étapes d'environnement.
Ablation : L'article confirme que les trois étapes contribuent toutes à la performance finale. Plus précisément, distiller le comportement du VLM dans le VLA est supérieur au maintien du VLM comme orchestrateur en ligne lors de l'évaluation.

Signification et Revendications

Le papier affirme qu'Eximo établit un nouveau paradigme pour l'entraînement des VLA. En combinant la connaissance générale du monde des VLM avec les compétences sensori-motrices des VLA, l'approche permet aux robots d'acquérir de nouvelles compétences sans heures de téléopération coûteuses.

Les auteurs soulignent que cette méthode permet :

Efficacité d'Échantillonnage : Réduire drastiquement les données nécessaires pour apprendre de nouvelles tâches par rapport au pur RL ou à la pure téléopération.
Autonomie : Créer une boucle d'apprentissage entièrement autonome où le robot peut s'adapter à de nouvelles tâches lourdes en raisonnement, spécifiées uniquement par le langage naturel.
Viabilité de Déploiement : Produire une politique autonome qui ne dépend pas de l'orchestrateur VLM à haute latence pendant l'exécution, ce qui la rend adaptée au contrôle en temps réel.

Ce travail suggère que les futurs systèmes pourront exploiter les VLM non seulement comme planificateurs, mais aussi comme outils d'auto-distillation, permettant aux VLA d'étendre continuellement leurs capacités grâce à des données de haute qualité auto-générées.