Résumé technique : EXPO-FT

Énoncé du problème

La capacité d'apprendre efficacement et de manière fiable de nouvelles tâches demeure un défi fondamental en robotique. Bien que les modèles Vision-Language-Action (VLA) aient démontré une forte généralisation à travers diverses tâches de manipulation grâce à l'apprentissage par imitation à grande échelle, les politiques préentraînées restent systématiquement en deçà de la fiabilité requise pour un déploiement dans le monde réel. Les échecs dans des environnements physiques sont coûteux, ce qui rend nécessaire un chemin permettant de combler le fossé entre le préentraînement généraliste et une performance fiable et spécifique à la tâche.

Les approches existantes pour entraîner des politiques de robots dans le monde réel via l'apprentissage par renforcement (RL) se heurtent à une dichotomie :

1. Entraînement à partir de zéro : Les méthodes qui entraînent des politiques RL sans affiner un VLA (ou qui entraînent des modèles légers par-dessus) atteignent souvent de fortes performances asymptotiques, mais échouent à exploiter les priors sémantiques et comportementaux riches intégrés dans les grands VLA préentraînés.
2. Affinement des VLA : Les méthodes qui affinent des VLA préentraînés héritent de représentations généralisables, mais échouent souvent à atteindre des taux de réussite fiables, nécessitent un nombre prohibitif d'interactions avec l'environnement, ou les deux.

Il existe un fossé critique pour des cadres qui exploitent simultanément le prior d'un VLA préentraîné et atteignent l'efficacité d'échantillonnage et la fiabilité nécessaires à un déploiement pratique.

Méthodologie : EXPO-FT

Les auteurs présentent EXPO-FT, un système conçu pour un affinement RL stable et efficace en échantillonnage de politiques VLA préentraînées. Le système est construit sur l'algorithme EXPO, une méthode récemment proposée pour un RL stable avec des politiques de flux ou de diffusion expressives, et l'étend pour répondre à des défis spécifiques à la robotique.

Architecture de base et choix de conception

EXPO-FT intègre trois composants principaux pour atteindre une haute efficacité d'échantillonnage et une grande fiabilité :

1. Politique de base et mécanisme d'édition (EXPO étendu) :

   • Le système utilise un VLA préentraîné (spécifiquement $\pi_{0.5}$) comme politique de flux de base ($\pi_{VLA}$).
   • Au lieu de rétropropager les gradients à travers le grand modèle VLA lors des mises à jour RL, EXPO-FT emploie une politique d'édition légère ($\pi_{edit}$).
   • La politique d'édition prédit une correction $\hat{a}$ contrainte à une petite plage $[-\beta, \beta]$, qui est ajoutée à l'action de base $a$ pour produire l'action éditée $\tilde{a} = a + \hat{a}$.
   • Une fonction Q est entraînée via l'apprentissage par différence temporelle (TD) pour sélectionner la candidate maximisant la valeur entre l'action de base et l'action éditée. Cela permet au système d'ancrer les mises à jour TD dans des actions quasi-optimales sans déstabiliser le VLA préentraîné.

2. Actions temporellement étendues (Blocs d'actions) :

   • Contrairement aux algorithmes RL classiques conçus pour des actions gaussiennes à pas unique, les VLA modernes opèrent sur des blocs d'actions (séquences de $H$ actions futures).
   • EXPO-FT adapte la politique d'édition et la fonction Q pour opérer nativement sur ces blocs ($a_{t:t+C}$). La politique d'édition prédit des edits pour l'ensemble du bloc, préservant l'abstraction temporelle centrale à la conception des VLA.

3. Interventions humaines dans la boucle (HIL) :

   • Pour accélérer davantage l'apprentissage et fournir des corrections ciblées là où l'exploration autonome est insuffisante, le système intègre des retours humains dans la boucle.
   • Pendant l'entraînement en ligne, un opérateur humain peut intervenir via téléopération (en utilisant une SpaceMouse) pour fournir des corrections d'action pour des pas de temps spécifiques au sein d'un bloc d'actions.
   • Ces actions correctives remplacent les actions de la politique pour les pas de temps intervenus, et les trajectoires résultantes sont ajoutées au tampon de replay. Ce mécanisme fournit des signaux de haute qualité pour réduire la charge d'exploration.

Procédure d'entraînement

Le système emploie une architecture Apprenant-Acteur découplée pour gérer la latence de l'inférence et de l'entraînement des grands VLA :

• Acteur : Exécute des déroulements dans l'environnement réel, collecte les interventions humaines et envoie les tuples état-action-récompense $(s, a, r, s')$ à l'apprenant.
• Apprenant : Gère l'entraînement et l'inférence du VLA, et maintient le tampon de replay. Il met à jour l'agent (réseau Q et politique d'édition) par pas, par épisode ou par grand lot.
• Initialisation : Avant le RL en ligne, le VLA est souvent amorcé avec un petit ensemble de données hors ligne de démonstrations humaines via un affinement supervisé (Apprentissage par imitation) pour atteindre un taux de réussite de base (par exemple, ~40 %).
• Récompense : Le système utilise un signal de récompense binaire et sparse indiquant l'achèvement de la tâche, évitant ainsi la surcharge d'ingénierie du façonnage de récompense dense.

Contributions clés

1. Système pour l'affinement RL efficace en échantillonnage : Un cadre complet (EXPO-FT) permettant l'affinement fiable de modèles VLA préentraînés en utilisant le RL, atteignant des taux de réussite élevés avec un minimum de données en ligne.
2. Extensions architecturales : L'extension de l'algorithme EXPO pour prendre en charge les blocs d'actions temporellement étendus et l'intégration d'interventions humaines dans la boucle spécifiquement pour l'affinement des VLA.
3. Publication en open source : La mise à disposition d'une base de code open source pour faciliter l'adoption plus large de l'affinement RL pour les modèles VLA dans la communauté robotique.

Résultats expérimentaux

Les auteurs ont évalué EXPO-FT sur huit tâches de manipulation complexes dans le monde réel exigeant des combinaisons de haute précision, d'actions dynamiques et de robustesse face à des états initiaux variés. Les tâches comprenaient :

• Dynamiques/Riches en contacts : Retournement d'œuf (retourner un œuf au plat avec une spatule), Tir au billard (frapper une bille de billard).
• Précision/Alignement : Insertion de fleur (insérer une tige dans une bouteille), Saisie de cube (saisie sous randomisation), Routage de guirlande lumineuse (accrocher des ampoules et brancher l'alimentation).
• Déformables/Bruyantes : Écumoire de bonbons (transférer des bonbons avec une cuillère).

Métriques de performance :

• Taux de réussite : EXPO-FT a atteint un taux de réussite parfait (30/30) sur toutes les tâches évaluées.
• Efficacité d'échantillonnage : Le système a atteint cette performance fiable en moyenne 19,1 minutes de données de robot en ligne.
• Comparaison : EXPO-FT a surpassé :
  • HIL-SERL (RL à partir de zéro avec HIL) : A atteint seulement 5,5/30 de réussite moyenne, luttant avec les grandes distributions d'états initiaux.
  • DSRL (RL dans l'espace latent sur les VLA) : A atteint 19/30 en moyenne, limité par les contraintes d'optimisation au sein de la distribution prior.
  • HG-DAgger (Apprentissage par imitation avec corrections) : A atteint 22,1/30 en moyenne, luttant pour se remettre des erreurs cumulatives dans les tâches dynamiques.
  • Affinement supervisé (SFT) : A atteint 20,5/30 en moyenne.

Il est à noter que sur les tâches nécessitant des actions dynamiques (Retournement d'œuf, Tir au billard) ou une haute précision, l'écart de performance entre EXPO-FT et les méthodes antérieures était le plus marqué.

Importance et revendications

L'article revendique qu'EXPO-FT démontre que l'affinement RL des VLA peut être à la fois efficace en échantillonnage et fiable lorsqu'il est conçu avec les bons choix architecturaux. En combinant les priors sémantiques d'un VLA préentraîné avec un algorithme RL hors politique efficace (EXPO) et des corrections humaines dans la boucle, le système comble le fossé entre le préentraînement généraliste et la fiabilité requise pour un déploiement dans le monde réel.

Les auteurs positionnent ce travail comme une étape intermédiaire vers l'adoption plus large de l'affinement de modèles VLA généralistes par apprentissage par renforcement. Ils reconnaissent des limitations, telles que l'exigence actuelle de réinitialisations manuelles de l'environnement et les défis computationnels liés à l'exécution d'un entraînement à haute fréquence sur des modèles à milliards de paramètres, identifiant ces points comme des axes de travail futurs. Cependant, la contribution centrale est la validation qu'un pipeline unifié et efficace en échantillonnage peut transformer un VLA généraliste en un spécialiste hautement fiable pour des tâches de manipulation complexes.