Adapting Generalist Robot Policies with Semantic Reinforcement Learning

Résumé Technique : Adaptation des Politiques de Robots Généralistes par l'Apprentissage par Renforcement Sémantique

Énoncé du Problème
Les modèles de vision-langage-action (VLA) ont démontré la capacité d'apprendre des répertoires de compétences diversifiés grâce à un pré-entraînement à grande échelle, servant ainsi de puissants a priori pour le comportement des robots. Cependant, exploiter ces politiques généralistes pour résoudre des tâches complexes, nouvelles ou à long horizon reste un défi majeur. Les stratégies de déploiement standard, telles que le prompting zero-shot, échouent souvent car le VLA ne parvient pas à décomposer correctement les sémantiques de tâches complexes en comportements atomiques exécutables ou à ancrer ces comportements dans le contexte physique spécifique du robot.

Les approches existantes visant à améliorer les VLA via l'apprentissage par renforcement (RL) opèrent généralement directement sur l'espace d'action robotique de bas niveau (par exemple, les positions articulaires ou les deltas de l'effecteur terminal). Ces méthodes supposent souvent que la distribution d'action de la politique de base est déjà proche d'une politique performante. Cette hypothèse s'effondre pour les tâches hors distribution (OOD) où le comportement initial de la politique de base est incorrect ou s'effondre dans des modes d'échec. Par conséquent, les méthodes de RL dans l'espace d'action peinent à explorer efficacement ou à se rétablir après des erreurs significatives, limitant leur capacité à adapter les VLA à de nouveaux scénarios complexes.

Méthodologie : Apprentissage par Renforcement d'Action Sémantique (SARL)
Les auteurs proposent l'Apprentissage par Renforcement d'Action Sémantique (SARL), un cadre qui déplace l'espace d'optimisation du RL des actions robotiques de bas niveau vers l'espace sémantique des invites linguistiques (prompts). L'idée centrale est que pour des politiques généralistes suffisamment expressives, les invites de langage agissent comme un espace d'action alternatif efficace. La modulation de ces invites permet de solliciter des compétences déjà présentes dans le répertoire de pré-entraînement de la politique, permettant la composition de compétences existantes pour résoudre des tâches dépassant les capacités zero-shot.

La méthodologie comprend les composantes clés suivantes :

1. Formulation d'un MDP Sémantique : SARL traite l'invite de langage d'un VLA comme une « action sémantique » ($\ell \in A_{sem}$). Au lieu d'apprendre une politique $\pi: S \to A_{robot}$, le système apprend une politique $\pi_{sem}: S \to A_{sem}$ qui sélectionne des commandes linguistiques. Le VLA agit comme une fonction de transformation, convertissant l'action sémantique sélectionnée $\ell$ en une action robotique $a \sim \pi_{vla}(\cdot | s, \ell)$.
2. Boucle de RL en ligne : SARL utilise une boucle de RL en ligne pour apprendre une fonction de valeur sémantique ($Q_{sem}$). Cette fonction estime l'efficacité de prompts linguistiques spécifiques pour progresser vers une récompense de tâche. La politique sélectionne des prompts basés sur la distribution softmax de ces valeurs Q, permettant au système de contrôler de manière adaptative le VLA pour le diriger vers le succès de la tâche.
3. Génération de Candidats et Mise en Cache : Pour rendre la recherche sur l'espace infini des possibles prompts de langage traitable, SARL utilise un modèle vision-langage (VLM) pour générer un ensemble d'actions sémantiques candidates ($A_{sem}^t$) à chaque étape, basée sur l'observation actuelle et la tâche. Pour restreindre davantage l'espace de recherche et permettre un apprentissage efficace, le système met en cache un ensemble fini de prompts. Le VLM est alors restreint à la sélection de candidats à partir de ce cache, permettant l'encodage one-hot de l'espace d'action et un apprentissage par Q-learning efficace.
4. Ancrage (Grounding) : Crucialement, SARL apprend à ancrer ces actions sémantiques dans l'expérience réelle. En interagissant avec l'environnement, le système apprend quels ordres linguistiques spécifiques induisent effectivement des comportements physiques réussis, distinguant ainsi les instructions sémantiquement plausibles mais physiquement inefficaces de celles qui mènent au succès.

Contributions Clés

• Espace d'Action Sémantique : L'article introduit le concept de traiter les invites de langage comme l'espace d'action principal pour le RL, élevant le problème d'apprentissage du contrôle de bas niveau vers le pilotage sémantique. Cela permet une exploration structurée et sémantiquement significative qui tire parti des a priori comportementaux encodés dans les VLA.
• Algorithme SARL : Les auteurs présentent SARL, un algorithme qui apprend à optimiser les prompts des VLA par interaction en ligne. Il combine les a priori sémantiques des VLM pour la génération de candidats avec les capacités d'ancrage du RL pour affiner la sélection des prompts en fonction des résultats physiques.
• Décomposition et Ancrage : Ce travail démontre que le succès de l'adaptation nécessite non seulement de décomposer des objectifs complexes en sous-tâches (ce que les VLM peuvent faire), mais aussi d'apprendre la correspondance ancrée entre les instructions sémantiques et les comportements physiques qu'elles induisent (ce que le RL fournit).

Résultats
Les auteurs évaluent SARL à travers des benchmarks simulés (Libero-10) et des configurations réelles utilisant un robot WidowX. Les expériences se concentrent sur des tâches complexes à long horizon qui sont irréalisables pour un déploiement zero-shot de VLA et difficiles pour les méthodes de RL existantes.

• Performance : SARL surpasse significativement les bases existantes, notamment le Diffusion Steering via RL (DSRL), le RL résiduel et les approches VLM par In-Context Learning (ICL). Dans les tâches réelles, SARL améliore le taux de réussite d'un VLA de base de près de 0 % à environ 80 % en 60 à 100 épisodes en ligne.
• Comparaison avec le RL dans l'espace d'action : Contrairement à DSRL et au RL résiduel, qui sont contraints par la distribution d'action initiale de la politique de base et échouent souvent à apprendre sur des tâches où la politique de base est significativement incorrecte, SARL navigue avec succès dans ces modes d'échec en explorant différents prompts sémantiques.
• Comparaison avec les bases VLM : Bien que les bases ICL VLM puissent décomposer des tâches, elles sélectionnent fréquemment des instructions qui sont sémantiquement significatives mais physiquement inefficaces (par exemple, en utilisant des verbes ou des références d'objets incorrects). SARL surpasse ces bases en apprenant à sélectionner des prompts qui sont ancrés dans les capacités réelles du robot et dans l'environnement spécifique.

Signification et Revendications
L'article affirme que SARL débloque de nouvelles capacités fondamentales pour l'adaptation des politiques robotiques généralistes. En optimisant sur l'espace d'action sémantique, SARL permet aux robots de résoudre des tâches complexes à long horizon qui sont irréalisables pour :

1. Les approches de RL existantes qui opèrent au niveau de l'action du robot.
2. Le déploiement zero-shot de VLA.
3. Les VLA déployés avec un pilotage par langage de haut niveau via des VLM sans RL en ligne.

Les auteurs soulignent que l'efficacité de SARL provient de sa capacité à réutiliser des compétences pré-entraînées plutôt que d'apprendre de nouvelles compétences à partir de zéro, réduisant ainsi l'espace de recherche à des comportements appropriés à la tâche. De plus, la méthode met en évidence l'importance critique de l'ancrage des instructions sémantiques dans les comportements physiques, une capacité dont les approches purement basées sur le langage ou purement basées sur l'action manquent. Ce travail suggère que les futures politiques robotiques généralistes pourraient être conçues avec des capacités de suivi de langage encore plus fortes, et que SARL pourrait servir d'outil standard pour l'adaptation autonome dans des environnements ouverts.