Résumé technique : BooST – Combler le fossé entre sémantique et mouvements pour un transfert de compétences efficace

Problématique

Le papier traite du défi du transfert de compétences efficace dans l'apprentissage robotique. Bien que l'abstraction de compétences (l'apprentissage de comportements réutilisables et temporellement étendus) offre une voie prometteuse vers des agents polyvalents, les méthodes existantes peinent à satisfaire simultanément trois desiderata critiques pour le déploiement dans le monde réel : la généralisation, la robustesse et l'efficacité.

Les approches actuelles ne capturent généralement qu'un seul aspect d'une compétence :

• Les méthodes de bas niveau se concentrent sur la dynamique du mouvement (comment) mais manquent d'ancrage sémantique, ce qui entrave le transfert entre différents corps robotiques et tâches.
• Les méthodes de haut niveau se concentrent sur l'intention sémantique (quoi) dérivée de la vision et du langage, mais manquent souvent de fidélité de mouvement, ce qui les rend sensibles aux distracteurs visuels et nécessite des modèles à grande échelle qui sont trop coûteux en calcul pour un déploiement en temps réel.

Cette incomplétude entraîne des priors faibles pour l'apprentissage de politiques, nécessitant une quantité substantielle de données in situ pour l'adaptation. Les auteurs soutiennent qu'une représentation unifiée capturant à la fois la sémantique et les mouvements est nécessaire pour permettre une adaptation à peu d'exemples (few-shot), un transfert trans-domaine et une robustesse au bruit visuel dynamique.

Méthodologie : Le cadre BooST

Les auteurs proposent BooST (Bridging Semantics and Motions for Efficient Skill Transfer), un cadre en deux étapes conçu pour apprendre une représentation de compétence unifiée et la distiller pour une utilisation efficace en aval.

Étape I : Pré-entraînement de compétences unifiées

La première étape consiste à pré-entraîner un VQ-VAE transmodal sur des jeux de données hors ligne diversifiés et à grande échelle (spécifiquement le jeu de données DROID). L'objectif est d'apprendre un espace latent discret de compétences réutilisables qui encode conjointement la sémantique de haut niveau et la dynamique de mouvement de bas niveau. L'architecture utilise deux voies complémentaires :

1. Voie visuo-linguistique : Utilise un modèle CLIP pré-entraîné et un mécanisme d'attention croisée pour extraire des caractéristiques visuelles dépendantes de la tâche à partir d'images actuelles et futures ($I_t, I_{t+H}$) conditionnées par des instructions linguistiques ($l$). Cette voie ancre la compétence dans l'intention sémantique.
2. Voie d'action : Encode la dynamique du mouvement directement à partir des trajectoires d'action ($a_{t:t+H}$) pour garantir que les compétences apprises sont exécutables et ancrées dans un comportement physique.

Ces voies alimentent un codebook discret partagé via une quantification vectorielle (VQ). Le modèle est entraîné avec un schéma de quantification vectorielle résiduelle avec un signal de supervision unique : la reconstruction d'action. Le décodeur reconstruit les séquences d'actions à partir du jeton de compétence discret et des caractéristiques visuelles actuelles. La fonction de perte combine les erreurs de reconstruction des deux voies et un terme de régularisation pour aligner les espaces de caractéristiques. Crucialement, en reconstruisant les actions plutôt que les pixels, le modèle est encouragé à ignorer les détails visuels non pertinents à la tâche, renforçant ainsi la robustesse aux distracteurs dynamiques.

Étape II : Adaptation en aval

La seconde étape se concentre sur la distillation pour un déploiement efficace. La connaissance riche de l'encodeur de compétence pré-entraîné ($q_\phi$) est transférée à deux composants légers :

1. Un Prior de Compétence Causal ($p_\psi$) qui prédit la distribution des compétences latentes étant donné les observations passées et le langage.
2. Une Politique de Bas Niveau ($\pi_\theta$) qui exécute des actions conditionnées par les compétences échantillonnées.

Cette étape est entraînée sur de petits jeux de données in situ à l'aide d'un objectif variationnel dérivé de la borne inférieure de l'évidence (ELBO). L'entraînement minimise une Perte de Distillation de Prior (alignant le prior avec les prédictions de l'encodeur gelé) et une Perte de Clonage de Comportement (entraînant la politique à imiter les actions expertes). Cette approche découplée permet au système de tirer parti d'un pré-entraînement à grande échelle tout en maintenant une architecture légère adaptée au contrôle en temps réel.

Contributions Clés

1. Représentation de Compétence Unifiée : L'introduction de BooST, qui intègre l'intention sémantique et la dynamique de mouvement dans un codebook de compétences partagé, surmontant les limites des méthodes qui ne capturent qu'un seul aspect.
2. Pipeline Découplé en Deux Étapes : Un paradigme d'entraînement qui concilie le pré-entraînement à grande échelle et l'efficacité du déploiement. Il sépare l'apprentissage d'une représentation riche et unifiée de l'entraînement de politiques légères et spécifiques à une tâche, permettant une adaptation à peu d'exemples.
3. Robustesse et Généralisation : Capacité démontrée à atteindre une forte adaptation à peu d'exemples, un transfert trans-corps (ex: de Franka Panda à UR3) et une robustesse aux distracteurs visuels dynamiques et aux variations de l'arrière-plan.

Résultats Expérimentaux

Les auteurs ont évalué BooST à la fois en simulation (benchmarks LIBERO) et dans des contextes réels (robot UR3).

• Adaptation à peu d'exemples (Few-Shot) : Sur les benchmarks LIBERO, BooST a systématiquement surpassé les bases (incluant Diffusion Policy, VQ-BeT, QueST, LISA et EXTRACT). Notamment, avec seulement 10 démonstrations par tâche, BooST a obtenu une amélioration relative de 140 % par rapport à la deuxième meilleure méthode sur le benchmark diversifié LIBERO-90.
• Transfert Trans-Corps : Dans les expériences réelles, une politique pré-entraînée sur un Franka Emika Panda a réussi à être transférée à un robot UR3 avec seulement cinq démonstrations par tâche. Les bases de bas niveau ont échoué à transférer en raison des décalages d'espace d'action, tandis que l'ancrage sémantique de BooST a permis une adaptation réussie.
• Robustesse aux Distracteurs : Lorsque pré-entraîné sur des données augmentées par des distracteurs humains dynamiques, BooST a maintenu des taux de succès élevés sur les benchmarks standards. En revanche, les bases d'actions latentes (LAPA, UniVLA) qui reconstruisent les transitions visuelles ont subi des chutes de performance, car leurs représentations encodaient des mouvements d'arrière-plan non pertinents.
• Efficacité : Les modèles distillés en aval tournent à environ 60 Hz, ce qui est nettement plus rapide que les bases comparables (ex: Diffusion Policy à 12 Hz), les rendant adaptés au déploiement réel. Les études d'ablation ont confirmé que la voie d'action et l'encodeur sensible à la tâche sont tous deux critiques pour la performance.

Signification

Le papier affirme que BooST satisfait avec succès les trois desiderata clés pour le transfert de compétences efficace — généralisation, robustesse et efficacité — que les méthodes existantes ne parviennent pas à atteindre simultanément. En comblant le fossé entre le "quoi" (sémantique) et le "comment" (mouvements), BooST fournit un prior fort qui réduit drastiquement les données requises pour l'adaptation en aval. Les auteurs postulent que cette approche permet le transfert de compétences apprises à partir de jeux de données hétérogènes et à grande échelle vers de nouveaux scénarios, tâches et corps robotiques avec un minimum de données in situ, tout en restant robuste au bruit visuel inhérent aux environnements réels. Ce travail suggère une voie vers des agents robotiques polyvalents et pratiques capables d'apprendre à partir de données "in the wild" sans nécessiter de curation manuelle ou de modèles coûteux en calcul pour le contrôle en temps réel.