Résumé Technique : ZEST (Zero-shot Embodied Skill Transfer for Athletic Robot Control)

Problématique

Parvenir à un contrôle corporel complet, robuste et humain sur des robots humanoïdes pour des comportements agiles et riches en contacts reste un défi central en robotique. Les approches traditionnelles reposent souvent sur une ingénierie lourde par compétence, un réglage de contrôleur fragile et des pipelines complexes impliquant une optimisation de trajectoire hors ligne suivie d'un suivi en ligne. Ces méthodes exigent généralement une modélisation précise de l'environnement, l'étiquetage des contacts, l'estimation d'état et un façonnage de récompense étendu. De plus, elles peinent face à une incertitude élevée, des scénarios de contact complexes (par exemple, des interactions multi-contacts au-delà des pieds) et le fossé « sim-to-real », où les politiques entraînées en simulation échouent lors du transfert sur matériel en raison des écarts de modélisation et des limites d'actionnement. Bien que l'apprentissage par renforcement (RL) ait montré des promesses en matière d'agilité, le RL standard « tabula rasa » est peu efficace en termes d'échantillonnage et sensible à la conception des récompenses, nécessissant souvent une régularisation méticuleuse pour éviter les comportements non naturels.

Méthodologie : Le cadre ZEST

ZEST (Zero-shot Embodied Skill Transfer) est un cadre d'imitation de mouvement unifié et rationalisé, conçu pour entraîner des politiques via l'apprentissage par renforcement à partir de sources de données diverses et hétérogènes, et pour les déployer sur du matériel avec un transfert zero-shot. Le cadre élimine le besoin de techniques complexes et spécifiques au domaine telles que les étiquettes de contact, les fenêtres de référence/observation, les estimateurs d'état et les pipelines d'entraînement à plusieurs étapes.

Composants Clés

1. Sources de Données Hétérogènes : ZEST s'entraîne sur un pipeline à étape unique en utilisant trois types distincts de références de mouvement :

   • Capture de Mouvement (MoCap) : Données de haute fidélité (ex. : Xsens, Vicon).
   • Capture Vidéo (ViCap) : Données vidéo monoculaires bruitées reconstruites via l'estimation de pose 3D (ex. : MegaSaM, TRAM).
   • Animation par Images Clés : Animations non contraintes par la physique, permettant des mouvements impossibles pour les humains ou adaptés à des morphologies spécifiques.
   • Note : Le cadre ne suppose aucun étiquetage de contact pour aucune source, se basant uniquement sur l'information cinématique.

2. Formulation MDP et Architecture :

   • MDP Conditionné par un Objectif : La politique est entraînée pour suivre une cible de référence $g_t$ (l'état suivant de la référence) en utilisant uniquement des signaux proprioceptifs instantanés (positions/vitesses articulaires, données IMU, vecteur de gravité, action précédente).
   • Acteur-Critique Asymétrique : L'acteur (la politique) utilise uniquement les données des capteurs embarqués pour garantir la déployabilité sans estimateurs d'état. Le critique utilise des « informations privilégiées » disponibles uniquement en simulation (ex. : vitesse réelle de la base, forces de contact, état complet de la racine) pour accélérer l'apprentissage et améliorer l'estimation de la valeur.
   • Espace d'Action : La politique produit des actions résiduelles ajoutées aux positions articulaires de référence. Celles-ci sont envoyées à un contrôleur PD au niveau de l'articulation. Cette approche exploite la référence pour le contrôle feedforward, réduisant ainsi la charge d'exploration de la politique de RL.

3. Améliorations de l'Entraînement :

   • Échantillonnage Adaptatif : Pour gérer les clips à long horizon et les larges bibliothèques de mouvements, les trajectoires sont divisées en bacs (bins) de durée fixe. Un échantillonneur catégoriel biaise l'entraînement vers les bacs présentant des taux d'échec plus élevés (estimés via une moyenne mobile exponentielle des scores d'échec), garantissant que les segments difficiles sont appris sans oubli catastrophique des segments plus faciles.
   • Curriculum de Couple d'Assistance Automatique : Pour les comportements hautement dynamiques (ex. : saltos arrière, poiriers) qui provoquent des terminaisons précoces immédiates, un couple d'assistance virtuel basé sur un modèle est appliqué à la base du robot. Sa magnitude est modulée par la difficulté du bac actuel et est automatiquement atténuée vers zéro à mesure que la performance de suivi s'améliore, agissant comme un « coach » qui réduit progressivement le soutien.
   • Modélisation de l'Actionneur : Pour combler le fossé sim-to-real pour les actionneurs à chaîne fermée (ex. : genoux, chevilles), ZEST emploie des approximations progressives des actionneurs à liaison parallèle (PLA), incluant les modèles de projection locale, d'armature dynamique et d'armature nominale. Les gains PD sont dérivés de valeurs d'armature analytiques approximatives pour assurer la cohérence entre la simulation et le matériel.

4. Randomisation de Domaine : L'entraînement est effectué entièrement en simulation avec une randomisation de domaine modérée (ex. : poussées impulsives, bruit des capteurs, variations de friction, perturbations de masse) pour garantir la robustesse.

Contributions Clés

1. Recette Unifiée et Minimaliste : ZEST fournit un pipeline d'entraînement à étape unique générique qui traite des données hétérogènes (MoCap, ViCap, Animation) sans étiquettes de contact, sans estimateurs d'état, ni façonnage de récompense complexe.
2. Déploiement Matériel Zero-Shot : Le cadre déploie avec succès des politiques sur du matériel physique sans ajustement fin (fine-tuning) par tâche, démontrant une robustesse face à diverses imperfections de données (ex. : tremblement de pose dans la ViCap, animation physiquement irréalisable).
3. Compétences Multi-Contacts et Dynamiques : Il atteint des performances de pointe dans les comportements dynamiques multi-contacts (ex. : pas de l'armée, breakdance, roues) sur des humanoïdes de taille réelle, allant au-delà des simples démarches basées sur les pieds.
4. Généralité Morphologique : La même structure de politique et recette d'entraînement sont appliquées avec succès à des morphologies distinctes, incluant le Boston Dynamics Atlas (humanoïde), l'Unitree G1 (humanoïde) et le Boston Dynamics Spot (quadrupède).

Résultats

L'article évalue ZEST sur trois robots : l'Atlas de Boston Dynamics, le G1 d'Unitree et le Spot de Boston Dynamics.

• Compétences Dérivées de la MoCap : Sur Atlas, ZEST exécute des compétences multi-contacts complexes incluant des roulades avant, des roulades sur quatre pattes, des pas de l'armée, des roues, et du breakdance. Sur le G1, il transfère avec succès des mouvements de roues et de tennis de table. Le cadre préserve la nuance humaine (ex. : roulement talon-orteil) et gère les contacts intermittents sans programmes prédéfinis.
• Compétences Dérivées de la ViCap : ZEST démontre sa robustesse face aux données vidéo bruitées. Sur Atlas, il exécute des coups de pied de football et des séquences de danse. Sur le G1, il réalise des séquences de ballet athlétique et des compétences interactives avec la scène (monter sur, grimper et descendre d'une boîte) en utilisant uniquement des entrées proprioceptives, sans retour précis sur la localisation de la boîte. Il atteint des taux de réussite élevés même avec des variations de pose initiales et des ajouts de charge.
• Compétences Dérivées de l'Animation : Pour Atlas, il réalise des inversions en poirier. Pour Spot, il exécute des manœuvres acrobatiques comme des saltos arrière continus, des roulades latérales et des équilibres sur les mains, en exploitant l'animation pour atteindre des configurations impossibles pour l'anatomie humaine.
• Métriques Quantitatives : Les erreurs de suivi (MAE pour les angles articulaires, MAD pour l'orientation de la base) restent faibles à travers les compétences. Bien que les compétences multi-contacts dynamiques présentent des erreurs d'orientation plus élevées que les démarches simples, elles restent dans des limites réalisables.
• Comparaison avec le MPC : En simulation, une politique de RL multi-compétences entraînée avec ZEST surpasse une ligne de base de contrôle prédictif de modèle (MPC) de pointe sur les comportements dynamiques (ex. : roues, jogging) et gère les mouvements impliquant des contacts autres que les pieds (ex. : roulades, rampages) que la ligne de base MPC échoue à exécuter en raison de sa dépendance à des programmes de contact et des effecteurs terminaux prédéfinis.

Signification et Revendications

L'article affirme que ZEST établit une interface évolutive entre les mouvements biologiques et leurs homologues robotiques. Sa principale importance réside dans :

• Démocratisation du Contrôle Complexe : En éliminant le besoin de pipelines complexes et fabriqués à la main (étiquetage de contact, entraînement multi-étapes), ZEST rend possible le transfert d'un vaste répertoire de compétences à partir de diverses sources de données vers des robots avec un minimum de surcharge d'ingénierie.
• Robustesse à l'Incertitude du Monde Réel : La capacité du cadre à gérer les données ViCap bruitées, les animations physiquement irréalisables et les interactions multi-contacts complexes démontre un niveau de robustesse difficile à atteindre auparavant avec des contrôleurs basés sur des modèles ou un RL standard.
• Généralité à travers les Embodiments : Le transfert réussi de compétences à travers des humanoïdes et des quadrupèdes ayant des tailles et des mécanismes d'actionnement différents souligne le potentiel du cadre en tant qu'interface de contrôle universelle pour les robots à pattes.

Les auteurs reconnaissent des limites, notamment l'absence d'évaluation sur la généralisation à des compétences inédites hors de la distribution d'entraînement, l'hypothèse d'un terrain plat, et la dépendance à l'identification manuelle du système pour la modélisation de l'actionneur. Cependant, le travail positionne ZEST comme une étape significative vers une intelligence physique robuste de niveau humain pour les robots à pattes.