Résumé Technique : MuGen - Contrôleur Génératif Multi-Compétences pour la Locomotion des Robots Humanoïdes

Énoncé du Problème

Les robots humanoïdes ont réalisé des progrès significatifs dans la locomotion bipède grâce à l'apprentissage par renforcement profond (RL). Cependant, les approches existantes reposent souvent sur un façonnage de récompense spécifique à la tâche, ce qui est difficile à concevoir et manque de généralisabilité à travers des tâches diverses. Bien que l'apprentissage par imitation (IL) offre une alternative prometteuse en exploitant des ensembles de données de mouvements humains, les méthodes actuelles font face à deux limitations principales :

1. Limitations Structurelles : Les politiques de suivi naïves peinent à capturer la structure complexe de l'espace d'action sous contraintes cinématiques et dynamiques, rendant difficile l'extraction et la réutilisation de motifs de mouvement distinctifs à partir de grands ensembles de données.
2. Fiabilité Dynamique : La séparation entre la génération de mouvement et le contrôle du robot échoue souvent à garantir que les trajectoires générées sont dynamiquement réalisables. Même des trajectoires cinématiquement plausibles peuvent être impossibles à suivre par la politique de contrôle du robot, entraînant une instabilité ou un échec.

MuGen résout ces problèmes en proposant un cadre piloté par les données qui apprend un système de contrôle génératif directement à partir de la simulation physique, garantissant ainsi que les compétences apprises sont cohérentes avec les contraintes dynamiques du robot.

Méthodologie

MuGen emploie un cadre d'apprentissage Maître-Élève combiné à des Autoencodeurs Variationnels Quantifiés par Vecteurs (VQ-VAE) et à l'Apprentissage par Renforcement Basé sur le Modèle (MBRL). Le système est entraîné en simulation (NVIDIA IsaacGym) en utilisant l'ensemble de données de mouvement LaFAN1.

1. Modèle Génératif et Encodages de Compétences

Le cœur de MuGen est un espace latent structuré pour les compétences de mouvement appris via un VQ-VAE.

• Encodeur ($E$) : Mappe les états du robot ($s$) et les mouvements de référence ($m$) vers des encodages continus ($z$).
• Goulot d'étranglement VQ : Quantifie ces encodages vers l'entrée la plus proche dans un dictionnaire entraînable ($\hat{z} = B(z)$), créant un espace de compétences discret.
• Décodeur ($D$) : Se conditionne sur le code quantifié et l'état actuel pour produire une distribution sur les cibles articulaires (actions).
• Modèle du Monde ($W$) : Un modèle de dynamique différentiable prédit l'état suivant ($s_{t+1}$) étant donné l'état actuel et l'action. Cela comble le fossé entre les références cinématiques et les actions de la politique, permettant une optimisation basée sur le gradient sans dépendre de gradients RL basés sur l'échantillonnage.

2. Stratégie d'Entraînement

Le processus d'entraînement est divisé en trois étapes pour assurer une distillation robuste de la politique :

• Pré-entraînement : La Politique Maître est entraînée en utilisant des informations privilégiées (connaissance complète de l'état) et le modèle du monde. Elle optimise conjointement la politique et le dictionnaire VQ pour reconstruire les mouvements de référence tout en minimisant l'erreur de suivi.
• Échauffement : La Politique Élève est introduite. Elle observe des informations limitées (simulant les contraintes des capteurs du monde réel) mais partage le dictionnaire figé avec le maître. L'élève est échauffé tandis que le maître continue de générer des trajectoires.
• Distillation : Le maître et le dictionnaire sont figés. La politique élève est entraînée pour imiter le comportement du maître. Une nouvelle stratégie de planification progressive (inspirée de DAgger) est employée : au sein d'une seule trajectoire de déroulement, le contrôle est aléatoirement basculé entre le maître et l'élève, la probabilité de sélection du maître étant linéairement réduite à zéro. Cela permet au maître de stabiliser le robot si l'élève commet des erreurs, empêchant des changements brusques de distribution.

3. Distillation de Politique

La politique élève apprend à travers deux objectifs :

• Clonage de Comportement ($L_{BC}$) : Minimisation de l'écart direct d'action entre l'élève et le maître.
• Alignement Latent ($L_{align}$) : Encouragement de l'encodeur de l'élève à produire des encodages compatibles avec le dictionnaire figé du maître, facilitant le transfert de connaissances au niveau des caractéristiques.

Contributions Clés

1. Cadre de Locomotion Génératif : MuGen introduit un cadre qui apprend un espace latent discret et réalisable dynamiquement pour la locomotion multi-compétences directement à partir de données de mouvement humain hétérogènes, éliminant le besoin de fonctions de récompense conçues à la main.
2. Distillation Maître-Élève avec VQ-VAE : L'article propose une architecture spécifique où un maître privilégié apprend une représentation de compétences basée sur VQ, qui est ensuite distillée dans une politique élève déployable en utilisant un dictionnaire partagé. Cela permet le transfert de compétences dynamiques complexes vers une politique aux capacités d'observation limitées.
3. Stratégie de Distillation Progressive : Les auteurs développent un nouveau mécanisme de planification où les politiques maître et élève sont mélangées au sein de trajectoires uniques pendant la distillation. Cette approche atténue la baisse de performance souvent observée lors du passage d'un environnement à observations privilégiées à un environnement à observations limitées.
4. Déploiement Réel : Le cadre est validé sur un robot humanoïde Unitree G1, démontrant la capacité à suivre des mouvements inédits (marche, course, accroupissement, danse) et à générer de nouveaux mouvements de manière autonome en utilisant uniquement des capteurs proprioceptifs embarqués.

Résultats Expérimentaux

Les auteurs ont évalué MuGen sur le robot Unitree G1 et en simulation en utilisant un sous-ensemble de l'ensemble de données LaFAN1 (environ 1 heure de données de locomotion).

• Performance de Suivi : En simulation, MuGen a atteint un Taux de Survie (SR) de 95,35 % sur des mouvements inédits, surpassant significativement les références (MLP Vanilla : 60,70 %, basé sur VAE : 51,51 %). Il a également démontré une erreur de rotation articulaire moyenne (MJRE) et une erreur de vitesse linéaire moyenne (MVE) plus faibles que les références.
• Robustesse : Le système a maintenu la stabilité sous randomisation de domaine (friction, charge utile et bruit de capteurs variables). Des études d'ablation ont confirmé que les encodages de compétences discrets (VQ) et une histoire temporelle modérée sont critiques pour la robustesse.
• Capacité Générative : En entraînant un « encodeur prioritaire » pour échantillonner des compétences latentes à partir du dictionnaire uniquement sur la base de l'état proprioceptif, le système a généré avec succès des mouvements diversifiés et fluides (marche, course, virage) sans trajectoires de référence.
• Exécution Réelle : La politique a été déployée sur le Unitree G1 à 30 Hz, exécutant avec succès la marche droite et la marche accroupie, démontrant la capacité du cadre à combler le fossé simulation-réalité.

Importance et Revendications

L'article revendique que MuGen représente une étape significative vers des contrôleurs génératifs pour robots humanoïdes. Son importance principale réside dans :

• Généralisation : La capacité d'apprendre un ensemble de compétences compact à partir de données non structurées et de l'appliquer à des mouvements inédits et à des tâches de génération sans réentraînement.
• Déployabilité : Le transfert réussi d'une politique générative complexe et basée sur la physique vers un robot humanoïde réel aux capacités de détection limitées, surmontant le fossé « simulation-réalité » grâce à la randomisation de domaine et à une stratégie de distillation robuste.
• Efficacité : La méthode réduit la dépendance à un ingénierie de récompense extensive, exploitant la similarité morphologique entre les humains et les robots pour produire des comportements agiles et expressifs.

Les auteurs reconnaissent des limitations, notamment des difficultés à maintenir une posture debout stable (en raison de la sous-représentation des postures statiques dans les données d'entraînement) et la dépendance à un modèle du monde simplifié. Cependant, ils postulent que ce cadre fournit une base évolutive pour les travaux futurs sur la génération de mouvement pilotée par des invites et l'adaptation à des terrains plus complexes.