Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

1. Problématique

L'apprentissage par renforcement (RL) simulé-à-réel (Sim-to-Real) est devenu la norme pour entraîner des contrôleurs de robots complexes, notamment les robots marcheurs. Cependant, un écart persistant entre la simulation et la réalité (le "Sim-to-Real gap") limite souvent les performances sur le matériel physique.

Les approches existantes reposent principalement sur :

• La randomisation des dynamiques (DR) : Elle rend le contrôleur robuste à une plage de paramètres, mais ne ferme pas l'écart et peut conduire à des comportements trop conservateurs.
• L'identification système traditionnelle : Elle compare les trajectoires d'état (position, vitesse) entre la simulation et le réel. Cette méthode nécessite une synchronisation temporelle précise, des conditions initiales contrôlées et souvent un système de capture de mouvement (mocap) pour obtenir l'état de base complet (pose, vitesse).

Le défi principal : Pour les robots marcheurs instables, de petites différences dans les paramètres ou les conditions initiales entraînent une divergence rapide des trajectoires. Cela rend la comparaison point par point (MSE) inefficace, coûteuse en infrastructure et peu pratique pour les robots réels dépourvus de mocap.

2. Méthodologie Proposée

Les auteurs proposent une approche d'adaptation du simulateur basée sur l'appariement de distributions proprioceptives, éliminant le besoin de synchronisation temporelle ou de données d'état privilégiées (comme la pose de la base).

A. Métrique de Coût : Distance de Wasserstein

Au lieu de comparer des trajectoires alignées dans le temps, la méthode traite les trajectoires comme des échantillons issus d'une distribution stationnaire induite par la politique.

• Approche : On compare les distributions des observations proprioceptives (positions articulaires, vitesses) et des actions entre la simulation et le matériel.
• Métrique : Utilisation de la distance de Wasserstein (1D). Pour des raisons d'efficacité computationnelle et de robustesse, la distance multidimensionnelle est approximée par la moyenne des distances de Wasserstein 1D calculées indépendamment pour chaque dimension (chaque articulation et chaque type de donnée).
• Avantage : Cette métrique est insensible au décalage temporel et ne nécessite pas de réinitialiser le simulateur à l'état réel. Elle capture les caractéristiques comportementales à long terme (rythme de marche, statistiques de contact, retard des actionneurs).

B. Modifications du Simulateur

Le système optimise une fonction de modification du simulateur pour minimiser le coût de distribution. Trois types de modifications sont explorés :

1. Identification de paramètres statiques (FricArm) : Ajustement de paramètres physiques fixes (friction, inertie des actionneurs).
2. Modèle Delta d'Action (Action-Delta) : Un réseau de neurones apprend une correction d'action ($\Delta a$) ajoutée à la sortie de la politique, basée sur l'état.
3. Modèle d'Actionneur Résiduel (Residual Actuator) : Un réseau de neurones apprend un couple résiduel ($\Delta \tau$) ajouté directement à la commande du contrôleur PD. Ce modèle s'exécute à la fréquence du simulateur (1 kHz), offrant une expressivité supérieure pour capturer la dynamique non modélisée (saturation, friction complexe).

C. Optimisation

Le problème est résolu par une optimisation boîte noire utilisant la stratégie d'évolution CMA-ES (Covariance Matrix Adaptation Evolution Strategy). Cela permet d'optimiser les paramètres du simulateur sans nécessiter de gradients, ce qui est crucial car le simulateur physique n'est pas différentiable.

3. Contributions Clés

1. Métrique sans alignement temporel : Introduction d'une métrique basée sur la distribution de Wasserstein qui ne nécessite ni données d'état de base privilégiées, ni synchronisation temporelle, ni capture de mouvement.
2. Adaptation efficace du simulateur : Démonstration que l'adaptation du simulateur (plutôt que de la politique seule) permet de réduire significativement l'écart Sim-to-Real.
3. Efficacité des données : La méthode nécessite moins de 5 minutes de données réelles pour optimiser le modèle d'actionneur résiduel et améliorer les performances.
4. Comparaison exhaustive : Évaluation systématique sur le robot quadrupède Unitree Go2, comparant l'approche proposée à des méthodes d'appariement d'état (avec et sans accès privilégié) sur des scénarios de paramètres statiques, de joints élastiques et de marche bipède.

4. Résultats Expérimentaux

Sim-to-Sim (Simulation vers Simulation)

• Identification de paramètres : Dans un scénario idéal (sans bruit), la métrique de Wasserstein retrouve les paramètres de friction et d'inertie avec une précision quasi identique aux méthodes d'appariement d'état (MatchS), bien qu'elle n'utilise pas d'informations privilégiées.
• Robustesse au bruit : En présence de bruit (bruit de couple, décalages temporels), la métrique de Wasserstein surpasse nettement l'appariement d'observations brutes (MatchO) et rivalise avec l'appariement d'état complet (MatchS), même sans accès à la pose de la base.
• Scénario complexe (Joint Élastique) : Pour des dynamiques non paramétriques (ajout d'un ressort), les modèles statiques échouent. Les modèles résiduels (Action-Delta et Residual Actuator) optimisés via Wasserstein réussissent à corriger la dynamique et à améliorer les performances de la politique finement réglée.

Sim-to-Real (Simulation vers Réel)

• Expérience "Spring Joint" : En ajoutant physiquement un ressort à la patte arrière du Go2, la politique originale dérive de plus de 2 mètres. Après adaptation du simulateur (5 min de données) et finetuning, la dérive est réduite à ~0,4 m (erreur de 20 %).
• Expérience "Bipedal Walking" : Pour la marche bipède (sur deux pattes arrière), une tâche difficile avec un écart dynamique important, la politique originale subit une forte dérive. L'adaptation via le modèle d'actionneur résiduel réduit la dérive de jusqu'à 50 %.
• Conclusion : L'approche permet d'obtenir des gains de performance substantiels sur du matériel réel sans infrastructure de capture de mouvement.

5. Limites et Défis

L'article identifie une limitation majeure lors de l'application à des robots humanoïdes (Agility Robotics Digit) pour la marche arrière :

• Problème de divergence catastrophique : Si la politique initiale échoue complètement sur le matériel réel (chute), les données collectées ne contiennent pas d'exemples valides de la dynamique de chute.
• Boucle de rétroaction négative : L'optimisation peut apprendre des paramètres qui reproduisent la chute en simulation (coût faible car les distributions correspondent), mais cela ne corrige pas la cause racine. Le système ne peut pas apprendre à éviter la chute s'il n'a jamais vu de données de "quasi-chute" ou de récupération.

6. Signification et Impact

Ce travail démontre qu'il est possible de fermer l'écart Sim-to-Real pour la locomotion complexe en adaptant le simulateur plutôt que la politique seule, en utilisant des métriques statistiques robustes.

• Accessibilité : La méthode rend l'adaptation Sim-to-Real accessible à des utilisateurs ne disposant pas de systèmes de capture de mouvement coûteux.
• Généralité : Le pipeline est applicable à divers robots et types de modifications de simulateur.
• Avenir : Les auteurs suggèrent d'étendre la méthode pour apprendre des dynamiques stochastiques (distributions de paramètres) afin de mieux capturer la variabilité du monde réel (température des moteurs, usure).

En résumé, l'article propose une voie pratique et efficace pour transférer des politiques de locomotion apprises en simulation vers des robots réels, en se concentrant sur l'alignement des distributions d'observations plutôt que sur le suivi de trajectoires temporelles rigides.