DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs

Résumé technique : DynaWM : Distillation sensible à la dynamique avec modèle de monde et cibles de momentum pour une locomotion fluide sur des escaliers continus

Énoncé du problème
Bien que les robots bipèdes à roues aient démontré leur succès dans la traversée de pentes et d'obstacles à marche unique en utilisant le contrôle prédictif de modèle et l'apprentissage par renforcement profond, la navigation sur de longs escaliers continus reste un défi majeur. Les solutions actuelles reposant sur des cadres de distillation enseignant-étudiant font face à trois limitations principales :

1. Représentations de la dynamique affaiblies : Les encodeurs de l'enseignant, optimisés uniquement par des gradients de politique, ont tendance à encoder uniquement les caractéristiques du terrain directement pertinentes pour les récompenses immédiates, négligeant les informations géométriques plus larges essentielles à la modélisation de la dynamique du sol.
2. Effondrement dimensionnel : Lors de l'entraînement simultané enseignant-étudiant, les mises à jour rapides des représentations de l'enseignant peuvent provoquer l'effondrement de l'encodeur de l'étudiant vers des représentations triviales (s'ajustant uniquement aux prédictions moyennes) plutôt que de capturer les caractéristiques essentielles du terrain.
3. Opacité : L'espace latent dans les cadres existants agit comme une « boîte noire », rendant difficile la vérification de la véritable capacité de modélisation de la hauteur du terrain ou la garantie de l'interprétabilité pendant l'entraînement.

Ces problèmes entraînent un manque de fluidité du mouvement et d'adaptabilité au terrain lorsque les robots sont confrontés à des escaliers continus, entravant un déploiement sim-to-real fiable.

Méthodologie : DynaWM
Les auteurs proposent DynaWM (Dynamics-aware distillation with World model and Momentum targets), un cadre d'apprentissage de représentation conçu pour améliorer l'encodage du terrain et stabiliser le transfert de connaissances. Le cadre se compose de trois modules interconnectés :

1. Modèle de monde comme régularisateur :
   Pour imposer une conscience de la dynamique directe, un modèle de monde est introduit comme un régularisateur pour l'encodeur de l'enseignant. L'encodeur de l'enseignant ($E_{\theta_t}$) génère des variables latentes ($z_t^t$) qui, combinées à des observations privilégiées, sont injectées dans un modèle de monde ($W_\omega$) pour prédire l'état privilégié suivant ($\hat{s}_{t+1}$).

• Mécanisme : Une perte de prédiction ($L_{pred}$) est minimisée pour entraîner le modèle de monde et propager les gradients vers l'arrière de l'encodeur de l'enseignant.
• Effet : Cela contraint l'encodeur à conserver les informations essentielles pour la dynamique directe (ex. : géométrie du terrain et friction) plutôt que de les rejeter comme du bruit non pertinent pour les récompenses immédiates. Le modèle de monde est implémenté sous la forme d'un réseau résiduel profond avec des blocs Dense-LayerNorm-Swish pour capturer les dépendances temporelles à longue portée.

2. Encodeur de cible de momentum pour une distillation stable :
   Pour traiter la non-stationnarité de l'encodeur de l'enseignant lors de l'entraînement simultané, le cadre utilise un encodeur de cible de momentum inspiré de BYOL (Bootstrap Your Own Latent).

• Mécanisme : Au lieu que l'étudiant ne régresse pas directement vers l'enseignant en ligne qui change rapidement, il apprend d'un encodeur cible ($E_{\hat{\theta}_s}$) qui maintient une moyenne mobile exponentielle (EMA) de ses propres poids d'étudiant. Une tête de prédicteur est ajoutée à l'étudiant en ligne pour empêcher l'effondrement.
• Effet : Cela fournit des cibles de distillation cohérentes et stables, empênant l'effondrement dimensionnel et permettant à l'étudiant d'apprendre des représentations robustes sensibles à la dynamique à partir de l'historique proprioceptif seul.

3. Conception de la récompense et entraînement :
   La fonction de récompense est augmentée de contraintes spécifiques (plage articulaire, distance de l'empattement, limites de position de la base et équilibre des jambes) pour atténuer des problèmes tels que la dépendance excessive aux hanches et les oscillations du corps observées lors de la montée d'escaliers. L'entraînement utilise un paradigme de l'Enseignant-Étudiant Concurrent (CTS) avec PPO, incorporant une randomisation de domaine à travers différents types de terrains (plat, pentes, marches, irrégulier) et paramètres physiques (masse, friction, gains PD) pour combler le fossé sim-to-real.

Contributions clés

• Régularisation par modèle de monde : L'introduction d'un modèle de monde pour imposer une conscience de la dynamique directe, garantissant que les représentations apprises capturent la géométrie et la dynamique du terrain plutôt que de simplement maximiser les récompenses.
• Distillation stable via des cibles de momentum : L'utilisation d'un encodeur de cible de momentum pour fournir des cibles de distillation stables, empêchant efficacement l'effondrement dimensionnel causé par les mises à jour non stationnaires de l'enseignant.
• Évaluation transparente : L'application de l'analyse en composantes principales (PCA) et de métriques quantitatives (corrélation PC, $R^2$ de sondage linéaire, CCA) pour vérifier que les encodeurs capturent de manière hiérarchique la hauteur du terrain, offrant une vue transparente de la qualité de la représentation.

Résultats expérimentaux
La méthode a été évaluée en simulation (IsaacGym) et sur un robot bipède à roues réel JiaRan.

• Qualité de la représentation : Les visualisations PCA et les métriques quantitatives ont montré que la méthode proposée a atteint une corrélation PC de 0,96 pour la hauteur du terrain dans l'encodeur de l'enseignant et de 0,87 dans l'encodeur de l'étudiant, surpassant de manière significative les ablations sans modèle de monde ou sans cibles de momentum (qui souffraient de représentations entrelacées ou d'effondrement).
• Performance en simulation : Sur divers escaliers continus (largeurs et hauteurs variables jusqu'à 20 cm), DynaWM a atteint des taux de réussite allant jusqu'à 100 % pour des marches de 26 cm de large et 89,3 % pour des marches larges de 20 cm de haut, surpassant les bases comme CTS et RMA.
• Fluidité du mouvement : La méthode a démontré une fluidité de mouvement supérieure (jerk et accélération de la base plus faibles) et une consommation d'énergie comparable à celle de CTS.
• Déploiement en conditions réelles : Lors d'expériences réelles sur des terrains inconnus, incluant des escaliers irréguliers avec des protubérances et des marches continues dépassant les hauteurs d'entraînement, le robot a atteint un taux de réussite de 100 % (5/5 essais) avec un mouvement nettement plus fluide que la base CTS.

Signification et affirmations
L'article affirme que DynaWM comble avec succès l'écart entre l'apprentissage privilégié et le contrôle déployable pour des terrains complexes. En garantissant que l'encodeur capture une géométrie de terrain complète grâce à une régularisation sensible à la dynamique et en stabilisant le processus de distillation, la méthode permet aux robots bipèdes à roues de traverser de longs escaliers continus avec une grande adaptabilité et fluidité. Les auteurs soutiennent que cette approche surmonte les limites des cadres enseignant-étudiant actuels, qui échouent souvent à maintenir la fluidité du mouvement et l'adaptabilité au terrain dans des scénarios d'escaliers continus. Ce travail démontre que la modélisation explicite de la dynamique directe et la génération de cibles stables sont critiques pour un transfert sim-to-real robuste dans la locomotion de type pied-roue.