Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

Résumé technique : Apprentissage de politiques dynamiques pour robot à pattes via un pré-entraînement sur modèle simplifié et un transfert inspiré par l'homotopie de modèle

Énoncé du problème
Générer des mouvements hautement dynamiques pour les robots à pattes demeure un défi important en raison de l'interaction complexe entre le moment cinétique du corps, l'inertie des membres et les forces de contact. Bien que l'apprentissage par renforcement (RL) ait montré des promesses, l'entraînement de politiques pour des comportements complexes nécessite souvent une ingénierie de récompense exhaustive ou des démonstrations d'experts de haute qualité, deux processus gourmands en ressources. Inversement, les approches utilisant des modèles d'ordre réduit (par exemple, des modèles de corps rigide unique ou modèles SRB) offrent un entraînement plus rapide et une conception de récompense plus simple, mais souffrent d'un « écart de modèle » lors du transfert vers la dynamique du corps complet. Le transfert direct entraîne souvent de l'instabilité, une convergence sous-optimale ou un échec complet de la reproduction des comportements appris dans le monde réel en raison des divergences de dynamique, particulièrement concernant l'inertie des membres et les interactions de contact.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par continuation qui comble l'écart entre les modèles simplifiés et la dynamique du corps complet à travers deux étapes principales :

1. Pré-entraînement sur modèle simplifié (Pré-entraînement SRB) :
   La politique est d'abord pré-entraînée dans un environnement idéalisé utilisant un modèle de corps rigide unique (SRB). Dans ce modèle, le robot est approximé comme un corps rigide flottant avec des membres sans masse et des contacts ponctuels idéaux. Les entrées de contrôle sont des forces de réaction au sol (GRF) pendant la phase dater (stance) et des cibles de balancement résiduelles pendant la phase de balancement (swing). Cette étape permet à la politique d'apprendre efficacement les motifs de mouvement fondamentaux (tels que le contrôle du moment cinétique du corps) sans la charge computationnelle et l'instabilité de la dynamique du corps complet. L'environnement utilise des plans de contact prédéfinis et des trajectoires de balancement nominales (par exemple, des courbes de Bézier) pour structurer l'apprentissage de tâches spécifiques telles que les gaits, les saltos et les manœuvres assistées par un mur.

2. Transfert inspiré par l'homotopie de modèle (MHIT) :
   Pour transférer la politique SRB pré-entraînée vers l'environnement du corps complet, les auteurs introduisent un chemin de continuation paramétrique. Au lieu d'un saut direct, ils définissent un paramètre de transition continu $\lambda \in (0, 1]$.

• Transition paramétrique : Le système redistribue progressivement la masse et l'inertie entre le tronc et les membres. À $\lambda \approx 0$, les membres ont une masse négligeable (modèle SRB) ; à mesure que $\lambda$ augmente vers 1, les membres acquièrent leur masse et leur inertie complètes, tandis que la masse du tronc est ajustée pour maintenir une masse totale constante.
• Stratégie de continuation : La politique est entraînée le long de ce chemin, en partant de $\lambda = 0,01$ et en augmentant progressivement jusqu'à $\lambda = 1,0$ sur 900 itérations. Cela permet à la politique de s'adapter à des dynamiques de plus en plus complexes tout en restant dans des régions de haute probabilité de succès.
• Conversion d'action : Lors du transfert, les sorties de GRF de la politique SRB sont converties en couples articulaires à l'aide des transposées de la Jacobienne pendant la phase de stance, tandis que le contrôle PD dans l'espace de tâche suit les cibles de pied pendant la phase de balancement.
• Estimation d'état : Puisque les informations privilégiées (vélocité linéaire réelle et états de contact) sont disponibles en simulation mais pas dans la réalité, un réseau d'estimation concomitant (MLP) est entraîné pour inférer ces états à partir de l'historique proprioceptif, permettant ainsi le déploiement sim-to-real.

Contributions clés

• Cadre basé sur la continuation : L'article présente un nouveau cadre qui intègre le pré-entraînement sur modèle simplifié avec une stratégie de transfert inspirée de l'homotopie de modèle pour générer et affiner efficacement des mouvements dynamiques complexes.
• Chemin de transition principalisé : Les auteurs introduisent un chemin de transition paramétrique spécifique qui interpole les propriétés inertielles entre les modèles SRB et corps complet. Cette approche démontre une amélioration de la vitesse de convergence et de la stabilité de l'apprentissage par rapport aux baselines de transfert direct ou d'apprentissage par imitation.
• Validation sur des tâches complexes et matériel réel : La méthode est validée sur un ensemble diversifié de tâches dynamiques exigeantes, incluant des saltos arrière (backflips), des saltos latéraux (sideflips), des rotations de lacet (yaw spins) et des manœuvres assistées par un mur (sauts et virages). Les politiques apprises sont déployées avec succès sur un robot quadrupède réel Unitree Go1.

Résultats

• Performance en simulation : Dans les études comparatives contre le Transfert Direct (DT), le Transfert par Imitation (IT) et le RL Vanille, la méthode MHIT proposée a démontré la convergence la plus rapide et les résultats d'apprentissage les plus cohérents. Par exemple, pour la tâche de salto arrière assisté par un mur, MHIT a convergé deux fois plus vite que l'IT et a obtenu un rendement normalisé supérieur de 19,0 %. Elle a également montré une stabilité supérieure, avec une variation de performance nettement plus faible entre les différentes graines aléatoires par rapport au DT.
• Robustesse : Les politiques MHIT ont montré une plus grande robustesse aux perturbations de force et de couple externe par rapport aux politiques IT, grâce à la préservation des comportements réactifs appris lors du pré-entraînement et à la capacité d'explorer un espace d'états plus large sans les contraintes de terminaison précoce utilisées dans l'apprentissage par imitation.
• Déploiement en conditions réelles : Sur le robot Unitree Go1, la politique MHIT a exécuté avec succès un salto arrière, une tâche où la politique SRB directe a échoué en raison d'un moment cinétique angulaire insuffisant causé par l'inertie non modélisée des membres. La politique transférée a atteint un taux de réussite de 90 % sur 10 essais consécutifs et a démontré une précision de suivi de vélocité supérieure (RMSE plus faible) par rapport à la politique SRB non raffinée.

Signification
L'article affirme que sa principale signification réside dans la fourniture d'un processus de raffinement efficace et stable pour combler l'écart de modèle entre la dynamique simplifiée et celle du corps complet sans dépendre de démonstrations d'experts coûteuses. En exploitant une stratégie de continuation, le cadre permet la découverte de comportements optimaux qui surpassent les limitations du guidage initial simplifié. Le déploiement réussi sur du matériel réel démontre l'applicabilité pratique de cette approche pour générer des comportements de locomotion quadrupède complexes et dynamiques, difficiles à atteindre uniquement avec le RL de bout en bout ou les méthodes de suivi hiérarchique standard. Les auteurs notent que bien que l'approche actuelle repose sur des séquences de contact prédéfinies, le cadre offre un point de départ évolutif prometteur pour des travaux futurs visant à automatiser les calendriers de contact et à s'adapter à diverses morphologies de robots.