Résumé Technique : Apprentissage Efficace d'une Locomotion Robuste basée sur le Couple par l'Apprentissage par Renforcement avec Supervision Basée sur Modèle

Problématique

L'apprentissage de politiques de locomotion efficaces basées sur le couple pour les robots bipèdes demeure un défi majeur. Bien que le contrôle par couple permette des comportements réactifs et compliants, il nécessite une gestion précise de la dynamique complexe et non linéaire. L'apprentissage direct de la politique au niveau du couple est particulièrement difficile en présence d'incertitudes du monde réel, telles que l'incertitude de contact, le bruit des capteurs, les délais d'actionnement et les dynamiques non modélisées (ex: friction articulaire, flexibilités structurelles).

Les méthodes de contrôle traditionnelles basées sur des modèles (ex: planification de trajectoire DCM avec Contrôle de Corps Entier/WBC) reposent sur des modèles de système précis. Cependant, leurs performances se dégradent lorsque les écarts entre le modèle et le système physique deviennent substantiels. À l'inverse, les approches de Deep Reinforcement Learning (DRL) purement fondées sur les données, bien que robustes aux erreurs de modélisation via la randomisation de domaine, souffrent souvent d'une inefficacité des données, d'une sensibilité à la conception des récompenses et d'un manque d'interprétabilité ou de garanties de sécurité. Les stratégies hybrides existantes reposent souvent uniquement sur des signaux de récompense, nécessitant de nombreuses itérations par essais et erreurs et offrant une guidance limitée durant l'entraînement.

Méthodologie

Les auteurs proposent un cadre de contrôle qui intègre la locomotion bipède basée sur un modèle avec l'apprentissage par renforcement résiduel (RL), enrichi par un nouveau mécanisme de supervision basé sur un modèle. L'architecture se compose de trois composants principaux :

1. Politique de Base ($\pi_b$) : Un contrôleur basé sur un modèle comprenant un planificateur de trajectoire de Composante Divergente du Mouvement (DCM) et un Contrôleur de Corps Entier (WBC) basé sur la dynamique inverse. Cette politique opère sous un modèle de dynamique inexact et des observations d'état bruitées, servant de fondation fiable mais imparfaite.
2. Politique Oracle ($\pi^*$) : Un contrôleur basé sur un modèle ayant accès à des informations "privilégiées" sur le système, incluant la dynamique réelle du robot, l'état vrai (sans bruit) et les paramètres moteurs (ex: délais d'actionnement, efficacité). Cette politique génère des actions correctives idéales sous des conditions randomisées, mais n'est utilisée que durant l'entraînement en tant que superviseur.
3. Politique de RL Résiduelle ($\pi_r$) : Une politique apprenable entraînée via l'Optimisation de Politique Proche (PPO) pour produire des commandes de couple résiduelles compensant les inexactitudes de la Politique de Base.

Composants Techniques Clés :

• Randomisation de Domaine : L'environnement d'entraînement randomise le bruit des capteurs, la dynamique du robot (masse, friction, amortissement, efficacité moteur) et les facteurs environnementaux (friction du sol, irrégularités) pour exposer la politique à la variabilité du monde réel.
• Apprentissage par Renforcement Supervisé : Contra-rent à l'apprentissage par renforcement standard qui repose uniquement sur le façonnage de récompenses, ce cadre introduit un terme de perte supervisée ($L_{sup}$). La politique résiduelle est explicitement guidée pour imiter les actions correctives de l'Oracle.
  • La perte totale est une somme pondérée : $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$.
  • La perte supervisée encourage la politique à attribuer une probabilité élevée à l'action résiduelle de l'Oracle ($\tau^*_t - \tau^b_t$).
• Espace d'Observation : La politique utilise un réseau de neurones récurrent (LSTM) pour traiter un historique d'observations bruitées (états articulaires, couples de la politique de base, erreurs de suivi). Le réseau critique utilise en plus des observations privilégiées (états vrais, couples de l'Oracle) pour une estimation plus précise de la valeur durant l'entraînement.

Principales Contributions

L'article présente quatre contributions principales :

1. Cadre de Contrôle Intégré : Une nouvelle architecture combinant la fiabilité structurée du contrôle basé sur un modèle avec l'adaptabilité du RL résiduel pour atténuer les inexactitudes du modèle.
2. Politique Oracle Basée sur Modèle : L'introduction d'une politique Oracle qui exploite des informations privilégiées pour générer des signaux de contrôle quasi-optimaux, servant de superviseur pour le processus d'apprentissage.
3. Objectif de RL Supervisé : Un cadre d'entraînement qui incorpore les actions de l'Oracle dans une perte supervisée, complétant l'objectif de RL standard pour améliorer l'efficacité de l'apprentissage sans dépendre exclusivement du façonnage de récompenses.
4. Validation Multi-Plateforme : Évaluations exhaustives sur trois robots bipèdes distincts (Kangaroo, Unitree H1-2 et Bruce), démontrant la robustesse et la généralisation à travers différentes plateformes matérielles sans réglage spécifique des paramètres.

Résultats

La méthode a été évaluée sur les robots Kangaroo, Unitree H1-2 et Bruce sous une randomisation de domaine étendue ($\beta=1$).

• Performance vs Baselines :
  • Oracle (O) : A atteint un taux de succès de 100 % sur toutes les plateformes avec des erreurs de suivi minimales, validant son rôle de superviseur efficace.
  • Politique de Base (B) : A totalement échoué (0 % de succès) sous randomisation, soulignant la fragilité du contrôle standard basé sur le modèle sans adaptation.
  • RL Résiduel Standard (ResRL) : A montré de faibles performances (0-10 % de succès), peinant à apprendre la locomotion par couple sans guidance explicite.
  • Apprentissage par Imitation (IL) : A performé de manière satisfaisante sur Kangaroo (70-100 % de succès) mais a peiné sur Bruce (80 % de succès), suggérant une sensibilité à la fiabilité de l'Oracle dans des régimes dynamiques spécifiques.
  • Méthode Proposée (BOR - Base + Oracle Residual) : A atteint 100 % de succès sur Kangaroo et H1-2, et 80 % sur Bruce. Elle a significativement surpassé le ResRL standard et l'IL pur, approchant la performance de l'Oracle en termes de suivi de DCM et de pied.
• Robustesse à l'Incertitude : Testée avec différents niveaux de randomisation ($\beta \in [0.1, 0.7]$), la méthode proposée a maintenu un taux de succès de 100 %, tandis que le contrôleur basé sur le modèle (MBC) standard a échoué de manière significative à mesure que l'incertitude augmentait.
• Efficacité de l'Entraînement : L'approche supervisée a convergé vers un taux de succès de plus de 80 % en seulement 1 500 épisodes (environ 4,16 heures de simulation), alors que le RL résiduel standard ne montrait que peu de progrès dans les mêmes conditions.
• Généralisation : Le cadre a transféré avec succès vers des terrains accidentés et différentes morphologies de robots sans ré-ajustement, démontrant sa capacité à apprendre des comportements adaptatifs qui vont au-delà de la simple imitation de l'Oracle.

Signification et Revendications

L'article affirme que cette approche comble efficacement le fossé entre le contrôle basé sur un modèle et le RL fondé sur les données. En intégrant des priors basés sur le modèle avec une adaptation basée sur les données, la méthode offre une solution scalable pour le transfert sim-to-real dans la locomotion bipède.

Les auteurs soulignent que le cadre améliore l'efficacité de l'apprentissage et la robustesse en utilisant l'Oracle pour guider la politique vers des comportements correctifs sans nécessiter un ingénierie complexe des récompenses. Ils notent que bien que l'Oracle fournisse un signal de supervision fort, la composante RL est cruciale pour explorer des actions qui s'écartent de l'Oracle lorsque nécessaire (ex: dans des conditions hautement stochastiques ou sur des terrains accidentés où la planification basée sur le modèle de l'Oracle peut être sous-optimale). Ce travail démontre que l'apprentissage par renforcement supervisé constitue une solution efficace, robuste et transférable pour le contrôle de la locomotion par couple dans les robots humanoïdes.