Résumé Technique : Stubborn – Un cadre d'apprentissage par renforcement unifié pour le suivi de mouvement et la récupération de chute des humanoïdes

1. Énoncé du problème

Les progrès récents de l'apprentissage par renforcement (RL) ont amélioré le suivi de mouvement et la récupération de chute des humanoïdes, pourtant des défis importants subsistent pour unifier ces capacités. Les approches actuelles traitent généralement le suivi de mouvement et la récupération de chute comme des tâches distinctes, nécessitant un entraînement à plusieurs étapes, des récompenses de récupération spécialisées ou des politiques de récupération séparées. De plus, l'entraînement standard par RL emploie souvent une « terminaison stricte » (hard termination), où les épisodes se terminent immédiatement en cas d'échec grave de suivi (par exemple, une chute). Cette conception limite la capacité de l'agent à explorer des comportements de récupération dans des états instables ou de chute, car le signal d'apprentissage est coupé avant que la récupération ne puisse être tentée. De plus, les données d'entraînement échantillonnées uniformément sous-représentent souvent les segments de mouvement difficiles et les états instables, entravant l'exploration par la politique de stratégies de récupération robustes.

2. Méthodologie : Le cadre Stubborn

Les auteurs proposent Stubborn, un cadre de RL rationalisé et unifié, conçu pour entraîner une politique unique capable d'un suivi de mouvement robuste et d'une récupération de chute autonome. Le cadre repose sur une architecture Acteur-Critique asymétrique et intègre trois composants techniques fondamentaux :

A. Représentation de suivi alignée sur le lacet (Yaw-Aligned)

Pour atténuer la sensibilité à la dérive globale et aux perturbations de cap tout en préservant les informations d'équilibre liées à la gravité, Stubborn adopte une représentation de suivi alignée sur le lacet. Cette approche élimine la rotation de cap globale de la référence de mouvement, permettant à la politique de se concentrer sur la dynamique corporelle relative plutôt que sur la correction des écarts de translation et de cap absolus après des perturbations.

B. Mécanisme de Terminaison Probabiliste (PT) basé sur Bernoulli

Au lieu de terminer de manière déterministe un épisode lorsque les erreurs de suivi dépassent un seuil, Stubborn emploie un mécanisme de terminaison de Bernoulli conditionnel.

• Mécanisme : Lorsque l'erreur de hauteur de la racine ($e_{root,z}$) ou l'erreur d'orientation ($e_{root}$) dépasse des seuils prédéfinis, l'épisode se termine avec une probabilité spécifiée par l'utilisateur ($p_{term}$) plutôt qu'immédiatement.
• Raisonnement : Cela crée une « fenêtre de récupération » probabiliste. Si l'épisode continue, la politique est encouragée à explorer des actions résilientes et à apprendre des comportements de récupération émergents sans nécessiter de conceptions de récompenses auxiliaires spécifiques à la récupération.
• Paramétrage : La probabilité de terminaison est dérivée des contraintes physiques de récupération. Avec une fréquence de contrôle de 50 Hz et un temps de récupération physique cible de 4 secondes, les étapes de survie attendues sont fixées à 200 ($p_{term} = 0,005$). Cela garantit que >99 % des épisodes instables se terminent avant la limite maximale d'étapes, atténuant la distorsion de la différence temporelle (TD) tout en permettant suffisamment de temps pour l'exploration de la récupération.

C. Terminaison probabiliste et échantillonnage adaptatif piloté par l'erreur de suivi

Sous le mécanisme PT, la terminaison de l'épisode n'est plus un indicateur fiable de la difficulté du segment en raison de la terminaison stochastique. Pour y remédier, les auteurs proposent une stratégie d'échantillonnage adaptative pilotée par la performance de suivi en ligne :

• Mise à jour des poids : Le poids d'échantillonnage des trames de référence est remodelé dynamiquement en fonction de l'erreur moyenne de suivi des points clés ($\bar{e}$) de l'épisode actuel.
• Logique :
  • Si l'erreur moyenne est élevée ($\bar{e} \ge \theta_{success}$), les poids des trames concernées sont augmentés pour donner la priorité à ces segments difficiles.
  • Si un épisode se termine prématurément malgré une erreur faible, les poids sont redistribués pour se concentrer sur les segments spécifiques où la terminaison a eu lieu.
  • Si un épisode atteint sa longueur maximale avec une erreur faible, les poids sont légèrement décimés pour éviter un sur-entraînement sur les segments faciles.
• Objectif : Cette stratégie augmente la fréquence d'entraînement pour les segments de mouvement difficiles et les états instables, améliorant l'efficacité de l'apprentissage sans dépendre des statistiques de terminaison stricte.

3. Contributions clés

Le document expose trois contributions principales :

1. Apprentissage de politique unifié : Une politique unique qui atteint un suivi de mouvement robuste et une récupération de chute sans contrôleurs de récupération distincts ou entraînement multi-étapes.
2. Terminaison douce basée sur Bernoulli : Un mécanisme qui encourage l'apprentissage d'actions résilientes dans des états instables, synthétisant des comportements de récupération émergents sans ingénierie de récompense spécialisée.
3. Stratégie d'échantillonnage adaptative : Une nouvelle distribution d'échantillonnage qui ajuste dynamiquement les poids en fonction des erreurs de suivi et de la terminaison probabiliste, ciblant efficacement les segments de mouvement difficiles et les états de récupération.

4. Résultats expérimentaux

Le cadre a été évalué sur le robot humanoïde Unitree G1 à 29 degrés de liberté en simulation (IsaacLab/MuJoCo) et en conditions réelles, en utilisant des mouvements issus des jeux de données LAFAN1 et AMASS.

Performance de suivi de mouvement

Comparé aux bases de référence de l'état de l'art (HoloMotion, Any2Track, BFM-Zero, et une base RL de départ), Stubborn a obtenu une précision de suivi supérieure :

• MPBPE (Erreur de position de la racine) : Réduite de 62,68 mm (From-scratch) à 48,85 mm.
• MPJVE (Erreur de vitesse articulaire) : Réduite de 887,87 rad/s à 624,03 rad/s.
• La méthode a démontré une performance stable avec des écarts types plus faibles sur l'ensemble du jeu de données LAFAN1.

Robustesse et récupération de chute

Des études d'ablation sous de fortes perturbations externes (5 m/s) ont démontré l'efficacité des composants proposés :

• Terminaison Probabiliste (PT) : Le cadre complet Stubborn a atteint un taux de succès de récupération de 100 % pour les seuils strict (0,15 m) et modéré (0,25 m). En revanche, la variante sans PT (w/o PT) n'a atteint respectivement que 77,5 % et 85,0 %. La variante PT a également convergé plus rapidement et a nécessité moins d'étapes de récupération.
• Échantillonnage Adaptatif (AdpS) : L'inclusion de la stratégie d'échantillonnage adaptatif a permis de réduire davantage les erreurs de position, de vitesse et d'accélération articulaires, particulièrement lors des phases intermédiaire et tardive de l'entraînement.

Déploiement en monde réel

Les expériences en monde réel sur le robot Unitree G1 ont confirmé la capacité de la politique à suivre des mouvements dynamiques divers (incluant des sauts périlleux et de l'acrobatie), à résister aux perturbations et à récupérer des chutes dans des environnements physiques.

5. Signification et affirmations

L'article affirme que Stubborn représente une étape significative vers l'unification du suivi de mouvement et de la récupération de chute au sein d'un cadre unique et rationalisé. En exploitant les transitions naturelles vers les états de chute plutôt qu'en les évitant, le cadre permet un suivi de haute fidélité et une robustesse sans la complexité architecturale d'un entraînement multi-étapes ou de politiques de récupération séparées. Les auteurs soutiennent que le mécanisme de terminaison probabiliste et la stratégie d'échantillonnage adaptatif sont les principaux moteurs des gains de performance observés tant en simulation qu'en déploiement réel.

Le travail conclut en notant que bien que le cadre actuel soit efficace, les efforts futurs se concentreront sur l'amélioration de l'agilité et de la fluidité des mouvements de récupération après des chutes sévères et sur l'extension du cadre à des terrains plus exigeants.