ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

Résumé Technique : Priors de Dynamique Adversaire pour la Locomotion Humanoïde Physiquement Fondée

Énoncé du Problème
Le contrôle de la locomotion humanoïde reste nettement plus complexe que le contrôle quadrupède en raison du nombre élevé de degrés de liberté, de la dynamique de base flottante sous-actionnée et de la nécessité de maintenir l'équilibre par des contacts intermittents. Bien que l'apprentissage par renforcement ait réussi à générer des mouvements naturels à l'aide de jeux de données de mouvement, les approches existantes font face à des limites en matière de résilience aux perturbations.

• Suivi Explicite : Les méthodes comme DeepMimic reposent sur le suivi de poses et de phases de référence. Bien qu'efficaces pour la génération de mouvements naturels, elles manquent de flexibilité lorsque des perturbations externes poussent le robot hors de la trajectoire de référence.
• Priors Kinématiques : Les Adversarial Motion Priors (AMP) améliorent la flexibilité en faisant correspondre des distributions de style de mouvement cinématique (poses articulaires, vitesses, états des effecteurs terminaux) plutôt qu'un suivi explicite. Cependant, l'AMP ne régularise pas directement les caractéristiques au niveau de la dynamique (mouvement du centre de masse, moment cinétique du centroïde, forces de contact et états de contact) nécessaires pour un rétablissement efficace de l'équilibre après une poussée. Par conséquent, l'AMP peut récupérer une posture visible tout en laissant une dynamique de rotation sous-amortie ou en échouant à moduler correctement les forces de contact.

Méthodologie : Adversarial Dynamics Priors (ADP)
Les auteurs proposent l'ADP, un cadre qui remplace les caractéristiques de style de mouvement cinématique par des caractéristiques de dynamique sélectionnées comme cible pour la régularisation adversaire. La méthode fonctionne sans suivi explicite des poses ou des phases de référence.

1. Construction du Jeu de Données de Référence ($D_{dyn}$) :

   • Au lieu d'utiliser des données de capture de mouvement complet du corps, les auteurs génèrent un jeu de données de référence en utilisant une Optimisation de Trajectoire (TO) basée sur la Dynamique de Corps Rigide Unique (SRBD).
   • Le problème de TO minimise l'écart par rapport aux vitesses commandées tout en pénalisant le moment cinétique angulaire du centroïde excessif et les forces de contact, sous réserve de la cohérence SRBD, de l'activation des contacts et des contraintes de cône de frottement.
   • Ce processus produit des trajectoires de locomotion physiquement fondées (marche, course, virages, pas latéraux) qui satisfont la dynamique de niveau SRBD. À partir de celles-ci, des quantités dynamiques (mouvement du CoM, moment cinétique du centroïde, forces de contact, indicateurs de contact) sont extraites pour former la distribution de référence.

2. Représentation des Caractéristiques de Dynamique :

   • L'ADP définit un vecteur de caractéristiques de dynamique par pas de temps $z_t$ contenant : la vitesse du CoM dans le référentiel de cap, le moment cinétique du centroïde, le taux de moment angulaire plan, les forces de contact au pied normalisées et les indicateurs de contact binaires.
   • Pour gérer les commandes variables, l'entrée du discriminateur est conditionnée par la commande de vitesse et l'erreur de suivi instantanée, alignant la distribution de référence avec la tâche actuelle.
   • Crucialement, la méthode utilise une fenêtre temporelle ($\Xi_t$) de ces caractéristiques plutôt que des pas de temps uniques. Cela permet au discriminateur de capturer les motifs temporels essentiels à la récupération, tels que le changement de contact, la modulation de force et la récupération du moment.

3. Entraînement Adversaire :

   • Un discriminateur est entraîné pour distinguer les fenêtres échantillonnées à partir du jeu de données de référence dérivé de la SRBD ($D_{dyn}$) et les fenêtres générées par le déploiement de la politique ($\Xi^\pi_t$).
   • La politique est optimisée à l'aide de l'Optimisation de Politique Proximale (PPO) avec une récompense totale comprenant :
     • $r^G_t$ : Récompense de tâche (locomotion).
     • $r^D_t$ : Récompense de prior de dynamique adversaire, dérivée de la sortie du discriminateur. Cette récompense encourage les caractéristiques de dynamique induites par la politique à rester proches de la distribution de référence.
     • $r^R_t$ : Termes de régularisation.
   • La politique apprend à récupérer des perturbations en maintenant ses caractéristiques de dynamique à l'intérieur du support de la distribution de référence, sans être forcée de suivre des poses articulaires spécifiques.

Contributions Clés

1. Adversarial Dynamics Priors (ADP) : L'introduction d'une méthode qui utilise des caractéristiques de dynamique (CoM, moment, forces de contact) pour la régularisation adversaire au lieu de caractéristiques cinématiques, éliminant ainsi le besoin de suivi de pose ou de phase de référence.
2. Représentation de Dynamique Sensible aux Perturbations : Une formulation de caractéristiques dynamiques temporelles qui expose les transitoires induits par les poussées (dans le moment et les forces de contact) de manière plus directe et rapide que les caractéristiques cinématiques au niveau des articulations.
3. Évaluation de la Récupération des Perturbations : Validation complète en simulation et sur matériel démontrant que l'ADP améliore la récupération des perturbations de l'humanoïde par rapport au RL Vanille, l'AMP et les bases de comparaison de correspondance de caractéristiques dynamiques directes.

Résultats Expérimentaux
Les auteurs ont évalué l'ADP sur un robot humanoïde à 29 DoF (Unitree G1) en simulation et ont fourni des démonstrations qualitatives sur matériel. L'évaluation a comparé l'ADP au RL Vanille, à l'AMP et à une base de "Récompense de Dynamique" (qui utilise la correspondance de caractéristiques point par point sans discriminateur adversaire).

• Récupération des Perturbations : Sous des impulsions de vitesse externes (jusqu'à 4,5 m/s), l'ADP a atteint un seuil d'impulsion de succès 80% ($J_{80}$) de 115,5 N·s, soit une amélioration de 16,7 % par rapport à la base la plus forte (AMP, 99,0 N·s).
• Métriques de Récupération : Comparé à l'AMP, l'ADP a réduit le temps de récupération moyen directionnel de 47,9 % (de 4,76s à 2,48s) et l'erreur de suivi de vitesse de 35,4 % (de 1,30 m/s à 0,84 m/s).
• Sensibilité de la Représentation : L'analyse a montré que la représentation dynamique proposée détectait les transitoires induits par la perturbation 20 ms après l'impact (atteignant 6,0x la déviation de la base), tandis que la représentation cinématique mettait 160 ms (atteignant 4,3x la déviation).
• Études d'Ablation :
  • Le retrait du moment angulaire du centroïde a réduit le taux de succès à 45,3 %.
  • Le retrait des indicateurs de contact (état de contact binaire) a causé la dégradation la plus significative, faisant chuter le taux de succès à 30,5 % et augmentant le temps de récupération à 8,82s, soulignant le rôle critique du timing de contact dans l'alignement.
  • Une longueur de fenêtre temporelle de $K=8$ a été jugée optimale, équilibrant le besoin de contexte temporel (changement de contact) et la stabilité de l'entraînement.

Signification et Revendications
L'article affirme que l'ADP répond avec succès à la limitation des priors cinématiques dans la récupération des perturbations en régularisant la politique au niveau de la dynamique. En exploitant les trajectoires dérivées de la SRBD comme une distribution de référence pour les caractéristiques de dynamique, la méthode encourage la politique à apprendre des comportements de récupération qui sont physiquement fondés (cohérents avec les contraintes de moment et de contact) sans la rigidité du suivi de mouvement explicite.

Les auteurs notent que bien que l'ADP améliore la robustesse, il n'impose pas explicitement la naturalité du mouvement au niveau des articulations. Ils suggèrent que les travaux futurs pourraient combiner les priors de dynamique et de cinématique pour atteindre à la fois robustesse et naturalité. De plus, l'article reconnaît que la comparaison avec l'AMP a utilisé la même source de référence dérivée de la TO pour l'équité, plutôt qu'un baseline AMP basé sur des données de capture de mouvement de haute qualité, laissant la caractérisation de l'écart entre les priors dérivés de la TO et ceux basés sur la mocap pour des investigations futures.