ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

Technische Samenvatting: Adversarial Dynamics Priors voor Fysiek Gegronde Humanoid Locomotie

Probleemstelling
De controle van humanoïde locomotie blijft aanzienlijk uitdagender dan die van quadrupedale controle vanwege de hoge mate van vrijheidsgraden, onderbediende zwevende basisdynamica (underactuated floating-base dynamics) en de noodzaak om balans te behouden door middel van intermitterende contacten. Hoewel op beweging gebaseerde controle succesvol is in het genereren van natuurlijke bewegingen met behulp van bewegingsdatasets, kampen bestaande benaderingen met beperkingen wat betreft de veerkracht tegen verstoringen.

• Expliciete Tracking: Methoden zoals DeepMimic vertrouwen op het volgen van referentieposes en fasen. Hoewel dit effectief is voor het genereren van natuurlijke bewegingen, ontbreekt het aan flexibiliteit wanneer externe verstoringen de robot wegsturen van het referentietraject.
• Kinematische Priors: Adversarial Motion Priors (AMP) verbeteren de flexibiliteit door kinematische bewegingsstijl-distributies (gewrichtsposes, snelheden, eindeffector-toestanden) te matchen in plaats van expliciete tracking. Echter, AMP reguleert niet direct kenmerken op dynamisch niveau (bijv. beweging van het zwaartepunt (CoM), middelpuntzoekende impuls (centroidal momentum), contactkrachten en contacttoestanden) die vereist zijn voor effectief herstel van de balans na een duw. Bijgevolg kan AMP weliswaar de zichtbare houding herstellen, maar laat het ondergedempte rotationele dynamica ongemoeid of faalt het in het correct moduleren van contactkrachten.

Methodologie: Adversial Dynamics Priors (ADP)
De auteurs stellen ADP voor, een framework dat kinematische bewegingsstijl-kenmerken vervangt door geselecteerde dynamische kenmerken als doelwit voor adversariële regularisatie. De methode werkt zonder expliciete tracking van referentieposes of fasen.

1. Constructie van de Referentie Dataset ($D_{dyn}$):

   • In plaats van volledige full-body motion capture data te gebruiken, genereren de auteurs een referentie dataset met behulp van Single-Rigid-Body-Dynamics (SRBD) gebaseerde Trajectory Optimization (TO).
   • Het TO-probleem minimaliseert de afwijking van de gevraagde snelheden terwijl het excessieve middelpuntzoekende impulsmoment en contactkrachten bestraft, onderhevig aan SRBD-consistentie, contactactivatie en wrijvingskegelbeperkingen.
   • Dit proces levert fysiek gegronde locomotietrajecten op (wandelen, rennen, draaien, zijwaartse stappen) die voldoen aan de SRBD-niveau dynamica. Hieruit worden dynamische grootheden (CoM-beweging, middelpuntzoekend impulsmoment, planaire impulsmoment-snelheid, voetcontactkrachten, contactindicatoren) geëxtraheerd om de referentiedistributie te vormen.

2. Representatie van Dynamische Kenmerken:

   • ADP definieert een tijdstap-niveau dynamische kenmerkvector $z_t$ bestaande uit: CoM-snelheid in het heading-frame, middelpuntzoekend impulsmoment, planaire impulsmoment-snelheid, genormaliseerde voetcontactkrachten en binaire contactindicatoren.
   • Om variërende commando's af te handelen, wordt de input van de discriminator geconditioneerd op het snelheidscommando en de instantane trackingfout, waardoor de referentiedistributie wordt uitgelijnd met de huidige taak.
   • Cruciaal is dat de methode een tijdsvenster ($\Xi_t$) van deze kenmerken gebruikt in plaats van enkelvoudige tijdstappen. Dit stelt de discriminator in staat om temporele patronen te vangen die essentieel zijn voor herstel, zoals contactschakeling, krachtmodulatie en impulsmomentherstel.

3. Adversariële Training:

   • Een discriminator wordt getraind om vensters te onderscheiden die gesampled zijn uit de SRBD-afgeleide referentie dataset ($D_{dyn}$) en vensters die gegenereerd worden door de policy rollout ($\Xi^\pi_t$).
   • De policy wordt geoptimaliseerd met Proximal Policy Optimization (PPO) met een totale beloning bestaande uit:
     • $r^G_t$: Taakbeloning (locomotie).
     • $r^D_t$: Adversariële dynamische prior beloning, afgeleid van de output van de discriminator. Deze beloning stimuleert de policy om de geïnduceerde dynamische kenmerken dicht bij de referentiedistributie te houden.
     • $r^R_t$: Regularisatietermen.
   • De policy leert te herstellen van verstoringen door de dynamische kenmerken binnen de ondersteuning (support) van de referentiedistributie te houden, zonder gedwongen te worden een specifieke gewrichtspose te volgen.

Belangrijkste Bijdragen

1. Adversarial Dynamics Priors (ADP): De introductie van een methode die dynamische kenmerken (CoM, impulsmoment, contactkrachten) gebruikt voor adversariële regularisatie in plaats van kinematische kenmerken, waardoor de noodzaak voor referentiepose- of fasetracking wordt geëlimineerd.
2. Verstoringgevoelige Dynamische Representatie: Een formulering van temporele dynamische kenmerken die transiënten door verstoringen (in impulsmoment en contactkrachten) directer en sneller blootlegt dan gewrichtsniveau kinematische kenmerken.
3. Evaluatie van Verstoringherstel: Uitgebreide simulatie en hardwarevalidatie die aantoont dat ADP de herstelcapaciteit van humanoids bij verstoringen verbetert ten opzichte van Vanilla RL, AMP en directe dynamische kenmerk-matching baselines.

Experimentele Resultaten
De auteurs evalueerden ADP op een 29-DoF humanoïde robot (Unitree G1) in simulatie en leverden kwalitatieve hardwaredemonstraties. De evaluatie vergeleken ADP met Vanilla RL, AMP en een "Dynamics Reward" baseline (die gebruik maakt van puntgewijze kenmerkmatching zonder een adversariële discriminator).

• Herstel bij Verstoring: Onder externe snelheidsimpulsen (tot 4,5 m/s) bereikte ADP een 80%-succes impuls drempel ($J_{80}$) van 115,5 N·s, een verbetering van 16,7% ten opzichte van de sterkste baseline (AMP, 99,0 N·s).
• Herstelmetrieken: Vergeleken met AMP verminderde ADP de richting-gemiddelde hersteltijd met 47,9% (van 4,76s naar 2,48s) en de snelheidstrackingfout met 35,4% (van 1,30 m/s naar 0,84 m/s).
• Representatiesensitiviteit: Analyse toonde aan dat de voorgestelde dynamische representatie verstoring-geïnduceerde transiënten detecteerde 20 ms na impact (bereikend 6,0x baseline afwijking), terwijl de kinematische representatie 160 ms nodig had (bereikend 4,3x afwijking).
• Ablatie-studies:
  • Het verwijderen van middelpuntzoekend impulsmoment verminderde het succespercentage tot 45,3%.
  • Het verwijderen van contactindicatoren (binair contacttoestand) veroorzaakte de meest significante degradatie, waarbij het succespercentage daalde naar 30,5% en de hersteltijd toenam tot 8,82s, wat de cruciale rol van contacttiming in uitlijning benadrukt.
  • Een temporele vensterlengte van $K=8$ bleek optimaal, waarbij een balans werd gevonden tussen de behoefte aan temporele context (contactschakeling) en trainingsstabiliteit.

Betekenis en Claims
Het artikel claimt dat ADP succesvol de beperking van kinematische priors bij verstoringherstel aanpakt door de policy op dynamisch niveau te reguleren. Door gebruik te maken van SRBD-afgeleide trajecten als een referentiedistributie voor dynamische kenmerken, stimuleert de methode de policy om herstelgedrag te leren dat fysiek gegrond is (consistent met impulsmoment en contactbeperkingen) zonder de rigiditeit van expliciete bewegingstracking.

De auteurs merken op dat hoewel ADP de robuustheid verbetert, het niet expliciet de natuurlijkheid van gewrichtsbewegingen afdwingt. Zij suggereren dat toekomstig werk zowel dynamische als kinematische priors zou kunnen combineren om zowel robuustheid als natuurlijkheid te bereiken. Daarnaast erkent het artikel dat de vergelijking met AMP dezelfde TO-afgeleide bron gebruikte voor eerlijkheid, in plaats van een hoogwaardige motion-capture-gebaseerde AMP baseline, waardoor de karakterisering van het gat tussen TO-afgeleide en mocap-gebaseerde priors een onderwerp voor toekomstig onderzoek blijft.