Technische Samenvatting: Stubborn – Een verenigd Reinforcement Learning-framework voor humanoïde bewegingsvolging en valherstel

1. Probleemstelling

Recente vooruitgang in reinforcement learning (RL) heeft de bewegingsvolging (motion tracking) en het herstel van vallen bij humanoïden verbeterd, maar er blijven aanzienlijke uitdagingen bestaan bij het verenigen van deze capaciteiten. Huidige benaderingen behandelen bewegingsvolging en valherstel doorgaans als afzonderlijke taken, wat meerfasige training, gespecialiseerde herstelbeloningen of aparte herstelpolicies noodzakelijk maakt. Bovendien gebruikt standaard RL-training vaak "harde terminatie", waarbij episodes onmiddellijk eindigen bij ernstig falen van de bewegingsvolging (bijv. een val). Dit ontwerp beperkt het vermogen van de agent om herstelgedrag te verkennen in instabiele of gevallen toestanden, omdat het leersignaal wordt afgebroken voordat herstel kan worden geprobeerd. Daarnaast ondervertegenwoordigen uniform gesamplede trainingsdata vaak moeilijke bewegingssegmenten en instabiele toestanden, wat de exploratie van robuuste herstelstrategieën door de policy belemmert.

2. Methodologie: Het Stubborn-framework

De auteurs stellen Stubborn voor, een gestroomlijnd en verenigd RL-framework ontworpen om een enkele policy te trainen die in staat is tot robuuste bewegingsvolging en autonoom herstel van vallen. Het framework is gebouwd op een asymmetrische Actor-Critic-architectuur en integreert drie kerntechnische componenten:

A. Yaw-gealigneerde trackingrepresentatie

Om de gevoeligheid voor globale drift en koersverstoringen te verminderen terwijl informatie over de zwaartekrachtgerelateerde balans behouden blijft, hanteert Stubborn een yaw-gealigneerde trackingrepresentatie. Deze aanpak verwijdert de globale rotatie rond de yaw-as uit de referentiebeweging, waardoor de policy zich kan concentreren op relatieve lichaamsdynamica in plaats van het corrigeren voor absolute translatie- en koersafwijkingen na verstoringen.

B. Bernoulli-gebaseerd probabilistisch terminatiemechanisme (PT)

In plaats van een episode deterministisch te beëindigen wanneer de fouten in de tracking een drempelwaarde overschrijden, gebruikt Stubborn een conditioneel Bernoulli-terminatiemechanisme.

• Mechanisme: Wanneer de fout in de hoogte van de root ($e_{root,z}$) of de oriëntatiefout ($e_{root}$) vooraf gedefinieerde drempelwaarden overschrijdt, eindigt de episode met een door de gebruiker opgegeven waarschijnlijkheid ($p_{term}$) in plaats van onmiddellijk.
• Rationale: Dit creëert een probabilistisch "herstelvenster". Als de episode doorgaat, wordt de policy aangemoedigd om veerkrachtige acties te verkennen en emergent herstelgedrag te leren zonder dat hiervoor hulpbronnen voor specifieke herstelbeloningen nodig zijn.
• Parametrisering: De terminatiekans is afgeleid van fysieke herstelbeperkingen. Met een besturingsfrequentie van 50 Hz en een beoogde fysieke hersteltijd van 4 seconden, worden de verwachte overlevingsstappen ingesteld op 200 ($p_{term} = 0,005$). Dit zorgt ervoor dat >99% van de instabiele episodes eindigt vóór de maximale staplimiet, wat TD-distortie (temporal difference distortion) minimaliseert terwijl voldoende tijd wordt geboden voor het verkennen van herstel.

C. Probabilistische terminatie en trackingfout-gestuurde adaptieve sampling

Onder het PT-mechanisme is episode-terminatie niet langer een betrouwbare indicator voor de moeilijkheidsgraad van een segment vanwege de stochastische terminatie. Om dit aan te pakken, stellen de auteurs een adaptieve samplingstrategie voor die wordt aangestuurd door online bewegingsvolgingsprestaties:

• Gewichtsupdate: Het samplinggewicht van referentiekaders wordt dynamisch herschapen op basis van de gemiddelde keypoint trackingfout ($\bar{e}$) van de huidige episode.
• Logica:
  • Als de gemiddelde fout hoog is ($\bar{e} \ge \theta_{success}$), worden de gewichten voor de betrokken kaders verhoogd om deze moeilijke segmenten prioriteit te geven.
  • Als een episode vroegtijdig eindigt ondanks een lage fout, worden de gewichten herverdeeld om te focussen op de specifieke segmenten waar de terminatie plaatsvond.
  • Als een episode de maximale lengte bereikt met een lage fout, worden de gewichten licht verlaagd om overtraining op gemakkelijke segmenten te voorkomen.
• Doel: Deze strategie verhoogt de trainingsfrequentie voor moeilijke bewegingssegmenten en instabiele toestanden, wat de leer-efficiëntie verbetert zonder afhankelijk te zijn van harde terminatiestatistieken.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. Verenigde Policy-lering: Een enkele policy die robuuste bewegingsvolging en herstel van vallen bereikt zonder aparte herstelcontrollers of meerfasige training.
2. Bernoulli-gebaseerde zachte terminatie: Een mechanisme dat de policy aanmoedigt om veerkrachtige acties te leren in instabiele toestanden, waardoor emergent herstelgedrag wordt gesynthetiseerd zonder gespecialiseerde beloningsengineering.
3. Adaptieve Samplingstrategie: Een nieuw samplingdistributie dat dynamisch wordt aangepast op basis van online trackingfouten en probabilistische terminatie, waardoor moeilijke bewegingssegmenten en hersteltoestanden effectief worden getarget.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de 29-DoF Unitree G1 humanoïde robot in zowel simulatie (IsaacLab/MuJoCo) als in de echte wereld, gebruikmakend van bewegingen uit de LAFAN1- en AMASS-datasets.

Prestaties van Bewegingsvolging

Vergeleken met state-of-the-art baselines (HoloMotion, Any2Track, BFM-Zero en een From-scratch RL baseline) behaalde Stubborn een superieure trackingnauwkeurigheid:

• MPBPE (Root Positie Fout): Verminderd van 62,68 mm (From-scratch) naar 48,85 mm.
• MPJVE (Joint Velocity Fout): Verminderd van 887,87 rad/s naar 624,03 rad/s.
  De methode vertoonde een stabiele prestatie met lagere standaarddeviaties over de volledige LAFAN1-dataset.

Robuustheid en Herstel van Vallen

Ablatiestudies onder sterke externe verstoringen (5 m/s) toonden de effectiviteit van de voorgestelde componenten aan:

• Probabilistische Terminatie (PT): Het volledige Stubborn-framework behaalde een herstelsuccespercentage van 100% bij zowel strikte (0,15 m) als matige (0,25 m) drempelwaarden. In contrast behaalde de variant zonder PT (w/o PT) respectievelijk 77,5% en 85,0%. De PT-variant convergeerde ook sneller en vereiste minder herstelstappen.
• Adaptieve Sampling (AdpS): De inclusie van de adaptieve samplingstrategie verminderde verder de gewrichtspositie-, snelheid- en acceleratiefouten, met name in de middelste en latere stadia van de training.

Implementatie in de Werkelijkheid

Experimenten in de echte wereld op de Unitree G1 bevestigden het vermogen van de policy om diverse dynamische bewegingen te volgen (inclusief flips en acrobatiek), verstoringen te weerstaan en te herstellen van vallen in fysieke omgevingen.

5. Betekenis en Claims

Het artikel beweert dat Stubborn een belangrijke stap vormt naar het verenigen van bewegingsvolging en herstel van vallen binnen één enkel, gestroomlijnd framework. Door natuurlijke overgangen naar valtoestanden te benutten in plaats van ze te vermijden, bereikt het framework een hoge getrouwheid in tracking en robuustheid zonder de architecturale complexiteit van meerfasige training of aparte herstelpolicies. De auteurs stellen dat het voorgestelde probabilistische terminatiemechanisme en de adaptieve samplingstrategie de primaire drijfveren zijn van de geobserveerde prestatiewinsten in zowel simulatie als real-world deployment.

Het werk concludeert door te merken dat hoewel het huidige framework effectief is, toekomstige inspanningen zich zullen richten op het verbeteren van de behendigheid en vloeiendheid van herstelbewegingen na ernstige vallen en het uitbreiden van het framework naar meer uitdagende terreinen.