Technische Samenvatting: Perceptief Humanoid Parkour (PHP)

Probleemstelling

Hoewel recente vooruitgang het mogelijk heeft gemaakt dat humanoïde robots stabiel kunnen lopen op gevarieerd terrein, blijft het nabootsen van de wendbaarheid, aanpassingsvermogen en expressiviteit van zeer dynamische menselijke bewegingen een aanzienlijke uitdaging. Specifiek vereist het uitvoeren van parkour in complexe omgevingen:

1. Robuustheid op laag niveau: Het beheersen van een hoogdimensionale actieruimte voor contactrijke manoeuvres (bijvoorbeeld muren beklimmen, overhogen) binnen fracties van een seconde.
2. Perceptie-gedreven besluitvorming: Het nauwkeurig koppelen van exteroceptie (zicht) aan controle om te adapteren aan omgevingsvariaties en onverwachte verstoringen.
3. Samenstelling van vaardigheden op lange termijn: Het consolideren van diverse, zeer dynamische vaardigheden in één visuo-motorisch beleid dat naadloze overgangen over complexe obstakelbanen mogelijk maakt.

Een primaire bottleneck is de schaarste aan data voor zeer dynamische menselijke bewegingen. Het vastleggen van snelle, contactrijke manoeuvres levert doorgaans spaarzame datasets op (vaak slechts één of twee demonstraties per vaardigheid), die ontoereikend zijn voor het leren van taken op lange termijn die rijke variatie vereisen in aanloopafstanden, timing en soepele overgangen tussen heterogene vaardigheden.

Methodologie

De auteurs presenteren Perceptief Humanoid Parkour (PHP), een modulair raamwerk dat menselijke bewegingspriors, samenstelling van vaardigheden op lange termijn en perceptieve controle integreert. De pijplijn bestaat uit drie hoofdfasen:

1. Adaptieve Samenstelling van Vaardigheden via Motion Matching

Om de dataschaarste en de behoefte aan diverse overgangen aan te pakken, maken de auteurs gebruik van motion matching als een offline synthese-module.

• Atomaire Vaardigheden: Menselijke bewegingsdata wordt met OmniRetarget herdoelgericht op de robot (Unitree G1) overgebracht om een bibliotheek van atomaire parkoervaardigheden te creëren (bijvoorbeeld overhogen, klimmen).
• Samenstelling: In plaats van handmatig overgangen tussen elk paar vaardigheden te ontwerpen, stelt het systeem kinematische trajecten op lange termijn samen door locomotie-segmenten te koppelen aan atomaire vaardigheden in een Locomotie → Vaardigheid → Locomotie-structuur.
• Mechanisme: Motion matching voert een zoekopdracht naar de dichtstbijzijnde buur uit in een kenmerkenruimte (inclusief toekomstig traject, voetposities en wortelsnelheid) om bewegingsfragmenten aan elkaar te naaien. Dit "verdicht" de spaarzame bewegingsbibliotheek en genereert diverse overgangen met variërende aanloopafstanden, koersen en timing.
• Randomisatie: De geometrie en houding van obstakels worden rondom de gesynthetiseerde trajecten gerandomiseerd om het beleid bloot te stellen aan variaties zonder de onderliggende referentiebeweging ongeldig te maken.

2. Teacher-Student Trainingspijplijn

Het raamwerk maakt gebruik van een twee-traps trainingsproces om vaardigheden over te dragen van simulatie naar de realiteit:

• Teacher Training (Privilegiërende RL): Expertbeleidsregels voor enkele vaardigheden worden getraind in simulatie met behulp van Reinforcement Learning (RL) met beloningen voor bewegingstracking. Deze experts ontvangen geprivilegieerde observaties (bijvoorbeeld globale bekkenpositie/-snelheid) om herstelgedrag te leren en drift te corrigeren, wat cruciaal is voor contactrijke taken waar kleine fouten zich snel ophopen.
• Student Distillatie (DAgger + RL): Een enkele, dieptegedreven studentbeleid wordt gedistilleerd uit meerdere teachers. De auteurs betogen dat pure imitatielearning (DAgger) ontoereikend is voor zeer dynamische vaardigheden omdat het niet expliciet voorkeur geeft aan koppelstoten met hoge magnitude die nodig zijn voor succes (bijvoorbeeld de "trek-omhoog"-fase van een klim).
  • Hybride Doelstelling: De student wordt getraind met een gecombineerde verliesfunctie: $L = \lambda_{PPO} L_{PPO} + \lambda_{D} L_{D}$.
  • Rol van RL: Het PPO-component levert een succesgedreven signaal dat de exploitatie van koppelacties met hoge kracht aanmoedigt die nodig zijn om obstakels te overwinnen, terwijl DAgger zorgt voor regularisatie om onnatuurlijk gedrag te voorkomen.
  • Curriculum: Een warmup-cursus verschuift geleidelijk de weging van DAgger naar PPO om de training te stabiliseren.

3. Zero-Shot Sim-naar-Real Overdracht

Het studentbeleid wordt getraind met behulp van aan boord aanwezige dieptebepaling (gesimuleerd via Nvidia WARP) en proprioceptie. Het ontvangt slechts een discrete 2D-snelheidscommando en dieptefoto's, waardoor autonome selectie en uitvoering van vaardigheden (stappen, klimmen, overhogen, rollen) mogelijk is zonder expliciete vaardigheidslabels tijdens de inferentie.

Belangrijkste Bijdragen

1. Efficiënte Kinematische Samenstelling van Vaardigheden: Een pijplijn die herdoelgericht gemaakte menselijke bewegingen koppelt tot diverse trajecten op lange termijn via motion matching, waarmee de schaarste aan data voor dynamische bewegingen wordt overwonnen.
2. Schaalbaar Trainingsraamwerk: Een teacher-student-architectuur die meerdere geprivilegieerde experts distilleert tot één dieptegedreven beleid, gebruikmakend van een hybride DAgger- en RL-doelstelling om te voldoen aan de hoge koppelvereisten van dynamische vaardigheden.
3. Succesvolle Zero-Shot Sim-naar-Real Overdracht: Demonstratie van zeer dynamisch parkour op een fysieke Unitree G1-robot, inclusief het beklimmen van muren tot 1,25 m (96% van de robotlengte) en het traverseren van complexe multi-obstakelbanen met gesloten-lus adaptatie.

Experimentele Resultaten

Het raamwerk werd gevalideerd op een Unitree G1-humanoid (1,3 m lang, 29 DoF's) zowel in simulatie als in de echte wereld.

• Menselijke Wendbaarheid: De robot klom succesvol een muur van 1,25 m in 3,63 seconden, een tempo vergelijkbaar met een menselijke parkourist die dezelfde manoeuvre uitvoert. Het voerde ook een cat-vault uit over een obstakel van 0,4 m met snelheden tot 3,41 m/s en voerde drop-landings uit vanaf 1,25 m.
• Traverseren op Lange Termijn: De robot traverseerde autonoom een 60-seconden durende continue parkoersbaan met meerdere obstakels en vaardigheidsovergangen (stappen, klimmen, overhogen) zonder expliciete supervisie voor multi-obstakels tijdens de training.
• Aanpassingsvermogen: Het systeem toonde gesloten-lus adaptatie aan real-time verstoringen van obstakels (willekeurige verplaatsingen van ~0,5 m), waarbij het de aanlooptiming en de selectie van manoeuvres aanpaste om de traversering te voltooien.
• Ablatiestudies:
  • Dichtheid van Motion Matching: Een hoge-dichtheid dekking van aanloopafstanden was cruciaal; spaarzame data (bijvoorbeeld alleen extreme afstanden) leidde tot falen in intermediaire scenario's.
  • RL in Distillatie: Het verwijderen van het RL-component (alleen DAgger gebruiken) veroorzaakte aanzienlijke prestatiedalingen, vooral bij hoge obstakels waar de robot niet in staat was de noodzakelijke koppelstoten voor de trek-omhoog-fase te genereren.
  • Baselines: De voorgestelde methode presteerde significant beter dan baselines die gebruikmaakten van pure beloningvorming (Velocity Tracking), niet-samengestelde bewegingsdata en end-to-end dieptetraining zonder distillatie.

Betekenis en Beweringen

De paper beweert dat PHP een state-of-the-art aanpak vertegenwoordigt voor wendbaar, adaptief, whole-body parkour in de echte wereld. De betekenis hiervan ligt in:

• Het Overbruggen van de Kloof: Het succesvol overdragen van zeer dynamische, contactrijke menselijke vaardigheden naar humanoïden, een domein waar eerdere werken grotendeels beperkt waren tot minder dynamische taken zoals het beklimmen van trappen of lopen op spaarzaam terrein.
• Data-efficiëntie: Aantonen dat motion matching effectief lange-termijn referenties kan synthetiseren uit spaarzame menselijke data, waardoor het leren van complexe vaardigheidsketens mogelijk wordt zonder enorme datasets.
• Robuustheid: Bewijzen dat een enkel visuo-motorisch beleid autonoom vaardigheden kan selecteren en overgaan tussen diverse vaardigheden op basis van aan boord aanwezige perceptie, en zowel statische als dynamische omgevingsveranderingen aankan.

De auteurs wijzen op beperkingen, waaronder het huidige gebrek aan semantische scenebegrip (alleen gebaseerd op geometrische diepte) en hardware-beperkingen (beperkte handkracht voor extreme klim- of hangmanoeuvres). Zij suggereren dat toekomstig werk rijkere conditioneringssignalen (bijvoorbeeld taal) en verbeterde sensing kan integreren om perceptieve ambiguïteit bij hoge snelheden te verminderen.