Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

Probleemstelling

Een van de grootste uitdagingen in de humanoid-robotica is het ontwerpen van een universele interface voor het aansturen van diverse hele-lichaamsgedragingen. Traditionele benaderingen vereisen vaak handmatig ontworpen, gespecialiseerde controllers voor specifieke taken (zoals staan, lopen, manipuleren of imiteren). Dit leidt tot een gefragmenteerd systeem dat:

1. Moeilijk uit te breiden is.
2. Geen naadloze overgangen tussen taken toelaat.
3. Verschillende verwerkingspijplijnen vereist voor verschillende inputmodaliteiten (zoals snelheidscommando's, motion capture-data, video-demonstraties of joystick-signalen).

Het ontbreekt aan een geünificeerde representatie die het mogelijk maakt om robotgedrag te specificeren via een mix van volledig gespecificeerde trajecten en deels gespecificeerde instructies (bijvoorbeeld alleen het bovenlichaam of alleen de voetstappen), terwijl het systeem tegelijkertijd robuust blijft tegen verstoringen en simulatie-realistiek-kloven overbrugt.

Methodologie: De Masked Humanoid Controller (MHC)

De auteurs introduceren de Masked Humanoid Controller (MHC), een geleerde controller die een unificerende interface biedt voor multi-modale humanoid-controle.

1. Representatie en Interface:
De kern van de MHC is het concept van gemaskerde doeltrajecten. In plaats van een specifieke controller per taak, specificeert de gebruiker een toekomstige pose-traject ($\hat{q}$) waarbij bepaalde dimensies van de staat variabelen (bijv. gewrichtshoeken, snelheden) worden "gemaskerd" (geïgnoreerd).

• De controller ontvangt een directive $d = (\hat{q}, I)$, waarbij $I$ een binaire masker is die aangeeft welke delen van het lichaam moeten worden gevolgd.
• De controller moet de "ontbrekende stukken" (de gemaskerde gewrichten) autonoom invullen om balans en stabiliteit te behouden.
• Dit ondersteunt diverse modaliteiten: joystick-gebaseerd lopen (alleen romp-snelheid), bovenlichaam-imitatie (alleen bovenlichaam gespecificeerd), of volledige imitatie.

2. Netwerkarchitectuur:

• Het model is een LSTM (Long Short-Term Memory) recurrente neurale netwerk.
• Input: De huidige proprioceptieve staat van de robot ($s_t$) en de volgende stap van de directive ($d_i$).
• Verwerking: De directive wordt eerst verwerkt door een feed-forward encoder tot een embedding, die wordt geconcentreerd met de robotstaat en door de LSTM wordt gevoerd om temporale informatie vast te leggen.
• Output: Een offset voor elk geactiveerd gewricht, die wordt opgeteld bij de doelwaarden om de uiteindelijke PD-setpoints voor de motoren te genereren.

3. Training en Curriculum Learning:
De MHC wordt getraind via Reinforcement Learning (PPO) in de MuJoCo-simulatieomgeving met een Digit V3 humanoid-model. Een cruciaal onderdeel is het gebruik van een driefasig curriculum om robuustheid en vaardigheidsopbouw te garanderen:

• Fase 1 (Locomotion): Focus op basisbalans en lopen. Alleen willekeurige locomotie-directives (geen bovenlichaam). Introductie van korte, sterke stootkrachten.
• Fase 2 (Stabiliteit): Focus op herstel van stabiliteit tijdens lopen. Continuere stootkrachten en langere episode-tijden.
• Fase 3 (Whole-Body Directives): Training op zowel volledig gespecificeerde als deels gespecificeerde directives (locomotie + bovenlichaam, alleen bovenlichaam, etc.).

4. Sim-to-Real Transfer:
Om de kloof tussen simulatie en de echte wereld te overbruggen, wordt Domeinrandomisatie (Domain Randomization) toegepast. Dit omvat het randomiseren van parameters zoals gewrichtsdemping, massa's, zwaartepunten, encoder-ruis en wrijving. Dit zorgt ervoor dat de policy generaliseert naar de fysieke robot zonder uitgebreide fijnafstelling.

5. Beloningsfunctie (Reward Function):
De beloningsfunctie combineert:

• Taakbeloning: Volgen van de commando's.
• Stijlbeloning: Natuurlijke houdingen (alleen toegepast als het onderlichaam niet expliciet wordt gespecificeerd).
• Regulatie: Soepele bewegingen en lage koppel.
• Tracking-beloning: Een exponentiële straal voor het volgen van de niet-gemaskerde gewrichten in de directive.

Belangrijkste Resultaten

De auteurs evalueren de MHC zowel in simulatie als op de echte Digit V3 humanoid-robot.

1. Simulatie-resultaten:

• Vergelijking met Baselines: De MHC presteert aanzienlijk beter dan state-of-the-art controllers (zoals SaW voor lopen/staan) en specifieke imitatie-baselines (OffsetBlind, OffsetAware).
• Foutpercentages: De MHC bereikte een faalpercentage van < 1% (0,45%) bij imitatie-taken, vergeleken met 49% voor een naive baseline en 4,8% voor een aware-baseline.
• Generalisatie: Modellen getraind op grotere datasets (combinaties van verschillende motion-capture bronnen) presteerden beter, zelfs op datasets waar ze niet specifiek op waren getraind, wat de generalisatiekracht aantoont.
• Curriculum Effectiviteit: Een model getraind zonder curriculum (MHCNC) faalde veel vaker bij lopen en imitatie, wat aantoont dat de gefaseerde aanpak essentieel is voor het leren van complexe vaardigheden.

2. Real-World Resultaten (Digit V3):

• De MHC werd succesvol getransfereerd naar de fysieke robot.
• Demonstraties: De robot slaagde erin om diverse taken uit te voeren via één enkele controller:
  • Lopen met joystick-commando's.
  • Volledige lichaams-imitatie (bijv. boksen).
  • Loco-manipulatie: Een doos oppakken, ermee lopen en neerzetten, waarbij het bovenlichaam de doos vasthoudt en de benen automatisch de balans houden.
• Prestaties: Hoewel de fouten in de echte wereld iets hoger waren dan in simulatie (5% faalpercentage op de testset), toonde de controller aan dat hij robuust is tegen verstoringen en in staat is om complexe, niet-triviale taken uit te voeren.

Bijdragen en Significantie

1. Unificatie van Controle: Het paper introduceert een uniek raamwerk waarbij één enkele geleerde controller diverse inputmodaliteiten (van joystick tot motion capture) kan verwerken via een gemaskerde representatie. Dit elimineert de noodzaak voor complexe schakelaars tussen verschillende controllers.
2. Robuustheid en Generalisatie: Door middel van een zorgvuldig ontworpen curriculum en domeinrandomisatie, bereikt de MHC een hoge mate van stabiliteit en het vermogen om nieuwe bewegingen te generaliseren die niet exact in de trainingsdata stonden.
3. Sim-to-Real Succes: Het paper demonstreert een van de eerste succesvolle implementaties van een dergelijke multi-modale, hele-lichaam controller op een echte, dynamische humanoid (Digit V3) die zowel locomotie als manipulatie combineert.
4. Flexibiliteit voor Toekomstige Toepassingen: De aanpak maakt het mogelijk om nieuwe bewegingsvoorbeelden toe te voegen zonder de controller volledig opnieuw te hoeven trainen, wat de ontwikkeling van veelzijdige humanoïde robots aanzienlijk versnelt.

Kortom, dit werk biedt een fundamentele doorbraak in het controleren van humanoïde robots door een flexibele, leerbare interface te bieden die de complexiteit van het schakelen tussen verschillende gedragsmodi voor de ontwikkelaar wegneemt.