APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots

Dit paper introduceert APEX, een op deep reinforcement learning gebaseerd systeem dat een mensachtige robot in staat stelt om veilig en autonoom hoge platformen te beklimmen en te verlaten door een geïntegreerd beleid te leren dat verschillende vaardigheden zoals klimmen, kruipen en houdingswijziging combineert, wat resulteert in succesvolle zero-shot simulatie-naar-realiteit overdracht op een Unitree G1.

De kern

Stel je voor dat je een robot hebt die eruitziet als een mens, maar die net zo onhandig is als een baby die voor het eerst probeert te lopen. Normaal gesproken kunnen deze robots wel over oneffen grond lopen, maar als ze tegen een hoge muur of een hoog terras aanlopen, raken ze in paniek. Ze proberen eroverheen te springen, maar dat is gevaarlijk: ze vallen, raken hun motoren kwijt of raken gewond.

Dit paper introduceert APEX, een slimme nieuwe manier om die robots te leren hoe ze hoge obstakels (tot wel 80 cm, dat is hoger dan hun eigen beenlengte!) veilig kunnen beklimmen en afdalen.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: Springen is voor kinderen, klimmen is voor volwassenen

Vroeger leerden we robots om over hoge dingen te springen, net als een kikker. Maar voor een zware robot is springen als een olifant proberen te dansen op een glasplaat: het kost te veel kracht, het is onveilig en het werkt niet voor heel hoge dingen.

De oplossing van APEX: In plaats van te springen, leert de robot zich te gedragen als een klimmer. Net zoals een mens die een ladder beklimt, gebruikt de robot zijn handen, zijn voeten en zijn romp om zich vast te houden en zich omhoog te werken. Het is een gecontroleerde, rustige beweging in plaats van een wilde sprong.

2. De "Ratchet" (De Krans): De slimme beloning

De grootste uitdaging bij het leren van deze klimbewegingen is: Hoe weet de robot dat hij goed bezig is als hij nog niet boven is?

Stel je voor dat je een ratel (een 'ratchet') hebt, zoals die je in een gereedschapskist ziet. Een ratel laat een bout alleen in één richting draaien; als je terugdraait, klikt hij niet.

• Hoe het werkt: De onderzoekers hebben een slimme beloningssysteem bedacht dat werkt als zo'n ratel. De robot krijgt alleen een "goed gedaan"-prikje als hij echt een stap verder komt dan hij ooit eerder was.
• Het effect: Als de robot probeert te springen of terugwiebelt, krijgt hij geen beloning. Hij wordt gedwongen om geduldig te zijn, zijn handen vast te zetten, en dan pas een stap te zetten. Het voorkomt dat de robot "cheat" door heen en weer te wiebelen om punten te scoren. Het leert hem om geduldig en veilig te klimmen.

3. De "Chef-kok" en de "Leerling": Alles in één brein

De robot moet zes verschillende vaardigheden leren:

1. Omhoog klimmen.
2. Omlaag klimmen.
3. Opstaan (vanuit liggend).
4. Gaan liggen (vanuit staand).
5. Wandelen.
6. Kruipen.

In plaats van zes verschillende robots te bouwen, hebben de onderzoekers eerst zes "meesters" (de chefs) getraind om elk van deze taken perfect te doen. Vervolgens hebben ze een "leerling" (het hoofd van de robot) getraind om naar al die chefs te kijken en te leren wanneer hij welke vaardigheid moet gebruiken.

• De analogie: Het is alsof je een chef-kok hebt die alleen pasta kan maken, en een andere die alleen pizza kan bakken. Je traint een nieuwe kok (de leerling) om te weten: "Als de klant pasta wil, roep ik de pastachef. Als de pizza er klaar is, roep ik de pizzachef." De robot doet dit automatisch op basis van wat hij ziet met zijn camera's (LiDAR).

4. De Bruggenbouwer: Van virtueel naar echt

Een groot probleem bij robotleren is dat ze in de computer (simulatie) perfect leren, maar in het echte leven falen omdat de wereld anders voelt (bijvoorbeeld: de camera ziet dingen anders door trillingen).

• De truc: De onderzoekers hebben de robot in de computer laten oefenen met "valse" beelden. Ze voegden ruis toe en maakten de kaart van de wereld onnauwkeurig, alsof de robot een beetje dronken zou zijn.
• Het resultaat: Wanneer de robot daarna in het echt op een Unitree G1 (een echte robot) wordt gezet, voelt hij zich als een vis in het water. Hij heeft al gezien hoe het is om met een slechte kaart te werken, dus hij kan zich aanpassen aan de echte wereld zonder te vallen.

Wat hebben ze bereikt?

De robot (een Unitree G1) kan nu:

• Op een terras van 80 cm klimmen (dat is 114% van zijn eigen beenlengte!).
• Zelf beslissen of hij moet klimmen, kruipen, opstaan of gaan liggen.
• Zelfs als hij een duw krijgt terwijl hij klimt, herstelt hij zich en gaat hij gewoon door.
• Dit werkt zonder dat ze de robot opnieuw hoeven te programmeren voor elke nieuwe situatie (zero-shot).

Kortom: APEX is de kunst van het geduldig klimmen in plaats van wild springen. Het is alsof we een robot hebben getraind om niet als een springkussen te gedragen, maar als een ervaren bergbeklimmer die zijn weg vindt, zelfs als hij struikelt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots", geschreven in het Nederlands.

Titel: APEX: Leren van Adaptieve Traversie van Hoge Platformen voor Humanoid Robots

1. Het Probleem

Hoewel deep reinforcement learning (DRL) de locomotie van humanoid robots op ongelijk terrein aanzienlijk heeft verbeterd, blijven platformen die hoger zijn dan de beenlengte van de robot een grote uitdaging.

• Beperkingen van bestaande methoden: Bestaande systemen vertrouwen vaak op springen (jumping) om op verhoogde structuren te komen. Deze aanpak is echter beperkt tot ongeveer 63% van de beenlengte. Het springen naar veel hogere platformen (bijv. >100% van de beenlengte) vereist enorme impulsieve krachten, wat de actuatoren kan overbelasten en onveilig is voor real-world toepassingen.
• Uitdagingen bij klimmen: Een betrouwbaarder alternatief is full-body klimmen (met handen, torso en benen). Dit vereist echter complexe, contactrijke bewegingen (zoals omhoog klimmen, omlaag klimmen, opstaan en liggen) die moeilijk te leren zijn met DRL. Traditionele beloningsfuncties (zoals snelheids-tracking) zijn niet geschikt voor deze doelgerichte, niet-cyclische taken. Bovendien moet de robot autonoom beslissen welke vaardigheid hij moet uitvoeren en naadloos tussen hen schakelen op basis van waarneming.

2. Methodologie: Het APEX-systeem

APEX is een tweestaps leerframework dat zes verschillende vaardigheden combineert tot één enkel, bewust van de context controller.

A. Generalized Ratchet Progress Reward (De Kerninnovatie)
Om contactrijke, doelgerichte vaardigheden (zoals klimmen) te leren, introduceert het papier een nieuwe beloningsfunctie: de Ratchet Progress Reward.

• Werking: In plaats van een vaste referentietraject te volgen, houdt de beloning bij wat de "beste tot nu toe" (best-so-far) status van de taak is ($x^*_t$).
• Beloning: De agent krijgt alleen een beloning (geen straf) als de huidige staat strikt beter is dan de historische beste staat. Anders krijgt hij een straf (-1).
• Voordelen:
  • Dichte supervisie: Het biedt een signaal bij elke stap, wat essentieel is voor het ontdekken van complexe contactsequenties.
  • Snelheid-onafhankelijk: Het moedigt niet aan om te haasten, waardoor de robot geduldig kan wachten op stabiele contactpunten (bijv. wachten tot een been stevig staat voordat het lichaam omhoog wordt getrokken).
  • Veiligheid: Het voorkomt "retracing" (het heen en weer bewegen om beloning te verzamelen) en zorgt voor veilige, gecontroleerde bewegingen zonder impulsieve krachten.

B. Leerpijplijn en Vaardigheidsintegratie

1. Leer van individuele vaardigheden: Er worden zes vaardigheden getraind via DRL:
   • Full-body maneuvers: Omhoog klimmen, omlaag klimmen, opstaan, liggen.
   • Cyclische locomotie: Wandelen, kruipen.
   • Deze worden getraind met LiDAR-gebaseerde elevatiekaarten en een uitgebreide domeinrandomisatie (inclusief het modelleren van perceptie-artefacten).
2. Perceptie en Sim-to-Real: Om de kloof tussen simulatie en realiteit te overbruggen, wordt een dubbele strategie gebruikt:
   • Simulatie: Injectie van ruis, locatiedrift en "ghost points" (valse obstakels) in de elevatiekaarten tijdens training.
   • Realiteit: Toepassing van filtering en "inpainting" (herstellen van ontbrekende data) op de ruwe LiDAR-kaarten tijdens de deploy.
3. Policy Distillation: Alle zes gespecialiseerde "teacher" policies worden gedistilleerd naar één enkele "student" policy.
   • Er wordt gebruik gemaakt van een "divide-and-conquer" data sampling strategie om te zorgen dat de student alle overgangen tussen vaardigheden (bijv. van klimmen naar lopen) leert.
   • De student policy selecteert autonoom de juiste vaardigheid op basis van lokale geometrie en commando's.

3. Belangrijkste Resultaten

De methode werd getest op een Unitree G1 humanoid robot (29-DoF) in zowel simulatie als de echte wereld.

• Recordhoogte: De robot slaagt erin om platformen van 0,8 meter te traverseren, wat ongeveer 114% van de beenlengte is. Dit is aanzienlijk hoger dan wat met springen mogelijk is.
• Zero-shot Sim-to-Real: De getrainde policy werkt direct op de echte robot zonder extra fine-tuning.
• Robuustheid:
  • De robot slaagt in diverse scenario's, inclusief variaties in platformhoogte (0,6m - 0,8m) en benaderingshoeken (tot ±65°).
  • De robot kan zich aanpassen aan zachte ondergronden (schuim/vinyl) en herstelt snel van zware externe verstoringen (bijv. een schop).
  • Success rates in de realiteit liggen rond de 95-100% voor individuele vaardigheden en complexe sequenties.
• Vergelijking met Baselines: Experimenten tonen aan dat de Ratchet Progress Reward cruciaal is. Andere methoden (zoals snelheid-tracking of afstand-minimalisatie) leiden tot onveilig springen, vastlopen aan de rand van het platform, of het vinden van lokale optima waarbij de robot heen en weer beweegt zonder de taak te voltooien.

4. Bijdragen

1. Een tweestaps leerframework dat contactrijke full-body maneuvers en cyclische locomotie integreert in één controller voor adaptieve traversie van extreme hoogtes.
2. De Generalized Ratchet Progress Reward, die dichte, snelheid-onafhankelijke supervisie biedt voor het leren van veilige, contactrijke maneuvers zonder impulsieve krachten.
3. De eerste humanoid traversie-policy die real-world platformen traveert die hoger zijn dan 114% van de beenlengte, met bewezen robustheid, autonome vaardigheidsselectie en naadloze overgangen.

5. Betekenis en Impact

Dit werk is een belangrijke doorbraak voor de inzetbaarheid van humanoid robots in complexe, menselijke omgevingen (zoals fabrieken, huishoudens of reddingsoperaties) waar verhoogde oppervlakken vaak voorkomen. Het bewijst dat klimmen een veiliger en effectiever alternatief is dan springen voor extreme hoogtes, mits de juiste leerstrategieën (zoals de ratchet reward) en perceptie-robustheid worden toegepast. De systematische aanpak van sim-to-real transfer via perceptie-artefact-modellering biedt ook een blauwdruk voor andere complexe robottoepassingen.