Model-Based Reinforcement Learning Exploits Passive Body Dynamics for High-Performance Biped Robot Locomotion

Probleemstelling

De ontwikkeling van looprobots (bipeden) wordt belemmerd door de complexiteit van de dynamica van benen. Deze systemen zijn hybride (de vergelijkingen veranderen afhankelijk van of een been in de lucht of op de grond is) en tijdens het rennen zijn ze onder-geactiveerd (alle benen in de lucht). Traditionele leerbenaderingen bouwen beweging vaak "vanaf nul" op, wat leidt tot hoge controlekosten, lange leertijden en inefficiënte bewegingen met hoge krachten.

Hoewel menselijke en dierlijke locomotie efficiënt is door het gebruik van complexe spier-skeletsystemen en dynamische interacties (zoals attractoren en stabiele limietcycli), is het onduidelijk hoe robots deze principes moeten implementeren. Er is een gebrek aan inzicht in hoe passieve eigenschappen van het robotlichaam (zoals veren en hoge terugkoppelbaarheid) het leerproces en de uiteindelijke prestaties beïnvloeden.

Methodologie

De auteurs onderzochten het effect van passieve dynamica op het leren van locomotie door twee verschillende robotmodellen te bouwen en te trainen in de simulator MuJoCo, gebruikmakend van Model-Based Deep Reinforcement Learning (specifiek het DreamerV2-algoritme).

1. De Robotmodellen:

   • Passief Model: Gebaseerd op een bio-mechanisch ontwerp met passieve elementen. Dit omvat lineaire actuators (die spieren zoals de vastus en gastrocnemius nabootsen) gekoppeld aan veren en dempers, plus torsieveer-achtige elementen bij de enkel en voet. De heup wordt aangedreven door een BLDC-motor met een lage reductie (hoge terugkoppelbaarheid). Dit model benut de passieve dynamica van het lichaam.
   • Torque Model (Vergelijkingsmodel): Een standaard humanoid-model zonder passieve elementen. De lineaire actuators en veren zijn vervangen door hoog-reducerende servomotoren (Dynamixel) met lage terugkoppelbaarheid en hoge viscositeit om passief gedrag te elimineren.
   • Beide modellen hebben identieke morfologie, massa en traagheidseigenschappen, maar verschillen fundamenteel in hun aandrijfsysteem en passieve eigenschappen.

2. Leerproces:

   • Input: De toestand van de robot wordt waargenomen via een monochroom camera-afbeelding (64x64 px) vanuit een achterste hoek.
   • Actie-ruimte: Discrete waarden voor koppel (torque) en krachten. De benen bewegen in tegenfase.
   • Beloning (Reward): Een functie gebaseerd op de horizontale snelheid (doel: 1,5 m/s voor lopen, 2,5 m/s voor rennen) en de hoogte van het bekken (straf voor vallen).
   • Training: Beide modellen werden getraind met identieke hyperparameters en beloningsfuncties om een eerlijke vergelijking mogelijk te maken.

3. Evaluatie:

   • Vergelijking van leercursussen en convergentie naar periodieke trajecten (visualisatie via UMAP).
   • Analyse van energie-efficiëntie (werk verricht door de actuators).
   • Robuustheidstesten op hellingen (opwaarts en afwaarts) zonder aanpassing van het model.

Belangrijkste Resultaten

1. Leersnelheid vs. Convergentie:

   • Het Torque Model leerde sneller en bereikte sneller hoge beloningen. Het gebruikte hoge koppels om direct beweging te genereren.
   • Het Passieve Model had aanvankelijk lagere beloningen en een langzamere convergentie. Dit kwam doordat het model in het begin vaak "vastliep" in stabiele vaste punten die overeenkwamen met vallen. Echter, door de aanwezigheid van attractoren (stabiele limietcycli) in de fysica van het systeem, convergeerde het passieve model uiteindelijk naar zeer stabiele, periodieke bewegingspatronen.

2. Kwaliteit van Locomotie:

   • Passief Model: Produceerde zachte, gebogen bewegingen in de gewrichten. Bij het rennen buigden de knieën om energie op te slaan (vergelijkbaar met mensen), en bij het lopen fungeerde het been als een omgekeerde slinger. De bewegingen waren kwalitatief meer natuurlijk.
   • Torque Model: Produceerde stijve, rigide bewegingen met grote staplengtes en minder natuurlijke gewrichtsflexie.

3. Energie-efficiëntie:

   • Het passieve model was aanzienlijk energiezuiniger.
     • Lopen: ~17 kJ (passief) vs. ~64 kJ (torque).
     • Rennen: ~16,5 kJ (passief) vs. ~155 kJ (torque).
   • De passieve elementen (veren) hielpen bij het opslaan en teruggeven van energie, wat de last op de actuators verlaagde.

4. Robuustheid:

   • Op afwaartse hellingen bleek het passieve model uitzonderlijk robuust; het kon net zo goed lopen als op vlakke grond dankzij de interactie tussen het lichaam en de grond. Het torque model viel vaak terug of kon niet vooruit.
   • Op opwaartse hellingen presteerden beide modellen slechter dan op vlakke grond, maar het torque model kon soms verder komen door actief energie toe te voegen via de motoren.
   • De ervaring met vallen in de vroege trainingsfase van het passieve model (door de hoge terugkoppelbaarheid) hielp het wereldmodel (world model) om een breder scala aan dynamische situaties te leren, wat resulteerde in een robuustere controller.

Bijdragen en Significantie

• Validatie van Embodiment: Het paper demonstreert dat de fysieke eigenschappen van een robot (embodiment), met name passieve dynamica, een cruciale rol spelen in het leren van locomotie. Het is niet alleen een kwestie van een betere controller, maar van het ontwerpen van een lichaam dat dynamisch interactie aangaat.
• Attractor-gedreven Leren: Het onderzoek toont aan dat robots die passieve eigenschappen hebben, efficiënter kunnen leren door gebruik te maken van de natuurlijke limietcycli van het systeem, zelfs als dit het leerproces aanvankelijk vertraagt.
• Efficiëntie en Robuustheid: Robots met passieve elementen bereiken een veel hogere energie-efficiëntie en zijn robuuster tegen veranderingen in terrein (zoals hellingen) zonder dat de controller specifiek voor die situaties getraind hoeft te worden.
• Toekomst voor Embodied AI: De studie suggereert dat voor toekomstige geavanceerde AI met lichamen, het combineren van passieve fysieke eigenschappen (veren, hoge terugkoppelbaarheid) met model-gebaseerd reinforcement learning de meest veelbelovende route is voor het realiseren van geavanceerde, mensachtige locomotie.

Conclusie: Hoewel het trainen van een robot met passieve dynamica langer duurt en moeilijker is in de beginfase, resulteert het in een superieure, energiezuinige en robuuste locomotie die beter benut maakt van de fysieke interactie met de omgeving dan traditionele, stijve robotontwerpen.