RL-Augmented MPC for Non-Gaited Legged and Hybrid Locomotion

Deze paper presenteert een hiërarchische besturingsarchitectuur die Reinforcement Learning koppelt aan Model Predictive Control om effectieve, niet-cyclische gangen en hybride locomotie mogelijk te maken op diverse robotplatforms, inclusief succesvolle zero-shot simulatie-naar-realiteit-overdracht op de 120 kg zware Centauro-robot.

De kern

Stel je voor dat je een robot wilt bouwen die kan lopen, rennen en zelfs rollen met wielen, net als een mens of een dier. Het grootste probleem bij het programmeren van zo'n robot is het "timing-probleem": Wanneer moet een poot de grond raken en wanneer moet hij in de lucht zijn?

Vroeger moesten ingenieurs dit van tevoren programmeren (bijvoorbeeld: "altijd 4 stappen per seconde"). Maar de echte wereld is chaotisch. Soms moet je een stap zetten om een obstakel te omzeilen, soms moet je sneller rennen, en soms moet je juist langzaam lopen.

Deze paper beschrijft een slimme nieuwe manier om robots dit zelf te laten leren, zonder dat mensen de stappen hoeven voor te schrijven. Ze noemen het een "Hierarchische RL-MPC Architectuur". Laten we dit vertalen naar een verhaal dat iedereen begrijpt.

De Twee Hoofdrollen: De Chef en de Uitvoerder

Stel je de robot voor als een groot bedrijf met twee belangrijke werknemers:

1. De Chef (De RL-agent / Reinforcement Learning):
   Dit is de slimme, creatieve strateeg. Hij kijkt naar de omgeving en de doelen. Zijn enige taak is twee dingen te beslissen:

   • "Waarheen moeten we gaan?" (Navigatie).
   • "Moeten we nu een stap zetten of rollen?" (Contactplanning).
     Hij leert dit door proberen en fouten maken (trial and error) in een virtuele wereld, net zoals een kind leert lopen door te vallen en weer op te staan. Hij heeft geen vaste regels; hij ontdekt zelf de beste manier om te bewegen.

2. De Uitvoerder (De MPC / Model Predictive Control):
   Dit is de fysieke uitvoerder, de "handen en voeten" van de robot. Hij is een wiskundig genie dat precies weet hoe zwaartekracht, zwaartepunt en spierkracht werken.
   De Chef zegt tegen de Uitvoerder: "Ik wil dat je nu een stap zet met je linkerpoot."
   De Uitvoerder denkt dan: "Oké, maar hoe zet ik die poot precies neer zodat ik niet omval? Hoe hard moet ik duwen?" Hij berekent in milliseconden de perfecte beweging om die opdracht uit te voeren.

Het geheim van deze paper: De Chef hoeft niet te weten hoe de robot fysiek beweegt. Hij hoeft alleen te weten wat hij moet doen. De Uitvoerder zorgt voor de zware wiskunde. Dit maakt het systeem veel flexibeler en sneller dan oude methoden.

De Analogie: Het Besturen van een Auto

Stel je voor dat je een auto bestuurt:

• De Chef is de passagier die zegt: "Ga naar het station, maar pas op voor die kuil!" Hij geeft de richting en het tempo aan.
• De Uitvoerder is de bestuurder (of de cruise control) die precies weet hoe hij het stuur moet draaien, hoe hard hij moet remmen en hoe hij over de kuil moet rijden zonder de auto te beschadigen.

In de oude methoden moest de passagier ook nog vertellen hoe de wielen moesten draaien ("draai 5 graden naar links"). Dat was onhandig en star. In deze nieuwe methode zegt de passagier alleen: "Ga naar links", en de bestuurder regelt de rest.

Wat maakt dit zo speciaal?

1. Geen vaste stappen (Acyclische Gang):
   Normaal gesproken hebben robots een vast ritme: linker-rechter-linker-rechter. Deze robot leert echter dat het soms beter is om twee keer te stappen, dan weer te rollen, dan weer te springen. Hij past zijn gang aan op de situatie. Het is alsof een mens niet alleen loopt, maar ook springt, huppelt en rent, afhankelijk van wat er nodig is.

2. Van Simulatie naar Realiteit (zonder "Domain Randomization"):
   Meestal moet je een robot in de computer laten oefenen in een chaotische wereld (met verschillende gewichten, gladde vloeren, wind) om hem klaar te maken voor de echte wereld. Dit noemen ze "Domain Randomization".
   Deze paper laat zien dat hun robot zonder die chaos direct van de computer naar de echte wereld kan. De robot die in de simulatie leerde, werkt direct op de echte robot (Centauro, een zware humanoïde robot van 120 kg). Het is alsof je iemand in een virtuele game laat vechten en hij daarna direct een echte vechtpartij wint zonder extra training.

3. Hybride Locomotie (Lopen én Rollend):
   De robot in de paper (Centauro) heeft wielen aan zijn voeten én kan lopen. De Chef leert wanneer het slim is om te rollen (snel en energiezuinig) en wanneer het nodig is om te stappen (bijvoorbeeld om een trap op te gaan). Het systeem schakelt moeiteloos tussen deze modi.

De Resultaten in het Kort

• Snelheid: De robot leert in een paar dagen (in de computer) wat anders maanden zou duren.
• Veelzijdigheid: Het werkt op robots van 50 kg tot 120 kg.
• Energiezuinig: Door slim te kiezen tussen rollen en stappen, verbruikt de hybride robot veel minder energie dan een robot die alleen loopt.
• Toekomst: Ze hebben getoond dat de robot zelfs trappen en ongelijk terrein kan beklimmen door de "Chef" ook de hoogte van de stap te laten bepalen.

Conclusie

De auteurs hebben een systeem bedacht waarbij een slimme, lerende "Chef" de grote lijnen bepaalt, en een precieze, wiskundige "Uitvoerder" zorgt dat de robot niet omvalt. Hierdoor kunnen robots leren lopen, rennen en rollen op een manier die veel meer lijkt op natuurlijke beweging, zonder dat mensen duizenden regels code hoeven te schrijven. Het is een grote stap naar robots die echt in onze chaotische wereld kunnen werken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RL-Augmented MPC for Non-Gaited Legged and Hybrid Locomotion" in het Nederlands.

Probleemstelling

De besturing van looprobots (legged robots) en hybride voertuigen (wielen + poten) vereist het dynamisch plannen van contactmomenten (wanneer een poot de grond raakt of loslaat) en navigatie. Traditionele benaderingen vallen in twee categorieën:

1. Model-based (MPC): Model Predictive Control (MPC) is robuust en interpreteerbaar, maar het optimaliseren van contactmomenten leidt tot een complex "Mixed-Integer Nonlinear Programming" (MINLP) probleem. Dit is vaak te rekenintensief voor real-time toepassing, waardoor vereenvoudigde dynamische modellen of heuristieken nodig zijn.
2. Model-free (RL): Reinforcement Learning (RL) kan contactpatronen leren zonder expliciete dynamische modellen, maar deze methoden zijn vaak rekeninefficiënt (veel data nodig), afhankelijk van zware "domain randomization" (willekeurige variatie van simulatie-omgevingen) voor overdracht naar de realiteit, en vereisen veel handmatige beloningstuning.

Het centrale probleem is het vinden van een balans: hoe kan men de flexibiliteit van RL combineren met de stabiliteit en efficiëntie van MPC, zonder vooraf gedefinieerde gangpatronen (zoals draf of galop) te hoeven specificeren?

Methodologie

De auteurs stellen een hiërarchische architectuur voor die een high-level RL-agent koppelt aan een low-level MPC-controller.

1. Hiërarchische Structuur:

   • High-level (RL): Een agent (gebaseerd op Soft Actor-Critic, SAC) leert contactplanning en navigatiecommando's. De agent bepaalt wanneer een vliegfase (flight phase) moet worden ingebracht en stuurt de gewenste basis-twist (snelheid/richting) aan.
   • Low-level (MPC): Een modelgebaseerde controller voert de beweging uit. Deze ontvangt de contactplanning en navigatiecommando's van de RL-agent en lost een optimalisatieprobleem op om de volledige robotdynamiek (rigid-body) te regelen binnen de gegeven contactschema's.

2. Contact-Explicit Planning:

   • In tegenstelling tot "contact-implicit" RL-methoden, gebruikt deze MPC een vooraf gedefinieerd contactschema over de optimalisatiehorizon.
   • De RL-agent injecteert dynamisch nieuwe vliegfases in de MPC-horizon. Dit elimineert de combinatorische last voor de MPC, omdat de agent leert wanneer te stappen, terwijl de MPC leert hoe te bewegen.
   • Het systeem leert acyclische gangpatronen (niet-periodiek) via trial-and-error, wat toelaat dat de robot zich aanpast aan veranderende snelheden en richtingen zonder vaste ritme.

3. Software Framework:

   • Een schaalbaar framework is ontwikkeld dat duizenden MPC-instanties parallel kan draaien op CPU's, terwijl de training op GPU's plaatsvindt.
   • De MPC werkt in een "receding-horizon" modus met real-time iteraties (RTI), waarbij vliegfases op verzoek kunnen worden ingevoegd.

4. Observatie en Actie:

   • De RL-agent ontvangt observaties zoals geschatte snelheid, contactkrachten (van de MPC), en een "health index" van de MPC-oplosser.
   • Er is geen klok-gebaseerde informatie nodig; de agent leert timing via de interactie met de MPC.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Een contact-explicit hiërarchisch systeem dat RL en MPC combineert om acyclische gangpatronen te genereren zonder vooraf gedefinieerde gangen of demonstraties.
• Zero-Shot Transfer: Het systeem presteert uitstekend in simulatie en op echte hardware zonder domain randomization. Dit is een significant voordeel ten opzichte van pure RL-methoden die vaak geforceerde variatie nodig hebben om robuust te zijn.
• Efficiëntie: Door de combinatorische last van contactplanning af te laden op de RL-agent, kan de MPC een volledig rigide lichaam-model gebruiken, wat de nauwkeurigheid en stabiliteit vergroot.
• Schaalbaarheid: Het ontwikkelde softwareframework maakt het mogelijk om duizenden MPC's parallel te draaien, wat de trainingssnelheid aanzienlijk verhoogt.

Resultaten

De methode is gevalideerd op drie verschillende robotplatforms met gewichten variërend van 50 kg tot 120 kg:

1. Platformen: Een vereenvoudigde 50 kg quadruped, een Unitree B2-W (≈80 kg, wielen + poten), en Centauro (120 kg, een hybride humanoïde robot).
2. Simulatie naar Realiteit:
   • Zero-shot Sim-to-Sim: Succesvolle overdracht naar een andere simulator (MuJoCo) zonder aanpassing.
   • Zero-shot Sim-to-Real: Succesvolle implementatie op de echte Centauro-robot voor zowel loop- als hybride (wielen + stappen) taken, zonder domain randomization of fijnafstelling.
3. Gedrag:
   • De robot leert automatisch niet-periodieke contactpatronen. Bijvoorbeeld: bij het vertragen of van richting veranderen, past de robot de stapfrequentie en -duur dynamisch aan (wisseling tussen enkele en dubbele vliegfases).
   • Bij hybride locomotie gebruikt de robot voornamelijk de wielen voor efficiëntie, maar schakelt naadloos over naar stappen om obstakels te overwinnen of de oriëntatie te corrigeren.
   • Energie-efficiëntie: Hybride locomotie toonde een aanzienlijk lagere "Cost of Transport" (CoT ≈ 0.12) vergeleken met puur loopgedrag (CoT ≈ 0.35).
4. Niet-vlak terrein: Het systeem werd succesvol uitgebreid naar een omgeving met stapvormige piramides, waarbij de agent ook de parameters van de vliegfases (hoogte, landingshoogte) kon controleren.

Betekenis en Toekomstperspectief

Dit werk toont aan dat het combineren van RL en MPC een krachtige route is voor robuuste robotlocomotie. De belangrijkste implicaties zijn:

• Robuustheid: Het vermijden van domain randomization maakt de training sneller en de overdracht naar de realiteit betrouwbaarder.
• Adaptiviteit: Het vermogen om acyclische gangen te leren betekent dat robots beter kunnen omgaan met complexe, dynamische taken die geen vast ritme vereisen.
• Generalisatie: De architectuur is platform-onafhankelijk en werkt over een breed spectrum aan robotgroottes en morfologieën.

Toekomstig werk richt zich op het leren van nog generaler beleid dat over verschillende controllers en platforms kan worden overgedragen, en het uitbreiden van de toepassingen naar manipulatie en complexere, ongestructureerde omgevingen.