NaviGait: Navigating Dynamically Feasible Gait Libraries using Deep Reinforcement Learning

NaviGait is een hiërarchisch framework dat deep reinforcement learning combineert met trajectoptimalisatie om robuuste en intuïtieve loopbewegingen voor bipedale robots te genereren door bestaande gaits uit een bibliotheek te selecteren en minimaal aan te passen, wat resulteert in snellere training en betere stabiliteit dan bestaande methoden.

De kern

Navigait: De Slimme Dansmeester voor Robots

Stel je voor dat je een robot wilt leren lopen. Dit is een enorm moeilijke klus. Je hebt twee manieren om dit aan te pakken, en beide hebben hun eigen problemen.

Manier 1: De Strakke Dansmeester (Trajectoptimalisatie)
Stel je een dansmeester voor die een perfecte choreografie heeft bedacht. Hij heeft elke stap, elke draai en elke beweging tot in de puntjes uitgewerkt op papier. Als de robot deze "dans" volgt, ziet hij er prachtig en natuurlijk uit.

• Het probleem: Deze dansmeester is erg stijf. Als iemand de robot een duw geeft of als hij op een hobbelig pad loopt, weet de robot niet wat hij moet doen. Hij blijft vastzitten in zijn choreografie en valt om. Hij kan niet improviseren.

Manier 2: De Leren Leerling (Versterkende Leer / RL)
Nu stel je een robot voor die niets weet, maar wel een slimme leerling is. Je laat hem duizenden keren vallen en opstaan. Uiteindelijk leert hij door ervaring hoe hij moet lopen.

• Het probleem: Dit duurt eeuwen. Het is alsof je iemand leert fietsen door hem duizend keer te laten vallen. Bovendien is het heel moeilijk om uit te leggen wat je precies wilt dat hij doet. Soms leert de robot een manier van lopen die wel werkt, maar eruitziet als een gekke dans of onnatuurlijk is. Het is ook moeilijk om te zeggen: "Loop net zo als die andere robot, maar dan sneller."

De Oplossing: NAVIGAIT (De Slimme Regisseur)
De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd NAVIGAIT. Ze hebben de beste eigenschappen van beide methoden samengevoegd.

Je kunt NAVIGAIT zien als een slimme regisseur die werkt met een bibliotheek van perfecte dansen.

1. De Bibliotheek (De Basis):
   De robot heeft een bibliotheek vol met vooraf berekende, perfecte loopbewegingen (gaits). Dit zijn de "dansmeesters" uit Manier 1. Ze zijn wiskundig perfect en zien er natuurlijk uit.

   • Vergelijking: Het is alsof je een enorme verzameling van perfecte dansvideo's hebt, van langzaam wandelen tot snel rennen.

2. De Regisseur (De AI):
   In plaats van dat de robot zelf alles uit het niets moet bedenken, kijkt de AI (de regisseur) naar deze bibliotheek.

   • Stap 1: Kies een dans. Als de robot moet gaan rennen, kiest de regisseur de "rennen"-dans uit de bibliotheek.
   • Stap 2: Ga soepel over. Als de robot van wandelen naar rennen moet, zorgt de regisseur voor een vloeiende overgang tussen de twee dansen, zodat het niet schokkerig oogt.
   • Stap 3: Pas aan (De Residu). Dit is het slimme deel. Als de robot een duw krijgt of over een steen struikelt, hoeft hij niet de hele dans opnieuw te bedenken. De regisseur maakt alleen kleine, snelle aanpassingen (zoals een arm iets anders zwaaien of een been iets sneller zetten) om de robot overeind te houden.

Waarom is dit zo cool?

• Minder vallen, sneller leren: Omdat de robot niet bij nul begint, maar op een perfecte basis bouwt, leert hij veel sneller. Het is alsof je iemand leert fietsen op een fiets met wieltjes, in plaats van op een paard zonder zadel.
• Natuurlijk bewegen: Omdat de basisbewegingen al perfect zijn bedacht, ziet de robot eruit als een mens die loopt, niet als een robot die probeert te lopen.
• Eenvoudig aan te sturen: Voor de programmeur is het makkelijker. Je hoeft niet te raden welke beloningen de robot moet krijgen. Je zegt gewoon: "Gebruik die dans uit de bibliotheek." De robot regelt de rest.
• Stijl veranderen: Wil je dat de robot een andere manier van lopen heeft? Dan hoef je de hele AI niet opnieuw te trainen. Je maakt gewoon een nieuwe bibliotheek met een andere "stijl" (bijvoorbeeld: meer zwaaien met de armen) en de robot leert die nieuwe stijl in een handomdraai.

Kortom:
NAVIGAIT is een systeem dat de stabiliteit en het mooie uiterlijk van wiskundige plannen combineert met de flexibiliteit en aanpassingsvermogen van leren door vallen en opstaan. Het zorgt ervoor dat robots niet alleen stabiel lopen, maar dat ze er ook natuurlijk uitzien en snel kunnen reageren als er iets misgaat, zonder dat ze hun mooie loopstijl verliezen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NAVIGAIT: Navigating Dynamically Feasible Gait Libraries using Deep Reinforcement Learning" in het Nederlands.

Probleemstelling

De paper adresseert de uitdagingen bij het besturen van bipedale (tweebenige) robots in dynamische, ongestructureerde omgevingen. Er bestaat een fundamenteel compromis tussen twee bestaande benaderingen:

1. Trajectoptimalisatie (zoals Hybrid Zero Dynamics - HZD): Deze methoden bieden interpreteerbare, wiskundig onderbouwde looppatronen met stabiliteitsgaranties. Ze zijn echter vaak te traag voor online herplanning en gebrekkig in het afwijzen van externe verstoringen (zoals duwen of oneffen terrein) zonder complexe, handmatig ontworpen regelaars.
2. Versterkingsleer (Reinforcement Learning - RL): RL kan robuuste en adaptieve besturingsbeleid leren, maar vereist vaak ingewikkelde en contra-intuïtieve beloningfuncties (reward design). Dit leidt tot lange trainingstijden, gebrek aan interpreteerbaarheid, en beleid dat soms onnatuurlijk gedrag vertoont of moeilijk aan te passen is aan specifieke loopstijlen.

De kernvraag is: hoe kan men de structuur en voorspelbaarheid van trajectoptimalisatie combineren met de robuustheid en aanpassingsvermogen van RL?

Methodologie: NAVIGAIT

NAVIGAIT is een hiërarchisch framework dat deze twee paradigma's combineert door een residuele RL-politiek te leren die werkt op basis van een offline gegenereerde loopbibliotheek (gait library).

1. Loopbibliotheek en Interpolatie:

• Er wordt een bibliotheek gegenereerd met geoptimaliseerde, fysiek onderbouwde referentielooppatronen voor verschillende snelheden, gemaakt met de FROST-pakket (gebaseerd op HZD en directe collocatie).
• In plaats van een discrete set, wordt de bibliotheek behandeld als een continue ruimte. De auteurs gebruiken Bézier-krommen om naadloos te interpoleren tussen bestaande looppatronen. Dit maakt het mogelijk om willekeurige snelheidscommando's te genereren die vloeiend overgaan van de huidige naar de nieuwe referentie.
• De implementatie is JaX-compatibel, wat toelaat op Just-In-Time compilatie en parallelle simulatie, essentieel voor efficiënt RL-training.

2. Hiërarchische Besturingsarchitectuur:
Het systeem werkt in drie stappen per inferentiestap:

• Selectie: De RL-politiek selecteert een nieuwe referentietrajectorie uit de bibliotheek op basis van de gewenste snelheid.
• Transitie: Er wordt een gladde overgang berekend tussen het huidige looppatroon en de geselecteerde nieuwe referentie (via Bézier-splines).
• Correctie (Residueel Beleid): De RL-politiek leert geen volledige beweging, maar voegt alleen residuen toe:
  • Een residu voor de gewrichtshoeken ($\Delta q$) voor stabilisatie.
  • Een residu voor de snelheidscommando's ($\Delta v$) om de referentie aan te passen aan de werkelijke situatie.
• Deze correcties worden toegevoegd aan de referentie en gevolgd door een lokale PD-regelaar (2000 Hz).

3. Beloning (Reward) en Training:

• De beloningfunctie is aanzienlijk eenvoudiger dan bij conventioneel RL omdat de "goede" beweging al in de bibliotheek zit. De politiek hoeft alleen te leren om te stabiliseren en te volgen.
• De reward bestaat uit termen voor het volgen van referenties, energie-minimalisatie (koppel), en gladheid (beperken van snelle veranderingen in de residuen).
• Training vindt plaats met Proximal Policy Optimization (PPO) in een gesimuleerde omgeving (MuJoCo JaX) met domeinrandomisatie (wrijving, massa, vertragingen) om sim-to-real transfer te faciliteren.

Belangrijkste Bijdragen

1. NAVIGAIT Framework: Een nieuw hiërarchisch systeem dat een bibliotheek van geoptimaliseerde referenties koppelt aan een residuele RL-politiek voor continue modulatie.
2. Open Source Implementatie: De eerste JaX-compatibele implementatie van gladde, continue interpolatie en menging van loopbibliotheken, wat parallelle simulatie mogelijk maakt.
3. Efficiëntie en Interpretatie: Het bewijst dat deze aanpak de trainingsduur verkort, de beloningfunctie vereenvoudigt en resulteert in beleid dat dichter bij de oorspronkelijke referentie blijft (hoge imitatie-accuraatheid).
4. Stijl en Generalisatie: Het toont aan dat men verschillende loopstijlen kan genereren door simpelweg de bibliotheek te vervangen en de RL opnieuw te trainen, zonder de controller-architectuur of reward-weights aan te passen.
5. Hardware Validatie: Succesvolle implementatie op de BRUCE humanoid robot, met bewezen stabiliteit bij externe verstoringen.

Resultaten

De experimenten zijn uitgevoerd op de BRUCE robot (simulatie en hardware) en vergeleken met twee baselines: "Canonical RL" (zonder referenties) en "Imitation RL" (met referenties maar andere architectuur).

• Trainingsnelheid: NAVIGAIT bereikt mijlpalen (zoals in-place stappen, vooruit lopen en verstoringen afwijzen) sneller dan beide baselines. Het vereist minder trainingstijd om stabiel gedrag te bereiken.
• Robuustheid: NAVIGAIT toont vergelijkbare of betere prestaties in het afwijzen van verstoringen (duwen) vergeleken met Imitation RL en significantly beter dan Canonical RL. Het kan matige duwen effectief compenseren door over te schakelen op een ander referentietraject in de bibliotheek.
• Natuurlijkheid en Stijl: De bewegingen van NAVIGAIT blijven dichter bij de oorspronkelijke, menselijke referentiebewegingen (lagere imitatie-error) dan de andere methoden, zelfs tijdens verstoringen.
• Stijlvariatie: Het systeem kan succesvol twee fundamenteel verschillende loopstijlen (bijv. "natuurlijk" vs. "exaggerated hip roll") genereren door alleen de bibliotheek te wijzigen.

Betekenis en Conclusie

NAVIGAIT biedt een schaalbare en generaliseerbare oplossing voor dynamische bipedale locomotie door de sterktes van modelgebaseerde planning (voorspelbaarheid, stijl, snelheid van tuning) te verenigen met de robuustheid van versterkingsleer.

De belangrijkste implicatie is dat het ontkoppelen van hoog-niveau bewegingsgeneratie (via de bibliotheek) en laag-niveau stabilisatie (via RL) leidt tot:

• Snellere training.
• Eenvoudigere beloningontwerp.
• Betere controle over de esthetiek en stijl van de loop.
• Een brug tussen handmatige motion planning en end-to-end learning.

Hoewel de methode beperkt is in het leren van volledig nieuwe, emergente bewegingen (zoals kruisende stappen) omdat deze gebonden zijn aan de bibliotheek, is dit een bewuste afweging voor voorspelbaarheid en veiligheid, wat essentieel is voor toepassingen zoals draagbare robots en animatie.