Safe Navigation of Bipedal Robots via Koopman Operator-Based Model Predictive Control

Deze paper presenteert een veilig navigatiekader voor bipedale robots dat een door deep reinforcement learning getraind locomotiebeleid combineert met een op de Koopman-operator gebaseerde lineaire dynamische voorspelling in een verheven ruimte, waardoor een modelvoorspellende regelaar (MPC) nauwkeurigere trajecten en verbeterde veiligheid in dichte omgevingen kan bereiken.

De kern

Hoe we een robot-humanoïde veilig door een labyrint krijgen: Een verhaal over "verheven" denkvermogen

Stel je voor dat je een tweebenige robot (een humanoïde) wilt leren lopen door een smal gangpad vol obstakels. Dit klinkt simpel, maar voor een robot is dit net zo moeilijk als voor een mens om te wandelen terwijl hij blind is en zijn eigen benen niet goed voelt. De bewegingen van zo'n robot zijn niet-lineair: dat is een moeilijke woord voor "onvoorspelbaar en chaotisch". Als je de robot een klein beetje stuurt, kan hij plotseling struikelen, vallen of tegen een muur lopen.

Dit artikel van Kim en zijn collega's vertelt hoe ze dit probleem oplossen met een slimme combinatie van twee ideeën: leren door ervaring en wiskundige vereenvoudiging.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Basis: De "Automatische Piloot" (Deep Reinforcement Learning)

Eerst hebben de onderzoekers een soort "automatische piloot" voor de robot gebouwd. Ze hebben de robot in een virtuele wereld (een computerspel) laten lopen en vallen, duizenden keren. Door Deep Reinforcement Learning (leren door beloning en straf) heeft de robot geleerd hoe hij zijn benen moet bewegen om rechtop te blijven.

• De analogie: Denk aan een baby die leren lopen. Hij valt vaak, maar leert uiteindelijk hoe hij zijn evenwicht moet houden zonder na te denken over elke spierbeweging. Deze "baby-robot" kan nu prima lopen, maar hij weet nog niet hoe hij een labyrint moet navigeren zonder te botsen.

2. Het Probleem: De "Zwarte Doos"

Het probleem is dat de manier waarop deze robot loopt, een "zwarte doos" is. De wiskunde erachter is zo complex en vol met bochten en sprongen (niet-lineair), dat een computer het moeilijk vindt om te voorspellen wat er gebeurt als de robot een bocht maakt.

• De analogie: Stel je voor dat je probeert het weer te voorspellen door alleen naar de wind te kijken, maar de wind verandert elke seconde op een onbegrijpelijke manier. Als je een simpele formule gebruikt, mis je het. Als je een super-complex model gebruikt, duurt het te lang om de uitkomst te berekenen voordat het te laat is.

3. De Oplossing: De "Koopman Operator" (Het Magische Lijntje)

Hier komt de slimme truc van het artikel: de Koopman Operator.
In plaats van te proberen de complexe, chaotische bewegingen van de robot direct te begrijpen, verplaatsen ze de robot naar een "verheven" (lifted) denkwereld.

• De analogie: Stel je voor dat je een gekruld touw hebt dat je niet recht kunt trekken. In de echte wereld (3D) is het een wirwar. Maar als je het touw in een andere dimensie bekijkt (bijvoorbeeld door het op te rekken in een hogere ruimte), blijkt het touw daar plotseling een perfect rechte lijn te zijn.
  De onderzoekers gebruiken wiskunde om de chaotische bewegingen van de robot te vertalen naar deze "rechte lijn" in een hogere dimensie. Plotseling is de beweging van de robot lineair (recht en voorspelbaar).

4. De Navigatie: De "Vooruitkijkende Chauffeur" (MPC)

Nu ze de robotbeweging hebben omgezet in een rechte lijn, kunnen ze een Model Predictive Control (MPC) gebruiken. Dit is als een super-voorzichtige chauffeur die 2 seconden vooruit kijkt.

• Hoe het werkt: De chauffeur (de computer) zegt: "Als ik nu naar links stuur, ben ik over 2 seconden hier. Als ik naar rechts stuur, ben ik daar." Omdat de robotbeweging nu "recht" is (dankzij de Koopman-operator), kan de computer heel snel en makkelijk berekenen welke route veilig is.
• Het resultaat: De robot kan nu razendsnel beslissen hoe hij door een smal gangpad moet lopen zonder te vallen, omdat de wiskunde achter de schermen simpel en snel is.

5. De "Gangklok" (Fase-Augmentatie)

Een belangrijk detail in hun onderzoek is dat ze de robot ook hebben geleerd om op de "gangklok" te letten.

• De analogie: Een mens loopt in een ritme: linkervoet, rechtervoet, linkervoet... Als je dit ritme niet meeneemt in je berekening, voorspel je verkeerd waar de voet neerkomt. De onderzoekers voegden een extra "klok" toe aan hun wiskundige model die het loopritme van de robot volgt. Dit maakte de voorspelling nog nauwkeuriger, vooral bij het maken van bochten.

Wat hebben ze bewezen?

Ze hebben hun systeem getest in twee omgevingen:

1. Simulatie: In de computerwereld bleek hun robot veel veiliger en succesvoller door smalle doorgangen te komen dan robots die alleen simpele lineaire modellen of complexe neurale netwerken gebruikten.
2. Echte Robot: Ze hebben het systeem op een echte Unitree G1 robot (een humanoïde robot) geladen. De robot kon veilig door smalle gangen lopen en een labyrint navigeren zonder te vallen.

Kortom:
De onderzoekers hebben een robot een "automatische piloot" gegeven om te lopen, en vervolgens een "magische bril" (de Koopman-operator) opgezet om de chaotische bewegingen te vertalen in simpele rechte lijnen. Hierdoor kan de robot razendsnel en veilig beslissingen nemen om door krappe ruimtes te navigeren, zonder te vallen. Het is alsof je een complexe dansstap omzet in een simpele rechte lijn, zodat je nooit meer struikelt.

Technische samenvatting

Probleemstelling

De navigatie van bipedale (twee-benige) robots wordt fundamenteel beperkt door de niet-lineariteit van hun dynamica. Zelfs eenvoudige snelheidscommando's kunnen leiden tot complex gedrag door de hybride dynamica van het hele lichaam en discrete contactpunten met de grond.

• Bestaande aanpakken: Modelgebaseerde methoden (zoals Model Predictive Control - MPC) kampen met de complexiteit van het nauwkeurig modelleren van deze dynamica en hoge rekenkosten. Reinforcement Learning (RL)-methoden presteren goed in getrainde omgevingen, maar vertonen vaak een slechte generalisatie in onbekende omgevingen, wat leidt tot veiligheidsrisico's zoals botsingen of vallen.
• De uitdaging: Er is een behoefte aan een framework dat de voorspellende nauwkeurigheid van RL combineert met de rekenefficiëntie en veiligheidsgaranties van lineaire modelgebaseerde controle, specifiek voor navigatie in krappe en complexe omgevingen.

Methodologie

Het paper stelt een veilig navigatieframework voor dat de Koopman-operatortheorie combineert met Model Predictive Control (MPC). De aanpak verloopt in drie hoofdfasen:

1. Training van een Laag-Niveau Locomotiebeleid:

   • Er wordt eerst een robuust locomotiebeleid getraind met Deep Reinforcement Learning (Proximal Policy Optimization - PPO) in een simulatieomgeving (IsaacGym met de Unitree G1 robot).
   • Dit beleid vertaalt waarnemingen (proprioceptie, snelheidscommando's) naar acties voor de gewrichten.

2. Leren van Gelineariseerde Dynamica in een "Lifted" Ruimte:

   • In plaats van de complexe niet-lineaire dynamica direct te modelleren, wordt de Extended Dynamic Mode Decomposition (EDMD) gebruikt om de dynamica te leren in een hoogdimensionale, "geliftte" observatieruimte.
   • Koopman-operator: Deze theorie stelt dat niet-lineaire systemen exact lineair kunnen worden weergegeven in een oneindig dimensionale ruimte van observatiefuncties. In de praktijk wordt een eindig dimensionale liftfunctie $\phi(\cdot)$ gebruikt.
   • Fase-augmentatie (Phase Augmentation): Een cruciale innovatie is het meenemen van de loopfase (gait phase) in de liftfunctie. Omdat bipedale locomotie periodiek is, wordt de basis-toestand $x_t$ aangevuld met sin/cos-componenten van de loopfase. Dit helpt het model om de cyclische aard van het lopen beter te vangen.
   • Het resultaat is een lineair systeemmodel: $\phi(x_{t+1}) = A\phi(x_t) + Bu_t$, waarbij $A$ en $B$ via een kleinste-kwadraten methode worden geleerd.

3. MPC voor Veilige Navigatie:

   • De geleerde lineaire dynamica wordt geïntegreerd in een MPC-controller.
   • Omdat de dynamica in de geliftte ruimte lineair is, kan de optimalisatieprobleem worden opgelost als een kwadratisch programma (QP) met lineaire constraints. Dit is veel efficiënter dan het oplossen van niet-lineaire problemen (zoals bij MLP-modellen).
   • De controller optimaliseert snelheidscommando's om een gewenste traject te volgen terwijl obstakels worden vermeden (via afstandsbegrenzingsfuncties).

Belangrijkste Bijdragen

1. Koopman-gebaseerd Navigatieframework: Een nieuw framework voor bipedale robots dat geleerde lineaire Koopman-dynamica combineert met MPC voor veilige navigatie.
2. Uitgebreide Evaluatie van Dynamische Modellen: Een systematische vergelijking van verschillende forward-dynamische modellen, waaronder een integrator, component-wise lineaire modellen, standaard lineaire modellen, en Koopman-modellen met verschillende liftfuncties (inclusief fase-augmentatie).
3. Verbeterde Veiligheid en Succes: Het aantonen dat het voorgestelde framework aanzienlijk veiliger is en hogere succespercentages behaalt in dichte omgevingen met nauwe doorgangen vergeleken met bestaande baselines.

Resultaten

De auteurs hebben hun framework getest in simulatie en op fysieke hardware (Unitree G1) in omgevingen zoals smalle gangen en doolhoven.

• Voorspellende Nauwkeurigheid:

  • Het Koopman-model met fase-augmentatie (Poly3 + Cross + Trig) presteerde het beste.
  • Bij een langdurige voorspelling (12 stappen / 6 seconden) reduceerde het model de positiefout met 50% (0,188 m) ten opzichte van de beste lineaire baseline (0,374 m) en met 72% ten opzichte van een MLP-model.
  • Het model behield zijn nauwkeurigheid over lange tijdshorizons, terwijl andere modellen (zoals MLP) snel divergeerden.

• Navigatieprestaties:

  • Succespercentage: In complexe doolhoven (Maze) bereikte het Koopman-framework een 100% succespercentage, terwijl lineaire baselines slechts 20-40% haalden. Over alle testen (gangen en doolhoven) behaalde het framework 96% succes, vergeleken met 86% voor de lineaire baseline.
  • Veiligheid: Het Koopman-model verminderde de maximale diepte van veiligheidschendingen (collision depth) met 47,5% ten opzichte van de baselines.
  • Rekenkosten: De MPC-oplossing met het lineaire Koopman-model was extreem snel. In tegenstelling tot MLP-modellen, die de solver vaak onoplosbaar maakten of >1,2 seconde nodig hadden, loste het Koopman-model het probleem efficiënt op (in milliseconden), waardoor real-time controle mogelijk is.

• Hardware Validatie: Het framework werd succesvol gedeployed op de fysieke Unitree G1 robot, wat de bruikbaarheid in de echte wereld bevestigt.

Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen de flexibiliteit van Reinforcement Learning en de betrouwbaarheid van modelgebaseerde controle.

• Het lost het probleem op dat niet-lineaire dynamica moeilijk te voorspellen en te controleren is door deze te "lineariseren" in een geliftte ruimte zonder de complexiteit van een volledig niet-lineaire solver.
• De integratie van fase-informatie in de liftfunctie bleek essentieel voor het correct modelleren van periodieke bewegingen zoals lopen.
• De methode maakt veilige navigatie in krappe ruimten mogelijk, wat een kritieke stap is voor het inzetten van bipedale robots in menselijke omgevingen.

Kortom, door de Koopman-operator te gebruiken, kunnen robots sneller en veiliger navigeren in complexe omgevingen dan met traditionele lineaire of niet-lineaire (MLP) benaderingen.