Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

Technische Samenvatting: Koopman DCM: Onstabiele Eigenfuncties als Data-gedreven Representaties voor het Balanceren van Gevleugelde Robots

Probleemstelling
De balanscontrole van gevleugelde robots (legged robots) heeft historisch gezien vertrouwd op modellen met een gereduceerde orde, met name de Lineaire Inversie Pendel (LIP). Binnen het LIP-framework dient de Divergent Component of Motion (DCM) als een cruciale controlecoördinaat die de onstabiele modus van het systeem isoleert. De huidige DCM-formuleringen kampen echter met twee primaire beperkingen:

1. Modelafhankelijkheid: De DCM is strikt gedefinieerd voor gereduceerde modellen (zoals de LIP) en breidt zich niet van nature uit naar de volledige, niet-lineaire dynamica van een echte robot.
2. Parametermismatch: De natuurlijke frequentie $\omega = \sqrt{g/h}$ die in standaard DCM-formuleringen wordt gebruikt, is afgeleid van een theoretische zwaartepunthoogte (CoM height) $h$. Deze op modellen gebaseerde parameter slaagt er vaak niet in om de ware dynamica van complexe, echte systemen te vatten, wat leidt tot suboptimale controleprestaties.

Dit artikel pakt deze problemen aan door de DCM te herformuleren, niet als een eigenschap van een specifiek gereduceerd model, maar als een Koopman-eigenfunctie van de volledige systeemdynamica, die direct geleerd kan worden uit data van een echte robot.

Methodologie
De auteurs stellen een data-gedreven pipeline voor om "Koopman DCMs" te leren als onstabiele eigenfuncties. De kernmethodologie omvat:

1. Theoretische Herformulering:

   • De auteurs kaderen de zoektocht naar een DCM als een eigenfunctie-zoekprobleem voor de Koopman-operator.
   • In tegen tegenstelling tot typische Koopman-toepassingen die zich richten op eigenwaarden nabij nul (geconserveerde grootheden), richt dit werk zich doelbewust op het zoeken naar onstabiele eigenparen met grote positieve eigenwaarden ($\omega > 0$).
   • Voor een controle-affien systeem $\dot{x} = f(x) + B(x)u$ is de geleerde observable $\xi$ beperkt om te voldoen aan de lineaire differentiaalvergelijking $\dot{\xi} = \omega(\xi - u)$, wat de structuur van de LIP DCM weerspiegelt maar direct uit data is afgeleid.

2. Leerpipeline:

   • Input: Het systeem maakt gebruik van een delay embedding van meting-actie geschiedenissen ($z_k$) in plaats van een vooraf gedefinieerde toestandsruimte.
   • Architectuur: Een Multi-Layer Perceptron (MLP) leert de observable $\xi_\theta$.
   • Verliesfuncties: Het trainingsdoel combineert twee componenten om triviale oplossingen te vermijden (waarbij $\omega \to 0$ en $\xi \to 0$):
     • DCM Dynamica Verlies: Dwingt de lineaire recursie $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$ af.
     • CoM Voorspellingsverlies: Dwingt de relatie af tussen de geleerde DCM en de CoM-positie, waardoor wordt gewaarborgd dat de geleerde observable de stabiele CoM-dynamica verankert.
   • Temporele Extensie: Om convergentie naar lage eigenwaarden op echte data te voorkomen, gebruiken de auteurs Eligibility Traces (TD($\lambda$) loss), waarbij de encoder wordt geëvalueerd tegen multi-step voorspellingen in plaats van enkel één-stap residuen.

3. Controletoepassing:

   • Echte Robot: De geleerde DCM wordt gebruikt in een proportionele feedbackloop om Zero-Moment Point (ZMP) referenties te volgen op een wielen-biped (Cookie).
   • Simulatie (MPC): De geleerde DCM dient als de toestandvariabele in een Model Predictive Control (MPC) framework voor een humanoïde (Unitree G1). De DCM-dynamica wordt gebruikt om viability constraints (het waarborgen dat de robot binnen het steunvlak blijft) te formuleren, die als harde restricties in de optimalisatie worden afgedwongen.

Belangrijkste Bijdragen

1. Herformulering van DCMs: Het artikel herkadert Divergent Components of Motion als onstabiele Koopman-eigenfuncties, waardoor het concept wordt gegeneraliseerd buiten gereduceerde modellen.
2. Data-gedreven Training: Er wordt een nieuwe pipeline voorgesteld om deze eigenfuncties direct te leren uit gesloten-lus meting-actie data, zonder dat een gereduceerd kinematisch model vereist is.
3. Deployment op Echte Robots: De methode wordt toegepast op een fysieke biped, waarbij wordt aangetoond dat het de tracking van looppatronen verbetert ten opzichte van model-gebaseerde baselines.
4. Viability Constraints: De auteurs demonstreren hoe geleerde DCMs geïntegreerd kunnen worden in MPC om toestand-gebaseerde viability constraints af te dwingen, wat de stabiliteit in simulatie verbetert.

Resultaten

• Prestaties van de Echte Robot (Cookie Biped):
  • Het systeem werd getraind op 1 uur aan echte robotdata.
  • In ZMP-trackingexperimenten met sinusvormige referenties presteerde de geleerde DCM (met een delay horizon $H=10$) significant beter dan de kinematische LIP-baseline.
  • Specifiek, bij een amplitude van 0.2 bereikte de geleerde DCM een Root Mean Square Error (RMSE) van 0.05, vergeleken met 0.12 voor de kinematische baseline (een verbetering van 2.4x).
  • De geleerde controller verminderde de trackingfouten consistent over verschillende amplitudes en periodes.
• Simulatieprestaties (Unitree G1):
  • In een laterale balanceringssimulatie behaalde een controller die de geleerde DCM binnen een MPC-framework gebruikte een valpercentage van 0% over 90 proeven.
  • In contrast hiermee resulteerde een proportionele DCM-controller (zonder de geleerde eigenfunctie-restricties) in een valpercentage van 33% (30/90 proeven) onder dezelfde uitdagende omstandigheden.
  • De MPC-aanpak verminderde ook de ZMP-trackingfout (0.59 vs 0.73).

Betekenis en Claims
Het artikel claimt dat door DCMs te behandelen als data-gedreven Koopman-eigenfuncties, het mogelijk is om de beperkingen van modellen met een gereduceerde orde te omzeilen. De primaire betekenis ligt in het vermogen om:

• Systeemspecifieke Dynamica te Leren: De methode vangt de ware onstabiele modi van de robot direct uit data, in plaats van te vertrouren op theoretische parameters zoals de CoM-hoogte.
• Robuuste Controle Mogelijk te Maken: De geleerde observables bieden een nauwkeurigere toestandrepresentatie voor feedbackcontrole en viability-analyse.
• Sim-to-Real Problemen te Vermijden: Omdat de pipeline direct traint op closed-loop data van de echte robot (of een hoogwaardige simulator), wordt de domeinadaptatie-uitdagingen die gewoonlijk gepaard gaan met het trainen in simulatie en het implementeren op hardware omzeild.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de huidige formulering een specifieke lineaire inputkoppeling ($\dot{\xi} = \omega(\xi - u)$) veronderstelt en dat toekomstig werk meer algemene bilaterale dynamica of modellen met variabele hoogte kan verkennen.