Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

Technische Zusammenfassung: Koopman DCM: Instabile Eigenfunktionen als datengesteuerte Repräsentationen für das Balancieren von Laufrobotern

Problemstellung
Die Balancesteuerung von Laufrobotern stützte sich historisch auf reduzierte Modelle, am bekanntesten das Lineare Invertierte Pendel (LIP). Im LIP-Framework dient die Divergente Komponente der Bewegung (DCM) als kritische Kontrollkoordinate, die die instabile Mode des Systems isoliert. Bestehende DCM-Formulierungen stehen jedoch vor zwei primären Einschränkungen:

1. Modellabhängigkeit: Die DCM ist strikt für reduzierte Modelle (wie das LIP) definiert und lässt sich nicht natürlich auf die volle, nichtlineare Dynamik eines realen Roboters erweitern.
2. Parametermismatch: Die natürliche Frequenz $\omega = \sqrt{g/h}$, die in Standard-DCM-Formulierungen verwendet wird, leitet sich aus einer theoretischen Schwerpunkthöhe (CoM height) $h$ ab. Dieser modellbasierte Parameter kann die wahren Dynamiken komplexer, realer Systeme oft nicht adäquat erfassen, was zu einer suboptimalen Steuerungsleistung führt.

Die Arbeit adresselt diese Probleme, indem sie die DCM nicht als Eigenschaft eines spezifischen reduzierten Modells, sondern als eine Koopman-Eigenfunktion der vollen Systemdynamik neu formuliert, die direkt aus realen Roboterdaten lernbar ist.

Methodik
Die Autoren schlagen eine datengesteuerte Pipeline vor, um „Koopman-DCMs“ als instabile Eigenfunktionen zu lernen. Die Kernmethodik umfasst:

1. Theoretische Neuformulierung:

   • Die Autoren rahmen die Suche nach einer DCM als eine Suche nach Eigenfunktionen für den Koopman-Operator.
   • Im Gegensatz zu typischen Koopman-Anwendungen, die auf Eigenwerte nahe Null abzielen (konservierte Größen), sucht diese Arbeit gezielt nach instabilen Eigenpaaren mit großen positiven Eigenwerten ($\omega > 0$).
   • Für ein kontroll-affines System $\dot{x} = f(x) + B(x)u$ ist die gelernte Observabel $\xi$ so beschränkt, dass sie die lineare Differentialgleichung $\dot{\xi} = \omega(\xi - u)$ erfüllt, was die Struktur der LIP-DCM widerspiegelt, jedoch direkt aus Daten abgeleitet wurde.

2. Lern-Pipeline:

   • Input: Das System verwendet ein Delay-Embedding von Messwert-Aktions-Historien ($z_k$) anstatt eines vordefinierten Zustandsraums.
   • Architektur: Ein Multi-Layer Perceptron (MLP) lernt die Observabel $\xi_\theta$.
   • Verlustfunktionen: Das Trainingsziel kombelt zwei Komponenten, um triviale Lösungen (bei denen $\omega \to 0$ und $\xi \to 0$) zu vermeiden:
     • DCM-Dynamik-Loss: Erzwingt die lineare Rekursion $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$.
     • CoM-Vorhersage-Loss: Erzwingt die Beziehung zwischen der gelernten DCM und der CoM-Position, um sicherzustellen, dass die gelernte Observabel die stabilen CoM-Dynamiken verankert.
   • Temporale Erweiterung: Um eine Konvergenz zu niedrigen Eigenwerten auf realen Daten zu verhindern, setzen die Autoren Eligibility Traces (TD($\lambda$) Loss) ein, welche den Encoder gegen Mehrschritt-Vorhersagen anstatt nur gegen Einschritt-Residuen evaluieren.

3. Steuerungsanwendung:

   • Realroboter: Die gelernte DCM wird in einem Proportional-Feedback-Loop zur Verfolgung von ZMP-Referenzen auf einem radgetriebenen Biped (Cookie) eingesetzt.
   • Simulation (MPC): Die gelernte DCM dient als Zustandsvariable in einem Model Predictive Control (MPC) Framework für einen Humanoiden (Unitree G1). Die DCM-Dynamik wird verwendet, um Viabilitätsbeschränkungen (Viability Constraints) zu formulieren (die sicherstellen, dass der Roboter innerhalb der Unterstützungsfläche bleibt), welche als harte Nebenbedingungen in der Optimierung erzwungen werden.

Wesentliche Beiträge

1. Neuklassifizierung von DCMs: Die Arbeit rahmt Divergente Komponenten der Bewegung als instabile Koopman-Eigenfunktionen ein und generalisiert das Konzept über reduzierte Modelle hinaus.
2. Datengesteuertes Training: Es wird eine neuartige Pipeline vorgeschlagen, um diese Eigenfunktionen direkt aus geschlossenen Regelkreis-Messwert-Aktions-Daten zu lernen, ohne dass ein reduziertes kinematisches Modell erforderlich ist.
3. Einsatz auf dem Realroboter: Die Methode wird auf einem physischen Biped eingesetzt und demonstriert eine verbesserte Verfolgung von Gehmustern im Vergleich zu modellbasierten Baselines.
4. Viabilitätsbeschränkungen: Die Autoren zeigen, wie gelernte DCMs in ein MPC integriert werden können, um zustandsbasierte Viabilitätsbeschränkungen zu erzwingen, was die Stabilität in der Simulation verbessert.

Ergebnisse

• Realroboter-Leistung (Cookie Biped):
  • Das System wurde mit 1 Stunde an realen Roboterdaten trainiert.
  • In ZMP-Tracking-Experimenten mit sinusförmigen Referenzen übertraf die gelernte DCM (mit einem Delay-Horizont von $H=10$) die kinematische LIP-Baseline signifikant.
  • Speziell bei einer Amplitude von 0,2 erreichte die gelernte DCM einen Root Mean Square Error (RMSE) von 0,05, verglichen mit 0,12 für die kinematische Baseline (eine 2,4-fache Verbesserung).
  • Der gelernte Controller reduzierte die Tracking-Fehler konsistent über verschiedene Amplituden und Perioden hinweg.
• Simulationsleistung (Unitree G1):
  • In einer lateralen Balanciersimulation erreichte ein Controller, der die gelernte DCM innerhalb eines MPC-Frameworks nutzt, eine Sturzrate von 0 % über 90 Versuche.
  • Im Gegensatz dazu führte ein proportionaler DCM-Controller (oh der die Eigenfunktions-Beschränkungen nicht berücksichtigte) unter denselben anspruchsvollen Bedingungen zu einer Sturzrate von 33 % (30/90 Versuche).
  • Der MPC-Ansatz reduzierte zudem den ZMP-Tracking-Fehler (0,59 gegenüber 0,73).

Bedeutung und Ansprüche
Das Paper behauptet, dass durch die Behandlung von DCMs als datengesteuerte Koopman-Eigenfunktionen die Einschränkungen durch reduzierte Modelle umgangen werden können. Die primäre Bedeutung liegt in der Fähigkeit:

• Systemspezifische Dynamiken zu lernen: Die Methode erfasst die wahren instabilen Moden des Roboters direkt aus Daten, anstatt sich auf theoretische Parameter wie die CoM-Höhe zu verlassen.
• Robuste Steuerung zu ermöglichen: Die gelernten Observablen bieten eine genauere Zustandsrepräsentation für die Feedback-Steuerung und die Viabilitätsanalyse.
• Sim-to-Real-Transfer-Probleme zu vermeiden: Da die Pipeline direkt auf geschlossenen Regelkreis-Daten des realen Roboters (oder eines hochpräzisen Simulators) trainiert, umgeht sie die Domain-Adaption-Herausforderungen, die üblicherweise mit dem Training in der Simulation und der anschließenden Implementierung auf Hardware verbunden sind.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass die aktuelle Formulierung eine spezifische lineare Input-Kopplung ($\dot{\xi} = \omega(\xi - u)$) voraussetzt und zukünftige Arbeiten allgemeinere bilineare Dynamiken oder Modelle mit variabler Höhe untersuchen könnten.