Robust and Efficient MuJoCo-based Model Predictive Control via Web of Affine Spaces Derivatives

Dieses Paper stellt einen direkt austauschbaren Ersatz für das Finite-Differenzen-Backend von MuJoCo MPC durch Web of Affine Spaces (WASP)-Ableitungen vor, welcher die derivatbasierten Steuerungsplanungen signifikant beschleunigt und stabilisiert, um eine bis zu 2-fache Beschleunigung zu erreichen und bestehende stochastische Methoden bei vielfältigen Robotikaufgaben zu übertreffen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem Roboterhund das Gehen, das Treppensteigen oder das Balancieren auf einem Bein beizubringen. Um dies zu tun, nutzt der Roboter ein „Gehirn“ namens Model Predictive Control (MPC). Denken Sie bei diesem Gehirn als an einen superschnellen Simulator, der sich ständig selbst fragt: „Wenn ich mein Bein so bewege, was passiert als Nächstes? Wenn ich es so bewege, was passiert dann?“ Er führt pro Sekunde tausende dieser mentalen Simulationen durch, um die beste Bewegung für den jetzigen Moment zu finden.

Die Arbeit von Chen Liang und Daniel Rakita befasst sich mit einem großen Problem der aktuellen Art und Weise, wie dieses „Gehirn“ denkt: Es ist zu langsam darin, die Regeln der Physik zu berechnen.

Die alte Methode: Die „Versuch-und-Irrtum“-Methode

Derzeit verwendet der Roboter eine Methode namens Finite Differenzen (FD), um zu verstehen, wie seine Bewegungen seine Position verändern. Stellen Sie sich vor, Sie möchten herausfinden, wie sensibel die Lenkung eines Autos ist.

• Sie drehen das Lenkrad ein winziges Stück nach links und schauen, wohin das Auto fährt.
• Dann drehen Sie es ein winziges Stück nach rechts und schauen, wohin es fährt.
• Dann probieren Sie das Gaspedal, die Bremsen, die Klimaanlage aus...

Wenn Ihr Roboter 50 Gelenke hat (wie ein komplexer Mensch oder Hund), muss der Computer diesen „Drehen-und-Prüfen“-Prozess für jedes einzelne Gelenk individuell und immer wieder durchführen. Es ist, als würde man versuchen, eine neue Sprache zu lernen, indem man jedes einzelne Wort auswendig lernt, Buchstabe für Buchstabe. Wenn Roboter komplexer werden (mehr Gelenke haben), wird diese Methode quälend langsam, was dazu führt, dass der Roboter verzögert oder einfriert.

Die neue Methode: Das „Web of Affine Spaces“ (WASP)

Die Autoren führen eine neue Methode namens WASP (Web of Affine Spaces) ein. Anstatt jedes Mal bei Null anzufangen, ist WASP wie ein schlauer Detektiv, der sich an die letzten paar Hinweise erinnert.

Hier ist die Analogie:

• Die alte Methode (FD): Jedes Mal, wenn Sie einen Schritt machen, halten Sie an und messen die exakte Neigung des Bodens unter Ihrem Fuß, dann unter dem nächsten, als hätten Sie noch nie zuvor gelaufen.
• Die neue Methode (WASP): Sie stellen fest, dass der Boden unter Ihrem linken Fuß sehr ähnlich ist wie der Boden unter Ihrem rechten Fuß, und der Boden, auf den Sie gerade getreten sind, ist ähnlich dem, auf den Sie jetzt treten werden. Also nutzen Sie die Informationen aus Ihren vorherigen Schritten, um die Neigung des nächsten Schritts zu erraten. Sie überprüfen nur die wenigen Stellen doppelt, die anders aussehen.

WASP baut ein „Netz“ (Web) aus Verbindungen zwischen vergangenen Berechnungen und der aktuellen Berechnung auf. Da die Bewegungen des Roboters normalerweise glatt und kontinuierlich sind (er teleportiert sich nicht), ist die Mathematik eines Augenblicks der Mathematik des nächsten Augenblicks sehr ähnlich. WASP nutzt diese alte Mathematik wieder, um Zeit zu sparen, und erledigt die schwere Arbeit nur dann, wenn es absolut notwendig ist.

Was sie herausgefunden haben

Die Forscher haben diese neue „schlaue Detektiv“-Methode bei einer Vielzahl von Roboteraufgaben getestet, darunter:

• Eine fliegende Drohne (Quadrotor).
• Ein schwimmender Schlangenroboter.
• Ein vierbeiniger Hund bei verschiedenen Bewegungen (Stehen, Klettern, Gehen, Galoppieren).
• Ein Biped (zweibeiniger Roboter), der das Gleichgewicht hält.
• Ein lebensgroßer humanoider Roboter beim Gehen.

Die Ergebnisse:

1. Geschwindigkeit: In vielen Fällen machte WASP das „Gehirn“ des Roboters 2 Mal schneller als die alte Methode. Es halbierte die Zeit, die für die Berechnung der Physik benötigt wurde.
2. Leistung: Die Roboter wurden nicht nur schneller; sie wurden oft auch besser in ihren Aufgaben. Die Autoren legen nahe, dass WASP tatsächlich hilft, den Roboter aus schlechten Situationen (lokale Minima) herauszuführen, da es „Approximationen“ (schlaue Vermutungen) statt perfekter, scharfer Berechnungen verwendet. Es ist wie die Erkenntnis, dass ein wenig „Rauschen“ in einem Signal manchmal helfen kann, einen Radio besser einzustellen.
3. Zuverlässigkeit: In schwierigen Aufgaben mit viel Kontakt (wie ein Hund, der eine Wand hochklettert) scheiterten die alte „Versuch-und-Irrtum“-Methode und andere Zufalls-Sampling-Methoden oft oder führten zum Sturz. Die WASP-Methode hielt die Roboter stabil und erfolgreich.

Das Fazit

Die Autoren haben nicht nur eine neue Theorie erfunden; sie haben einen „Drop-in-Ersatz“ gebaut. Das bedeutet, dass jeder, der den populären Roboter-Simulator MuJoCo verwendet, die langsame „Versuch-und-Irrtum“-Mathematik gegen die schnelle „schlaue Detektiv“-Mathematik austauschen kann, ohne den Rest seines Codes zu ändern.

Sie haben dieses neue Werkzeug als Open-Source-Software veröffentlicht, damit andere Forscher es sofort nutzen können, um ihre Roboter schneller, stabiler und effizienter zu machen. Die Arbeit kommt zu dem Schluss, dass für die komplexe Echtzeit-Robotersteuerung die Verwendung dieser „gedächtnisbasierten“ Mathematik ein riesiges Upgrade gegenüber der traditionellen Arbeitsweise darstellt.

Technische Zusammenfassung

Technisches Resümee: Robuste und effiziente MuJoCo-basierte modellprädiktive Regelung mittels Web of Affine Spaces Ableitungen

Problemstellung
MuJoCo ist ein weit verbreiteter Physiksimulator für die Robotik, der häufig innerhalb von Frameworks für modellprädiktive Regelung (Model Predictive Control, MPC) zur Optimierung zukünftiger Aktionen durch wiederholte Rollouts eingesetzt wird. Die Open-Source-Bibliothek MuJoCo MPC (MJPC) erleichtert dies durch die Bereitstellung einsatzbereiter Algorithmen. MJPC stützt sich jedoch derzeit ausschließlich auf die Differenzenquotientenmethode (Finite Differencing, FD), um die für gradientenbasierte Planer (z. B. iLQG) erforderlichen Ableitungen zu berechnen. FD schätzt Ableitungen, indem es jede Eingangsdimension unabhängig voneinander stört, was dazu führt, dass die Rechenkosten linear mit der Dimensionalität der Zustands- und Aktionsräume skalieren. In Systemen mit hohem Freiheitsgrad (DOF) oder komplexen Szenen mit reichhaltiger Kontakt-Dynamik führt dies zu hunderten oder tausenden Simulatoraufrufen pro Ableitungsbewertung, was einen Flaschenhals darstellt, der die Echtzeitleistung behindert. Während die automatische Differentiation (Automatic Differentiation, AD) eine Alternative bietet, leiden exakte Ableitungen in der MPC oft unter numerischer Instabilität aufgrund der scharfen, schlecht konditionierten Sensitivitäten nichtlinearer Dynamiken über kurze Horizonte.

Methodik
Diese Arbeit führt die Integration von Web of Affine Spaces (WASP) Ableitungen in MJPC als direkten Ersatz für FD ein. WASP ist ein kohärenzbasiertes Verfahren, das Sequenzen approximativer Ableitungen berechnet, indem es Informationen aus vorherigen, verwandten Auswertungen wiederverwendet.

• Kernmechanismus: Anstatt Ableitungen von Grund auf neu zu berechnen, formuliert WASP die Schätzung der Ableitungen als ein beschränktes Kleinste-Quadrate-Problem. Es sucht eine approximative Jacobi-Matrix, die innerhalb eines affinen Unterraums liegt, welcher durch ein einzelnes, frisch berechnetes Jacobian-Vector-Product (JVP) definiert ist, während sie gleichzeitig mit den zwischengespeicherten Informationen aus vorherigen Iterationen korreliert.
• Integration: Die Autoren haben WASP direkt in den MuJoCo-Quellcode (C-Sprache) neben den bestehenden FD-Implementierungen integriert. In der MJPC-Pipeline werden für jeden Zeitschritt des Planungshorizonts WASP-Instanzen erstellt. Diese Instanzen halten Tangentenmatrizen und approximative $\hat{\Delta}F$-Matrizen vor, die inkrementell aktualisiert werden.
• Parametrisierung: Um ein Gleichgewicht zwischen Genauigkeit und Effizienz zu finden, bietet die Implementierung zwei abstimmbare Parameter an: frac (kontrolliert die Mindestanzahl an JVPs im Verhältnis zur Maximalanzahl) und tol (kontrolliert den Schwellenwert für den Abgleich von Winkel und Norm der Ground-Truth-JVPs). Benutzer können diese über die MJPC-GUI anpassen, was ein Kontinuum zwischen voller FD (maximale Genauigkeit/Kosten) und hochgradig approximativen Ableitungen (minimale Kosten) ermöglicht.

Wesentliche Beiträge

1. Erste Anwendung von WASP auf dynamikbasierte MPC: Während WASP zuvor auf kinematikbasierte Funktionen evaluiert wurde, erweitert diese Arbeit seine Anwendung auf die vollständige Physiksimulation innerhalb der MPC und adresset dabei die Herausforderungen der Kontakt-Dynamik und Nichtlinearitäten.
2. Open-Source-Implementierung: Die Autoren haben eine vollständig integrierte Open-Source-Version von MJPC mit WASP-Ableitungen veröffentlicht, die es der Community ermöglicht, diesen direkten Ersatz zu experimentieren, ohne den Kernquellcode des Simulators modifizieren zu müssen.
3. Umfassende Evaluierung: Die Studie evaluiert WASP über eine vielfältige Suite von zehn Lokomotionsaufgaben (einschließlich Quadrupeden, Bipeden, Humanoiden und Luftrobotern) mit unterschiedlicher Komplexität und Kontaktmustern.

Ergebnisse
Die Untersuchung vergleicht die WASP-basierte MPC sowohl mit der FD-basierten MPC als auch mit stochastischen Sampling-basierten Planern (z. B. Predictive Sampling, Cross-Entropy Method).

• Beschleunigung gegenüber FD: Bei Verwendung mit derivativ-basierten Planern wie iLQG erreichte WASP eine 1,26- bis 2,08-fache Beschleunigung der Modellableitungs-Berechnungszeit im Vergleich zu FD über alle Aufgaben hinweg. In Bezug auf die gesamte Planungszeit war die WASP-basierte iLQG konsistent schneller als die FD-basierte iLQG.
• Leistung gegenüber Sampling: Bei kontaktreichen Aufgaben (z. B. Klettern von Quadrupeden, Balance von Bipeden) übertraf die WASP-basierte iLQG die stochastischen Sampling-basierten Planer signifikant. Während Sampling-Methoden oft daran scheiterten, Aufgaben abzuschließen (angezeigt durch Verletzungen der Gelenkgrenzen oder Stürze), erreichte die WASP-basierte iLQG Beschleunigungen von bis zu 4,0x im Vergleich zu Sampling-Planern bei gleichzeitiger Aufrechterhaltung der erfolgreichen Aufgabenausführung.
• Aufgabenleistung: In mehreren Fällen (z. B. Quadrotor, Schwimmer) lieferte die WASP-basierte Steuerung eine etwas bessere Aufgabenleistung (geringerer Kostenwert) als FD. Die Autoren spekulieren, dass leichte Approximationsfehler als Regularisierer wirken können, indem sie scharfe Gradienten glätten und dabei helfen, lokale Minima zu verlassen.
• Robustheit: Eine Sensitivitätsanalyse ergab, dass WASP robust gegenüber Parameter-Variationen ist, wobei die Genauigkeit der Zustandsübergänge (fracx) kritischer für die Aufrechterhaltung der Stabilität ist als die Genauigkeit der Steuerung (fracu).

Bedeutung und Behauptungen
Das Paper behauptet, dass WASP-Ableitungen ein überzeugendes Gleichgewicht zwischen Effizienz und Robustheit für iterative Regelungsszenarien bieten. Durch den Ersatz von FD durch WASP kann MJPC die schnellen Aktualisierungsraten aufrechterhalten, die für die Echtzeit-Robotik erforderlich sind, insbesondere in High-DOF-Systemen, in denen FD prohibitiv teuer ist. Die Arbeit zeigt, dass kohärenzbasierte approximative Ableitungen nicht nur rechentechnisch überlegen, sondern auch in der Lage sind, die Zuverlässigkeit der Steuerung in komplexen, kontaktreichen Umgebungen zu verbessern. Die Autoren positionieren dies als einen Schritt zur Erweiterung praktischer Alternativen zum Finite Differencing in der Robotik und senken damit die Hürde für die Einführung strukturierter approximativer Ableitungen in Echtzeit-MPC-Stacks.

Einschränkungen
Die Autoren merken an, dass alle Experimente in der Simulation durchgeführt wurden, primär auf Lokomotions-Benchmarks, und dass der Transfer von der Simulation auf die Realität (Sim-to-Real) eine offene Frage bleibt. Zudem hatten sowohl FD- als auch WASP-basierte Planer Schwierigkeiten mit kontaktreichen Manipulationsaufgaben, was darauf hindeutet, dass die Einschränkungen eher in der kurzfristigen gradientenbasierten MPC-Architektur selbst liegen als in der Methode der Ableitungsapproximation. Schließlich erfordern die Genauigkeitsparameter derzeit eine manuelle Abstimmung, obwohl die Autoren vorschlagen, dass zukünftige Arbeiten adaptive Auswahlverfahren untersuchen könnten.