🤖 machine learning

Learned Lyapunov Shielding for Adaptive Control

Dieser Artikel schlägt einen gelernten Lyapunov-Abschirmungsrahmen vor, der den adaptiven Slotine–Li-Regler um eine strukturierte quadratische Lyapunov-Funktion, eine verbleibende Soft Actor–Critic-Richtlinie und ein physik-informiertes neuronales Netzwerk erweitert, um eine geschlossene Sicherheitsfilterung und exponentielle Stabilität zu gewährleisten und gleichzeitig die Nachfolgeleistung bei Euler–Lagrange-Systemen mit nicht modellierter Dynamik erheblich zu verbessern.

Ursprüngliche Autoren: Giansalvo Cirrincione, Adriano Fagiolini

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Giansalvo Cirrincione, Adriano Fagiolini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboterarm bei, eine schwere Kiste von Punkt A nach Punkt B zu bewegen. Sie haben zwei Möglichkeiten, dies zu tun:

Der „Lehrbuch"-Weg: Sie geben dem Roboter ein perfektes Physik-Lehrbuch (den Slotine–Li-Regler). Er weiß genau, wie schwer die Kiste ist und wie sich der Arm bewegt. Das funktioniert hervorragend, aber wenn die Kiste etwas schwerer ist als erwartet oder die Gelenke klebrig sind, gerät der Roboter in Verwirrung und bewegt sich ungeschickt.
Der „Glücksspieler"-Weg: Sie lassen den Roboter durch Versuch und Irrtum lernen (standardmäßiges Bestärkendes Lernen). Er könnte schließlich lernen, die Kiste perfekt zu bewegen, aber er könnte auch gegen die Wand fahren oder die Kiste fallen lassen, weil er die Regeln der Physik noch nicht gelernt hat.

Dieser Artikel schlägt einen dritten Weg vor: Einen „intelligenten Trainer", der das Beste aus beiden Welten kombiniert. Er nimmt den zuverlässigen Lehrbuch-Roboter und fügt einen „Lernassistenten" hinzu, der Fehler korrigiert, stellt jedoch ein Sicherheitsnetz um das gesamte System, damit der Roboter niemals etwas Gefährliches tun kann.

Hier ist, wie der „intelligente Trainer" des Artikels funktioniert, aufgeschlüsselt in einfache Teile:

1. Das Sicherheitsnetz (Das „Lyapunov-Zertifikat")

In der Welt der Robotik ist eine Lyapunov-Funktion wie ein „Stabilitätsthermometer". Sie misst, wie „instabil" der Roboter ist. Steigt die Temperatur an, befindet sich der Roboter in Schwierigkeiten.

Das Problem: Normalerweise erfordert der Nachweis, dass ein Roboter sicher ist, komplexe Mathematik, die in Echtzeit schwer zu bewältigen ist.
Der Trick des Artikels: Sie haben ein spezielles, strukturiertes „Thermometer" (ein gelerntes Lyapunov-Zertifikat) entwickelt, das durch sein eigenes Design garantiert positiv ist (was bedeutet, dass es immer etwas Reales misst).
Das Ergebnis: Aufgrund dieses speziellen Designs kann der Computer sofort einen „Sicherheitsfilter" berechnen. Stellen Sie sich dies als einen Verkehrspolizisten vor, der vor dem Roboter steht. Wenn der Roboter einen Zug versucht, der dazu führen würde, dass das „Thermometer" in die Höhe schießt (gefährlich), blockiert der Verkehrspolizist diesen Zug sofort und schiebt den Roboter auf einen sicheren Pfad zurück. Der Artikel beweist, dass dieser Verkehrspolizist immer einen gültigen Zug hat; er bleibt niemals stecken und sagt: „Ich kann Sie nicht aufhalten!"

2. Der Lernassistent (Die „Residual-Policy")

Der Lehrbuch-Roboter (Slotine–Li) ist gut, aber er weiß nichts über klebrige Gelenke oder seltsame Reibung.

Die Lösung: Sie haben eine Soft Actor–Critic (SAC)-Policy hinzugefügt. Stellen Sie sich dies als einen Schüler vor, der den Lehrbuch-Roboter beobachtet und sagt: „Hey, das Lehrbuch sagt, bewege dich nach links, aber ich spüre, dass das Gelenk klebrig ist, also fügen wir einen kleinen zusätzlichen Schub nach rechts hinzu."
Der Haken: Dieser Schüler darf Vorschläge machen, aber nur, wenn das Sicherheitsnetz (der Verkehrspolizist) sagt, dass es in Ordnung ist. Dies ermöglicht es dem Roboter, aus Erfahrung zu lernen, ohne jemals die Sicherheitsregeln zu brechen.

3. Der Physik-Detektiv (Das „PINN")

Manchmal weiß der Roboter nicht, warum er rutscht.

Die Lösung: Sie haben ein Physics-Informed Neural Network (PINN) hinzugefügt. Dies ist wie ein Detektiv, der die Bewegung des Roboters betrachtet und versucht, die „versteckten Kräfte" (wie nicht modellierte Reibung oder eine schwere Nutzlast) herauszufinden, die das Lehrbuch nicht berücksichtigt hat.
Wie es hilft: Der Detektiv füttert diese Informationen in das Sicherheitsnetz. Das Sicherheitsnetz weiß dann: „Ah, der Roboter rutscht wegen Reibung, nicht weil er außer Kontrolle ist", und passt die Sicherheitsregeln entsprechend an.

Was haben sie gefunden? (Die Ergebnisse)

Das Team testete dieses System an einem Roboterarm mit zwei Gelenken (2-DOF) und dann an einem komplexeren Sieben-Gelenk-Arm (wie einem menschlichen Arm, dem Franka Panda).

Der „Sweet Spot"-Gewinn: Wenn der Roboter ein Gewicht trug, das er während des Trainings gesehen hatte (den „Centroid"), war das neue System 41 % besser darin, den Zielpfad zu verfolgen, als die alte Lehrbuchmethode. Der „Lernassistent" und das „Sicherheitsnetz" arbeiteten zusammen, um die Bewegung zu glätten.
Das „Spezialisierungs"-Problem: Das System war erstaunlich bei den Gewichten, mit denen es geübt hatte, aber wenn Sie ihm ein Gewicht gaben, das es noch nie gesehen hatte (zu leicht oder zu schwer), wurde es manchmal schlechter als die alte Lehrbuchmethode. Es war wie ein Schüler, der hart für einen bestimmten Test gelernt hatte, aber Schwierigkeiten hatte, als sich die Fragen leicht änderten.
Die „Warm-Start"-Falle: Sie entdeckten einen seltsamen Fehler. Wenn Sie einen trainierten Roboter nehmen und versuchen, ihn für eine neue Aufgabe zu „feinabstimmen", ohne von vorne zu beginnen, kann er in einer schlechten Gewohnheit stecken bleiben. Es ist wie ein Schüler, der die Antworten des letzten Jahres so gut auswendig gelernt hat, dass er das neue Material nicht lernen kann. Der Artikel sagt, dass Sie von Grund auf neu beginnen müssen (Neutraining von Null), wenn Sie die Aufgabe ändern, um dies zu vermeiden.
Skalierbarkeit: Sie bewiesen, dass dieses System sogar an einem großen, komplexen Sieben-Gelenk-Roboter funktioniert, nicht nur an dem kleinen Zwei-Gelenk-Roboter.

Das Fazit

Dieser Artikel stellt eine Methode vor, um Roboter gleichzeitig sicherer und intelligenter zu machen.

Es verwendet einen mathematisch garantierten Sicherheitsfilter (den Verkehrspolizisten), damit der Roboter niemals abstürzt.
Es verwendet Lernen, um die Fehler traditioneller Physikmodelle zu korrigieren.
Es beweist, dass diese Kombination stabil ist und in der realen Welt funktioniert, vorausgesetzt, Sie versuchen nicht, einen trainierten Roboter für einen völlig neuen Job zu „feinabstimmen", ohne ihn vorher neu zu trainieren.

Kurz gesagt: Es ist ein Roboterregler, der aus Erfahrung lernt, aber streng von einem mathematisch perfekten Sicherheitswächter überwacht wird.

Technische Zusammenfassung: Gelernte Lyapunov-Zertifikate für sicheres residuales Reinforcement Learning an Euler–Lagrange-Systemen

Problemstellung
Adaptive Regler für Euler–Lagrange-Systeme, wie der klassische Slotine–Li-Regler, verlassen sich auf die Linearität in den Parametern der Starrkörperdynamik und a priori-Wissen über Massen-, Coriolis- und Gravitationsterme. Praktische Robotersysteme weisen jedoch häufig nicht modellierte Nichtlinearitäten auf (z. B. Reibungshysterese, Gelenkelastizität, Soft-Body-Effekte), die einer sauberen Parametrisierung widerstehen. Während Reinforcement Learning (RL) einen Weg bietet, diese Residuen zu lernen, fehlen standardmäßigen RL-Ansätzen formale Stabilitätsgarantien, und sie versagen oft bei der Konvergenz, wenn sie auf sicherheitskritische Regelungsaufgaben angewendet werden. Bestehende Ansätze für gelernte Lyapunov-Funktionen verlassen sich häufig auf generische neuronale Architekturen (z. B. MLPs mit tanh-Aktivierungen), die eine nachträgliche Verifikation oder komplexe Optimierung erfordern, um Positive Definitheit zu gewährleisten, was häufig zu nicht durchführbaren Sicherheitsfiltern während des Einsatzes führt.

Methodik
Die Autoren schlagen einen Rahmen vor, der den adaptiven Slotine–Li-Regler um drei gelernte Komponenten erweitert, die in eine eingeschränkte Soft Actor–Critic (SAC)-Richtlinie integriert sind:

Strukturierte quadratische Lyapunov-Funktion ( $V_\psi$ ): Anstelle eines generischen neuronalen Netzwerks wird der Lyapunov-Kandidat als $V_\psi(x) = x^\top P_\psi(x) x$ parametrisiert, wobei $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$ gilt. Hier ist $L_\psi$ ein unteres dreieckiges MLP. Diese Cholesky-Parametrisierung garantiert die Positive Definitheit durch Konstruktion.
Residuelle SAC-Richtlinie: Ein Soft Actor–Critic-Agent lernt ein begrenztes Restdrehmoment $\Delta \tau$ , um die analytische Slotine–Li-Basislinie zu korrigieren. Die Richtlinie wird trainiert, um die Belohnung (Verfolgungsleistung) unter einer Einschränkung bezüglich der Verletzung des Lyapunov-Abfalls zu maximieren.
Physik-informiertes neuronales Netz (PINN): Ein Netzwerk $f_\theta$ schätzt nicht modellierte Dynamiken (Residuen) und wird über einen physikalischen Verlust trainiert, der die Struktur der Euler–Lagrange-Gleichung erzwingt. Dieses Modell wird verwendet, um das Driftfeld für den Sicherheitsfilter zu schätzen.

Sicherheitsfilter und Stabilitätsmechanismus
Die Kerninnovation ist ein Sicherheitsfilter in geschlossener Form, der aus der einzelnen affinen Einschränkung $\dot{V}_\psi + \alpha V_\psi \leq 0$ abgeleitet wird. Da die Systemdynamik affin in der Steuerung ist ( $\dot{x} = h(x) + g(x)\tau$ ) und $V_\psi$ quadratisch ist, wird die Einschränkung linear in $\tau$ ( $b(x)^\top \tau \leq c(x)$ ).

Projektion in geschlossener Form: Der Filter projiziert jeden rohen Richtlinienausgang $\tau_{raw}$ über eine einfache euklidische Projektion auf den sicheren Halbraum und vermeidet so die Notwendigkeit von Online-Quadratischer-Programmierung (QP)-Lösern.
Durchführbarkeitsbedingung: Der Artikel beweist, dass dieser Filter global durchführbar ist, wenn eine „Drift-Zerfall-Bedingung" auf der Menge $Z$ gilt, auf der die Steuerungsautorität verschwindet ( $b(x)=0$ ). Konkret müssen die natürlichen Driftdynamiken auf dieser Menge bereits Lyapunov-abfallend sein.
Robustheit: Eine robuste Version des Filters integriert den PINN-Approximationsfehler ( $\delta$ ) und die Gradientenschranke von $V_\psi$ ( $L_V$ ), um Stabilität auch dann zu gewährleisten, wenn das gelernte Dynamikmodell unvollkommen ist.

Hauptbeiträge
Der Artikel stellt fünf theoretische und empirische Beiträge vor:

Durchführbarkeit in geschlossener Form: Die strukturierte quadratische Parametrisierung ergibt ein QP mit einer einzigen Einschränkung und einer Lösung in geschlossener Form. Die Autoren beweisen die globale Durchführbarkeit unter einer überprüfbaren Drift-Zerfall-Bedingung (Satz 4).
Stabilitätsgarantien: Exponentielle Stabilität wird unter exaktem Schutz bewiesen. Eine robuste Erweiterung wird bereitgestellt, bei der die Stabilitätsmarge explizit vom PINN-Approximationsfehler abhängt (Satz 13).
Konvergenz: Die gemeinsamen Updates der Richtlinie, des Lyapunov-Zertifikats und des Lagrange-Multiplikators konvergieren fast sicher gegen einen KKT-Punkt unter Verwendung eines stochastischen Approximationsschemas mit drei Zeitskalen (Satz 10).
Generalisierung: Eine PAC-Grenze (Probably Approximately Correct) für die Generalisierung wird abgeleitet, die das gelernte Lyapunov-Zertifikat über kompakten Mengen basierend auf endlichen Stichproben zertifiziert (Proposition 14).
Empirische Validierung: Umfassende Experimente an einem 2-DOF-Manipulator und einem 7-DOF Franka Emika Panda demonstrieren die Wirksamkeit und Skalierbarkeit des Rahmens.

Experimentelle Ergebnisse

2-DOF-Manipulator: Bei einem System mit nichtlinearer Reibung und variabler Nutzlast wurde das gelernte Lyapunov-Zertifikat als dominante Quelle des Leistungsgewinns identifiziert. Im Vergleich zur analytischen Slotine–Li-Basislinie reduzierte die vorgeschlagene Methode den Verfolgungsfehler um 41 % unter nomineller Reibung und um 24 % unter aggressiver Reibung am Schwerpunkt der Trainingsverteilung. Ablationsstudien bestätigten, dass das gelernte Zertifikat ( $V_\psi$ ) deutlich mehr Gewinn brachte als das PINN oder die SAC-Richtlinie allein.
Skalierbarkeit auf 7-DOF: Eine Studie an einem 7-DOF Franka Panda (35-dimensionaler Zustandsraum) bestätigte, dass die vollständige Pipeline (Transformer-basiertes PINN, strukturiertes $V_\psi$ , Schutz in geschlossener Form) im industriellen Maßstab sauber konvergiert. Im Vergleich zu einer exakten Computed-Torque-Basislinie (die Zugriff auf die wahre Dynamik hat) erreichte der Rahmen eine Verfolgung innerhalb von 1,7 % der Basislinie, was bestätigt, dass er als zertifizierter Sicherheitsfilter und nicht als Leistungssteigerer fungiert, wenn die Basislinie bereits optimal ist.
Fehlermodi: Die Studie identifizierte eine „Warm-Start-Pathologie", bei der ein Zertifikat, das unter einer bestimmten Belohnungsstruktur trainiert wurde, für neue Belohnungsziele adversär wird, was eine frische Initialisierung erfordert. Es wurde auch numerische Instabilität nahe Zuständen festgestellt, wo $\nabla V_\psi \approx 0$ gilt, was einen Gate-Mechanismus erfordert, um eine Drehmomentverstärkung zu verhindern.

Bedeutung und Behauptungen
Der Artikel behauptet, dass die strukturierte quadratische Parametrisierung die zentrale Designentscheidung ist, die den gesamten Rahmen ermöglicht. Durch die Sicherstellung der Positive Definitheit durch Konstruktion ermöglicht sie einen rechnerisch effizienten Sicherheitsfilter in geschlossener Form, der die Durchführbarkeit ohne Online-Optimierung garantiert. Die Arbeit zeigt, dass gelernte Komponenten in klassische adaptive Regelung integriert werden können, um nicht modellierte Dynamiken zu handhaben, während strenge Stabilitätsgarantien erhalten bleiben. Die Autoren betonen, dass der Wert des Rahmens im gemeinsamen Lernen von Richtlinie, Zertifikat und Dynamikresiduum unter formalen Sicherheitsbeschränkungen liegt und nicht in einer einzelnen Komponente isoliert. Die Ergebnisse deuten darauf hin, dass solche Rahmenwerke über Manipulator-Skalen hinweg praktisch einsetzbar sind, sofern die analytische Basislinie nicht bereits perfekt ist und die Trainingsverteilung den Betriebsbereich abdeckt.