⚡ electrical engineering

Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

Dieser Beitrag stellt Robust Koopman-CBF SAC vor, ein sicheres Reinforcement-Learning-Framework, das einen datengesteuerten Koopman-Prädiktor erlernt, um über ein quadratisches Programm verschärfte Control-Barrier-Function-Bedingungen zu konstruieren und durchzusetzen, wodurch in Benchmarks null Bedingungsverletzungen erreicht werden, während gleichzeitig Aufgabenleistung und Sicherheit ausbalanciert werden.

Ursprüngliche Autoren: Dhruv S. Kushwaha, Zoleikha A. Biron

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dhruv S. Kushwaha, Zoleikha A. Biron

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, zu laufen oder einen Stab auf seinem Kopf im Gleichgewicht zu halten. Sie möchten, dass der Roboter die Aufgabe wirklich gut beherrscht (hohe Leistung), müssen aber gleichzeitig sicherstellen, dass er niemals umfällt, gegen eine Wand läuft oder seine eigenen Gelenke beschädigt (Sicherheit).

Dieser Artikel stellt eine neue Methode namens Robust Koopman-CBF SAC vor, die wie ein „intelligenter Sicherheitswächter" für Roboter wirkt, die durch Versuch und Irrtum lernen. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „wilde Entdecker" versus der „strenge Wächter"

Der Entdecker (Der Roboter): Um zu lernen, muss ein Roboter neue Dinge ausprobieren. Er könnte einen verrückten Zug versuchen, der großartig funktioniert, oder einen Zug, der zu einem Absturz führt. Standard-Lernalgorithmen sind wie wilde Entdecker; sie sind hervorragend darin, den besten Weg zu finden, eine Aufgabe zu erledigen, wissen aber von Natur aus nicht, wie sie einen Absturz vermeiden können.
Der Wächter (Der Sicherheitsfilter): Traditionelle Sicherheitssysteme sind wie strenge Wächter. Sie kennen die Regeln (z. B. „nicht über diese Linie hinausgehen") und stoppen den Roboter, wenn er versucht, sie zu brechen. Diese Wächter benötigen jedoch normalerweise ein perfektes Handbuch darüber, wie sich der Roboter bewegt (ein Physik-Lehrbuch), um ihre Arbeit zu verrichten. Wenn der Roboter komplex ist oder die Physik unbekannt ist, gerät der Wächter in Verwirrung und funktioniert nicht mehr.

2. Die Lösung: Ein „Übersetzer" und ein „Sicherheitsnetz"

Die Autoren haben ein System entwickelt, das das Beste aus beiden Welten kombiniert, indem es drei Haupttricks anwendet:

A. Der Übersetzer (Koopman-Lifting)

Roboter bewegen sich oft auf komplizierte, nichtlineare Weise (wie ein schwingendes Pendel). Es ist schwer vorherzusagen, wohin sie als Nächstes gehen werden.

Die Analogie: Stellen Sie sich vor, Sie versuchen, den Pfad eines wirbelnden Blattes im Wind vorherzusagen. Es ist chaotisch. Aber wenn Sie diese chaotische Bewegung in eine andere „Sprache" übersetzen (einen höherdimensionalen Raum), sieht der Pfad des Blattes plötzlich wie eine gerade Linie aus.
Wie es funktioniert: Das System verwendet einen mathematischen „Übersetzer" (Koopman-Operator), um die chaotischen, realen Bewegungen des Roboters in eine vereinfachte, lineare Sprache zu konvertieren. In dieser neuen Sprache ist die Vorhersage der Zukunft einfach, wie das Zeichnen einer geraden Linie auf einem Blatt Papier.

B. Das Sicherheitsnetz mit einer „Pufferzone" (Robust CBF)

Selbst mit einem Übersetzer ist die Vorhersage nicht perfekt. Es gibt immer ein wenig „Rauschen" oder Fehler.

Die Analogie: Stellen Sie sich einen Seiltänzer vor. Wenn Sie ihm sagen: „Bleiben Sie genau auf dem Seil", könnte er fallen, wenn ein kleiner Windstoß weht. Wenn Sie ihm jedoch sagen: „Bleiben Sie innerhalb dieser breiten, sicheren Zone um das Seil herum", ist er viel sicherer.
Wie es funktioniert: Das System errät nicht nur die Zukunft des Roboters; es misst, wie falsch seine Vorhersagen in der Vergangenheit waren (das „Residuum"). Es fügt dann eine Pufferzone (eine Fehlermarge) zu den Sicherheitsregeln hinzu. Wenn der Roboter versucht, sich zu bewegen, prüft das System: „Selbst wenn meine Vorhersage leicht falsch ist, wird der Roboter dann noch sicher sein?" Wenn die Antwort ja ist, lässt es die Bewegung zu. Wenn die Antwort nein ist, schiebt es den Roboter sanft zurück in die Sicherheit.

C. Der Trainer (Actor-Critic-Lernen)

Der Roboter lernt mit einem „Trainer"-System (Soft Actor-Critic).

Der Twist: Normalerweise sagt der Trainer dem Roboter, was er tun soll, und der Roboter tut es. Aber hier kann der „Sicherheitswächter" die Aktion des Roboters ändern, bevor sie stattfindet.
Die Innovation: Die Autoren sorgten dafür, dass der Trainer lernt, was der Roboter tatsächlich getan hat (nachdem der Sicherheitswächter es korrigiert hat), und nicht nur, was er tun wollte. Dies verhindert, dass der Trainer verwirrt wird und dem Roboter schlechte Gewohnheiten beibringt.

3. Was sie herausfanden (Die Ergebnisse)

Das Team testete dies an zwei Arten von Robotern: einfachen und komplexen, realitätsnahen.

Die einfachen Roboter (CartPole & Quadrotor):
- Das Ergebnis: Das System war perfekt. Es erzielte null Abstürze, während es die Aufgabe genauso gut erfüllte wie ein unsicherer Roboter.
- Warum: Der „Übersetzer" funktionierte hervorragend für diese einfachen Bewegungen, und die „Pufferzone" hatte genau die richtige Größe. Der Sicherheitswächter musste selten eingreifen, weil der Roboter lernte, von selbst sicher zu bleiben.
Die komplexen Roboter (Laufroboter wie HalfCheetah und Walker):
- Das Ergebnis: Das System half, Abstürze zu reduzieren, war aber nicht perfekt. In einigen Fällen konnte es die Roboter nicht so effektiv am Fallen hindern wie andere Methoden.
- Warum: Diese Roboter haben „Füße", die auf den Boden treffen und plötzliche, ruckartige Bewegungen erzeugen (wie ein Auto, das über ein Schlagloch fährt). Der „Übersetzer" konnte diese ruckartigen Bewegungen nicht gut genug vereinfachen. Die „Pufferzone" wurde zu groß, um nützlich zu sein, oder die Sicherheitsregeln wurden unmöglich einzuhalten.
- Die Erkenntnis: Die Autoren entdeckten eine „Warnleuchte". Bevor sie überhaupt mit dem Training begannen, konnten sie den „Vorhersagefehler" messen (das Rauschen im Übersetzer). Wenn dieser Fehler zu hoch war, wussten sie, dass das Sicherheitssystem für diesen spezifischen Roboter nicht gut funktionieren würde. Dies ist ein wichtiges Ergebnis: Sie können vorhersagen, ob ein Sicherheitsfilter funktionieren wird, indem Sie einfach vorher die Mathematik prüfen.

Zusammenfassung

Dieser Artikel stellt eine intelligente Sicherheitsschicht für lernende Roboter vor. Sie übersetzt komplexe Bewegungen in einfache, fügt einen Sicherheitspuffer hinzu, um mathematische Fehler auszugleichen, und lehrt den Roboter basierend auf seinen tatsächlichen sicheren Aktionen.

Wann es funktioniert: Es ist unglaublich effektiv für Roboter mit glatten, vorhersehbaren Bewegungen (wie das Balancieren eines Stabs) und bietet perfekte Sicherheit, ohne das Lernen zu verlangsamen.
Wann es Schwierigkeiten hat: Es stößt bei Robotern mit plötzlichen, ruckartigen Aufprallen (wie Laufen oder Rennen) an eine Wand, weil die Mathematik Schwierigkeiten hat, diese plötzlichen Änderungen vorherzusagen.
Die Kernaussage: Die Autoren stellen ein Werkzeug bereit, um vor dem Start zu prüfen, ob Ihr Sicherheitssystem funktionieren wird. Wenn die Bewegungen des Roboters für die Mathematik zu chaotisch sind, um sie zu vereinfachen, ist dieser spezifische Sicherheitsfilter möglicherweise nicht das richtige Werkzeug für den Job.

Technische Zusammenfassung: Robuste Koopman-Control-Barrier-Filter für sicheres Actor-Critic-Reinforcement-Learning

Problemstellung
Sicheres Reinforcement Learning (RL) für robotische Systeme steht vor einem fundamentalen Spannungsverhältnis: die Verbesserung der Aufgabenerfüllung bei gleichzeitiger strikter Einhaltung von Zustands- und Eingangsbeschränkungen sowohl während des Trainings als auch im Einsatz. Während Control Barrier Functions (CBFs) einen prinzipiellen Mechanismus zur Erzwingung von Vorwärtsinvarianz durch minimal invasive Sicherheitsfilter bieten, wird ihre Anwendung im modellfreien RL durch die Notwendigkeit genauer Systemdynamiken und handgefertigter Barrierenzertifikate behindert. Bestehende Methoden für eingeschränktes RL bieten oft nur Garantien für erwartete kumulative Kosten anstelle von punktweiser Sicherheit, und Bestrafungen durch Belohnungen bieten keine schrittweisen Garantien. Die Autoren adressieren die Herausforderung, die Stichprobeneffizienz von off-policy Deep RL mit einem datengesteuerten CBF-Sicherheitsfilter zu kombinieren, der für nichtlineare Systeme konvex bleibt, wobei speziell die Approximationsfehler inhärent in endlichdimensionalen Koopman-Modellen berücksichtigt werden.

Methodik: Robuster Koopman-CBF SAC
Der Artikel schlägt Robust Koopman-CBF SAC vor, ein sicherheitsgefiltertes Actor-Critic-Framework, das drei Kernkomponenten integriert:

Datengesteuertes Koopman-Lifting: Die Methode lernt einen endlichdimensionalen Koopman-Prädiktor aus Offline-Rollout-Daten mittels erweiterter dynamischer Modendekomposition (Extended Dynamic Mode Decomposition, EDMD). Nichtlineare Dynamiken werden in einen Raum von Observablen $\psi(x)$ gehoben, in dem die Evolution näherungsweise linear ist: $z_{t+1} \approx Az_t + Bu_t$ . Das Wörterbuch $\psi$ umfasst ursprüngliche Zustandskoordinaten und Radial-Basis-Funktionen (RBFs), um sicherzustellen, dass physikalische Beschränkungen als affine Funktionen im gehobenen Raum dargestellt werden können.
Robuste gehobene CBF-Beschränkungen: Um den Approximationsfehler des endlichdimensionalen Modells zu handhaben, führen die Autoren einen projizierten Residualrand ( $\rho$ ) ein. Anstatt die gesamte Residualnorm zu begrenzen, schätzen sie die Komponente des Vorhersagefehlers, die direkt die Barrierenungleichung beeinflusst ( $|c^\top r|$ ), unter Verwendung eines zurückgehaltenen Kalibrierungsdatensatzes ab. Dieser Rand wird über empirische oder konforme Quantile berechnet. Die Sicherheitsbedingung wird verschärft zu:
$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$
Dies resultiert in einer affinen Beschränkung für die Steuereingabe, was die Implementierung des Sicherheitsfilters als leichtgewichtiges quadratisches Programm (QP) ermöglicht.
Actor-Critic-Integration: Das Framework modifiziert den Standard-SAC-Algorithmus (Soft Actor-Critic), um die Diskrepanz zwischen nominalen und ausgeführten Aktionen aufzulösen:
- Critic-Training: Der Critic wird auf der ausgeführten sicheren Aktion ( $u^{safe}_t$ ) trainiert, die vom QP-Filter generiert wird, wodurch sichergestellt wird, dass Werteschätzungen die tatsächlichen geschlossenen Regelkreisdynamiken widerspiegeln.
- Actor-Regularisierung: Der Actor erhält eine differenzierbare CBF-Vorschlagsstrafe ( $\ell_{cbf}$ ), die ihn dazu anregt, Aktionen vorzuschlagen, die bereits innerhalb der zulässigen Menge liegen, wodurch die Abhängigkeit vom Filter im Laufe der Zeit verringert wird.
- Schlupf-Handling: Das QP enthält Schlupfvariablen, um die numerische Machbarkeit unter Aktorgrenzen aufrechtzuerhalten, wobei die Autoren jedoch anmerken, dass positiver Schlupf formale Sicherheitszertifikate abschwächt.

Hauptbeiträge

Robuste Filterformulierung: Einführung eines robusten Koopman-CBF-Sicherheitsfilters für modellfreies Actor-Critic-RL, das nichtlineare Dynamiken in ein näherungsweise lineares System hebt und Sicherheit über eine affine QP-Beschränkung erzwingt.
Projizierter Residualrand: Eine neuartige Methode zur Schätzung des Fehlers endlichdimensionaler Koopman-Modelle unter Verwendung eines aus Kalibrierungsdaten abgeleiteten projizierten Residualrands, der eine direkt implementierbare robuste diskrete CBF-Bedingung liefert.
Konsistentes Actor-Critic-Training: Integration des Filters mit SAC durch Lernen des Critic auf ausgeführten Aktionen und eine auf der Actor-Seite angesiedelte Machbarkeitsstrafe, wodurch die häufige Diskrepanz beseitigt wird, bei der die Politik für ungefilterte Aktionen optimiert, während die Umgebungsübergänge durch gefilterte Aktionen generiert werden.
Empirische Diagnostik: Eine umfassende Evaluierung, die zeigt, dass der projizierte Residualrand $\rho$ als eine vor dem Training berechenbare Diagnose für die Wirksamkeit des Filters dient.

Experimentelle Ergebnisse
Die Methode wurde auf Safe-Control-Gym (CartPole, Quadrotor 2D) und Safety Gymnasium (Walker, HalfCheetah) evaluiert.

Niedrigdimensionale Aufgaben (CartPole & Quadrotor): Bei der Stabilisierung und Verfolgung von CartPole erreichte Robust Koopman-CBF SAC null Verletzungen von Beschränkungen über alle Seeds hinweg, bei gleichzeitigem Erreichen oder Übertreffen der Renditen von unbeschränktem SAC. Bei der 2D-Verfolgung des Quadrotors wurden Verletzungen um 96,8 % reduziert (von 12,5 % auf 0,4 %). Diese Erfolge wurden auf kleine projizierte Residualränder ( $\rho \approx 10^{-3}$ ) und eine korrekte Behandlung des relativen Grades (unter Verwendung von zusammengesetzten Barrieren für den Quadrotor) zurückgeführt.
Hochdimensionale Lokomotion (Walker & HalfCheetah): Die Ergebnisse waren gemischt und legten strukturelle Grenzen offen. Beim Walker wurden Verletzungen von 77,8 % auf 37,0 % reduziert, jedoch wurde die Methode von SAC+Lagrangian (3,34 % Verletzungen) übertroffen. Beim HalfCheetah blieben die Verletzungen hoch (82,8 %) bei einer schweren Leistungssanktion (-70 % Rendite).
Fehleranalyse: Bei hochdimensionalen, kontaktreichen Aufgaben war der projizierte Residualrand $\rho$ groß (0,698 für Walker, 1,782 für HalfCheetah). Dieser große Fehler führte dazu, dass die robuste CBF-Beschränkung entweder trivialerweise erfüllt wurde (wenn der Agent bereits unsicher war) oder unter Aktorgrenzen nicht machbar war, wodurch der Filter unwirksam wurde. Die Autoren identifizieren, dass lineare EDMD-Modelle die nicht-glatten Geschwindigkeitsübergänge, die durch Bodenkontakt verursacht werden, nicht erfassen können.

Bedeutung und Behauptungen
Der Artikel behauptet, dass Robust Koopman-CBF-Filter eine vielversprechende Brücke zwischen modellfreiem RL und zertifizierbarer Sicherheit darstellen, insbesondere für Aufgaben, bei denen das gehobene Modell und die Barriere gut mit der Systemstruktur übereinstimmen. Die primäre Bedeutung liegt in der diagnostischen Fähigkeit des projizierten Residualrands $\rho$ : Es handelt sich um eine Metrik vor dem Training, die vorhersagt, ob ein Koopman-CBF-Filter wirksam sein wird.

Die Autoren sind bezüglich der Universalität der Methode bescheiden und stellen ausdrücklich fest, dass der Ansatz strukturelle Grenzen in kontaktreichen, hochdimensionalen Umgebungen hat, bei denen lineare Approximationen erster Ordnung versagen. Sie klären, dass die Methode zwar punktweise Sicherheit bietet, wenn $\rho$ klein ist und das QP machbar ist, aber keine Sicherheit garantiert, wenn der Residualfehler den Barrierenrand dominiert oder wenn der relative Grad der Barriere nicht übereinstimmt. Die Arbeit unterstreicht die Notwendigkeit von höherordentlichen oder mehrstufigen Koopman-Erweiterungen, um diese Grenzen bei komplexen Lokomotionsaufgaben zu adressieren.