Safe Policy Optimization via Control Barrier Function-based Safety Filters

Diese Arbeit stellt ein Policy-Optimierungs-Framework vor, das durch die gemeinsame Parametrisierung und Lyapunov-gestützte Optimierung von linearen Reglern und CBF-Sicherheitsfiltern die Stabilitätseigenschaften sicherer geschlossener Kreise maximiert, ohne die Vorwärtsinvarianz der Sicherheitsmenge zu verletzen.

Das Wesentliche

Stellen Sie sich vor, Sie lernen einen Roboter, wie einen kleinen autonomen Staubsauger oder ein selbstfahrendes Auto, wie man sicher und effizient durch eine Wohnung navigiert.

Das Problem, das diese Forscher lösen, ist wie folgt:

1. Das Dilemma: Der „Sicherheitsgurt" vs. der „Fahrer"

Stellen Sie sich zwei Personen vor, die das Lenkrad halten:

• Der Fahrer (Der nominale Controller): Er ist ein erfahrener, ruhiger Fahrer. Sein Ziel ist es, das Auto schnell und direkt zum Ziel (z. B. zur Garage) zu bringen. Er weiß genau, wie man das Auto stabilisiert.
• Der Sicherheitsgurt (Der CBF-Filter): Das ist ein strenger Sicherheitsbeauftragter. Seine einzige Aufgabe ist es, zu verhindern, dass das Auto gegen eine Wand fährt oder in einen Graben stürzt. Wenn der Fahrer eine Bewegung plant, die ihn zu nahe an eine Wand bringt, greift der Sicherheitsgurt sofort ein und korrigiert die Lenkung, um die Wand zu umgehen.

Das Problem: Wenn der Sicherheitsgurt zu oft oder zu grob eingreift, passiert etwas Seltsames. Der Fahrer versucht, geradeaus zu fahren, aber der Gurt zieht ihn ständig zur Seite. Das Ergebnis ist nicht mehr ein flüssiges Fahren, sondern ein nervöses Hin-und-Her-Zucken.
In der Mathematik nennt man das unerwünschte Gleichgewichtspunkte. Das Auto könnte anhalten und stecken bleiben, genau dort, wo es eigentlich durchfahren sollte, weil der Sicherheitsgurt und der Fahrer sich „in die Haare geraten". Oder das Auto beginnt, in endlosen Kreisen zu fahren (Limit-Zyklen), statt ans Ziel zu kommen.

2. Die Lösung: Ein gemeinsames Training

Die Forscher sagen: „Wir können nicht nur den Sicherheitsgurt verbessern, wir müssen den Fahrer so trainieren, dass er mit dem Sicherheitsgurt harmoniert."

Statt den Fahrer starr zu lassen und den Sicherheitsgurt nur als Notfall-Regel zu nutzen, optimieren sie beide gleichzeitig.

• Die Methode: Sie nutzen eine Art „Simulations-Flug". Sie lassen den Roboter tausende Male durch verschiedene Szenarien (mit Hindernissen wie Möbeln oder anderen Autos) fahren.
• Das Ziel: Sie wollen nicht nur, dass er nicht anstößt (Sicherheit), sondern dass er schnell und flüssig ans Ziel kommt (Stabilität).
• Der Trick: Während des Trainings achten sie extrem genau darauf, dass der Fahrer niemals vergisst, wie man das Auto stabil hält. Wenn der Algorithmus einen Schritt macht, der das Auto instabil machen könnte (z. B. es zum Wackeln bringt), wird dieser Schritt sofort gestoppt und korrigiert. Das ist wie ein Sicherheitsnetz, das verhindert, dass der Roboter während des Lernens „verrückt" wird.

3. Die Ergebnisse: Vom Zittern zum Gleiten

In ihren Experimenten haben sie gezeigt, was passiert:

• Vor dem Training: Der Roboter fährt auf den Sicherheitsgurt zu, wird abrupt abgelenkt, bleibt dann an einer unsichtbaren „Mauer" hängen und kommt nicht mehr weiter. Oder er fährt in endlosen Schleifen um ein Hindernis herum.
• Nach dem Training: Der Fahrer hat gelernt, seine Bewegungen so anzupassen, dass der Sicherheitsgurt kaum noch eingreifen muss. Das Auto gleitet elegant um die Hindernisse herum, bleibt dabei immer sicher (berührt keine Wände) und erreicht sein Ziel schnell und direkt.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie lernen, mit einem Skateboard durch einen engen Parkour zu fahren.

• Ohne Optimierung: Sie versuchen, schnell zu sein, aber ein unsichtbarer Gurt (der Sicherheitsfilter) reißt Sie jedes Mal ab, wenn Sie zu nah an eine Mauer kommen. Am Ende stehen Sie steif da oder tanzen nervös hin und her, weil Sie sich gegenseitig blockieren.
• Mit dieser Optimierung: Sie trainieren Ihren Körper (den Controller) so, dass Sie die Bewegungen des Gurts vorhersehen. Sie lernen, so zu fahren, dass der Gurt Sie gar nicht erst braucht, außer in absoluten Notfällen. Das Ergebnis ist ein flüssiger, sicherer und schneller Lauf durch den Parkour.

Der Kern der Botschaft: Sicherheit und Leistung müssen nicht verfeindete Gegner sein. Durch intelligentes gemeinsames Training kann man Systeme schaffen, die nicht nur sicher sind, sondern auch hervorragend funktionieren, ohne in „Stress-Situationen" stecken zu bleiben.

Technische Zusammenfassung

1. Problemstellung

In autonomen Systemen (Robotik, Verkehr, Energiesysteme) ist die Gewährleistung von Sicherheit (Forward Invarianz einer „sicheren" Menge $C$) oft ebenso wichtig wie die Stabilität des Systems. Control Barrier Functions (CBFs) bieten einen systematischen Ansatz, um Sicherheitsbedingungen durch sogenannte Safety Filters zu erzwingen. Diese Filter modifizieren einen nominalen (vorhergesagten) Regler minimal, um die CBF-Bedingung zu erfüllen.

Das zentrale Problem, das in diesem Paper adressiert wird, ist jedoch, dass die Interaktion zwischen einem nominalen Regler und einem CBF-basierten Safety Filter die geschlossenen Schleifen-Dynamiken erheblich verändern kann. Selbst wenn der nominale Regler global asymptotisch stabil ist, kann das gefilterte System unerwünschte Verhaltensweisen aufweisen, wie z. B.:

• Asymptotisch stabile, unerwünschte Gleichgewichtspunkte (die das System in der Nähe von Hindernissen „einfangen" können).
• Grenzzyklen.
• Unbeschränkte Trajektorien.

Bisherige Arbeiten haben sich entweder auf das Lernen von Reglern mit Lyapunov-Funktionen oder auf die Analyse der CBF-Effekte konzentriert, aber es fehlte ein systematischer Rahmen, um sowohl den nominalen Regler als auch die Parameter des Safety Filters gemeinsam zu optimieren, um diese negativen dynamischen Effekte zu minimieren, ohne die Sicherheit zu gefährden.

2. Methodik

Das Paper entwickelt einen Policy-Optimierungs-Rahmen, der die Dynamik von Safety-Filtern verbessert, indem er die Parameter des nominalen Reglers und des Filters gemeinsam optimiert.

A. Parametrisierung und Problemformulierung
Für lineare Systeme ($\dot{x} = Ax + Bu$) mit linearen nominalen Reglern ($u = -Kx$) werden folgende Komponenten gemeinsam parametrisiert:

• Der nominale Regler ($K$).
• Die CBF-Klasse-$\mathcal{K}_\infty$-Funktion ($\alpha$).
• Die Gewichtungsmatrix des Safety Filters ($G$).
• Die CBF-Funktion selbst ($h$).

Das Ziel ist die Minimierung einer trajektorienbasierten Kostenfunktion $L(\theta)$, die über eine endliche Zeitspanne $T$ berechnet wird. Diese Kostenfunktion bestraft Abweichungen vom gewünschten Gleichgewichtspunkt (dem Ursprung) und fördert eine schnelle Konvergenz.

B. Sicherstellung der Stabilität (Lyapunov-Bedingungen)
Ein kritischer Aspekt ist, dass der nominale Regler während des gesamten Trainingsprozesses stabilisierend bleiben muss.

• Die Stabilitätsbedingung wird durch eine Lyapunov-Matrixungleichung (LMI) formuliert: $(A-BK)^\top P + P(A-BK) \prec 0$.
• Um dies für gradientenbasierte Optimierungsverfahren handhabbar zu machen, wird die LMI in skalare algebraische Ungleichungen umgewandelt. Dies geschieht durch die Nutzung der Hauptminoren (leading principal minors) der Matrizen. Eine Matrix ist genau dann positiv definit, wenn alle ihre führenden Hauptminoren positiv sind.
• Dies wandelt die nicht-konvexe Matrixungleichung in eine Reihe von skalaren Ungleichungsnebenbedingungen um, die differenzierbar sind.

C. Algorithmische Implementierung: Robust Safe Gradient Flow (RSGF)
Da die Kostenfunktion $L(\theta)$ durch Simulationen (Rollouts) geschätzt wird und die Stabilitätsnebenbedingungen strikt eingehalten werden müssen, wird der Robust Safe Gradient Flow (RSGF) Algorithmus verwendet.

• Garantie: Im Gegensatz zu herkömmlichen Methoden (wie Interior-Point), die die Nebenbedingungen nur asymptotisch oder in der Lösung erfüllen, garantiert RSGF, dass alle Iterierten innerhalb des zulässigen Bereichs bleiben, sofern der Startpunkt zulässig ist.
• Gradientenschätzung: Da der Gradient von $L(\theta)$ nicht analytisch verfügbar ist, wird er durch Monte-Carlo-Sampling von Anfangszuständen und numerischer Differentiation der Rollout-Kosten approximiert.
• Konvergenz: Es wird bewiesen, dass der Algorithmus bei hinreichend genauer Gradientenschätzung in eine Umgebung eines KKT-Punktes konvergiert und dabei die Stabilität des nominalen Reglers während des gesamten Trainings bewahrt.

D. Umgang mit mehreren Hindernissen
Für Szenarien mit mehreren Sicherheitsbeschränkungen (mehrere Hindernisse) wird eine Log-Sum-Exp-Relaxation verwendet, um mehrere Barrieren-Funktionen zu einer einzigen glatten Funktion zu kombinieren. Dies vermeidet die Notwendigkeit, bei jedem Zeitschritt ein quadratisches Programm (QP) mit mehreren Nebenbedingungen zu lösen, und ermöglicht eine geschlossene Formel für den Steuerbefehl, was die Gradientenberechnung erheblich vereinfacht.

3. Wichtige Beiträge

1. Gemeinsame Parametrisierung: Formulierung eines Optimierungsproblems, das den nominalen Regler, die CBF-Funktion und die Filtergewichte gemeinsam optimiert, um die geschlossenen Schleifen-Dynamiken zu formen.
2. Glattmachung von Stabilitätsbedingungen: Umwandlung der nicht-konvexen LMI-Stabilitätsbedingungen in differenzbare skalare Nebenbedingungen mittels Hauptminoren, was gradientenbasierte Optimierung ermöglicht.
3. Robustes Training: Entwicklung eines Trainingsverfahrens auf Basis von RSGF, das mathematisch garantiert, dass der nominale Regler während des gesamten Trainings stabil bleibt (Vermeidung von Instabilität während des Lernens).
4. Beseitigung unerwünschter Gleichgewichte: Nachweis, dass der Ansatz asymptotisch stabile, unerwünschte Gleichgewichtspunkte eliminieren und die Konvergenz zum Zielzustand verbessern kann, während die Forward Invarianz der sicheren Menge erhalten bleibt.

4. Ergebnisse (Numerische Experimente)

Die Methode wurde an mehreren planaren Beispielen (Einzelintegrator-System) getestet:

• Begrenzter sicherer Bereich (Kreis): Ein initialer Regler erzeugte zwei unerwünschte Gleichgewichtspunkte auf dem Rand des sicheren Bereichs, von denen einer asymptotisch stabil war. Nach dem Training verschwanden diese Gleichgewichtspunkte vollständig; alle Trajektorien konvergierten zum Ursprung.
• Einzelnes Hindernis: Der initiale Regler führte zu einem asymptotisch stabilen unerwünschten Gleichgewichtspunkt auf dem Hindernisrand, was dazu führte, dass einige Trajektorien dort stecken blieben. Nach dem Training war dieser Gleichgewichtspunkt instabil geworden; alle Trajektorien umfuhren das Hindernis sicher und konvergierten zum Ursprung.
• Mehrere Hindernisse (Komplexe Geometrie): In einer Umgebung mit mehreren elliptischen Hindernissen und Box-Beschränkungen erzeugte der initiale Regler drei asymptotisch stabile unerwünschte Gleichgewichtspunkte. Das optimierte System eliminierte alle stabilen unerwünschten Gleichgewichte; verbleibende Gleichgewichtspunkte waren instabil, und alle Trajektorien erreichten das Ziel sicher.

5. Bedeutung und Fazit

Dieses Paper liefert einen wichtigen Beitrag zur sicheren Steuerung autonomer Systeme, indem es das oft vernachlässigte Problem der Dynamikverschlechterung durch Safety Filters adressiert.

• Praktische Relevanz: Viele Sicherheitsfilter führen in der Praxis zu suboptimalen oder sogar gefährlichen Verhaltensweisen (z. B. Steckenbleiben in lokalen Minima). Der vorgeschlagene Ansatz bietet einen systematischen Weg, diese Probleme zu beheben, ohne auf die Sicherheitsgarantien zu verzichten.
• Theoretische Sicherheit: Die Integration von RSGF stellt sicher, dass das Training selbst sicher ist (keine Instabilität während des Lernens), was für den Einsatz in realen Systemen entscheidend ist.
• Zukunftsperspektive: Die Arbeit ebnet den Weg für die Anwendung auf nichtlineare Systeme und die Entwicklung parametrisierter nichtlinearer nominaler Regler, um die Leistungsfähigkeit in komplexeren Umgebungen weiter zu steigern.

Zusammenfassend demonstriert das Paper, dass durch die gemeinsame Optimierung von Regler und Filter unter strikten Stabilitätsbedingungen Safety Filters nicht nur als passive Sicherheitsmechanismen, sondern als aktive Komponenten zur Verbesserung der Systemdynamik genutzt werden können.