Learning Safe-by-Design Neural Network Controllers

Technischer Zusammenfassung: Lernen sicherer, nach Design-Prinzipien gestalteter neuronaler Netzwerk-Regler

Problemstellung
Neuronale Netze (NN) werden zunehmend als Rückkopplungsregelungsstrategien eingesetzt, um komplexe, hochdimensionale nichtlineare Dynamiken zu bewältigen. Allerdings fehlen rein erlernten Reglern oft formale Sicherheitsgarantien, was dazu führen kann, dass Aktionen generiert werden, die kritische Einschränkungen wie Kollisionsvermeidung oder Stellgrößenbegrenzungen verletzen. Eine gängige Minderungsstrategie besteht darin, einen Sicherheitsfilter, typischerweise basierend auf Control Barrier Functions (CBFs), an einen vortrainierten Regler anzuhängen. In Standardrahmen löst dieser Filter online ein quadratisches Optimierungsproblem (QP), um Sicherheitsbedingungen zu erzwingen, die durch einen CBF-Kandidaten $h(x)$ und eine erweiterte $\mathcal{K}$-Funktion $\alpha(\cdot)$ definiert sind.

Dieses entkoppelte Design weist zwei Hauptnachteile auf:

1. Konservatismus und Suboptimalität: Die Funktion $\alpha(\cdot)$ ist oft festgelegt (z. B. $\alpha(h) = \omega h$) mit manuell abgestimmten Parametern. Eine schlechte Abstimmung führt zu übermäßig konservativem Verhalten, was die Regelungsleistung verschlechtert, während eine aggressive Abstimmung Sicherheitsverletzungen riskiert.
2. Rechenaufwand: Das Lösen eines QP zur Laufzeit führt zu Rechenlatenz und Zuverlässigkeitsbedenken, was den Echtzeit-Einsatz behindert, insbesondere für Systeme mit hochdimensionalen Zustandsräumen oder zahlreichen Einschränkungen.

Während neuere Arbeiten wie BarrierNet und CAffNet versuchen, Sicherheit in den Lernprozess zu integrieren, behalten sie entweder die teure Online-QP-Schicht bei oder leiden unter Skalierbarkeitsproblemen aufgrund der exponentiellen Komplexität beim Projizieren von Ausgaben auf zulässige Mengen, die durch viele Einschränkungen definiert sind.

Methodik
Die Autoren schlagen ein „Safe-by-Design"-Rahmenwerk vor, das einen neuronalen Netzwerk-Regler und CBF-Bedingungen, die durch neuronale Netze parametrisiert sind, gemeinsam lernt. Dabei werden Sicherheitsbedingungen direkt in die Reglerarchitektur eingebettet, um die Notwendigkeit von Online-QP-Lösern zu eliminieren.

1. CAffNet-Lite-Architektur:
   Der Kernbeitrag ist CAffNet-Lite, eine leichte Erweiterung der bestehenden CAffNet-Architektur. Sie integriert eine constraints-affine Schicht mit einem trainierbaren Projektionsmodul, um zustandsabhängige affine Einschränkungen $A(x)u \leq b(x)$ durch Konstruktion zu erfüllen.

   • Leichte Constraints-Zerlegung: Im Gegensatz zu CAffNet, das alle möglichen Kombinationen aktiver Constraints auflistet (was zu einer exponentiellen Komplexität $O(2^{n_c})$ führt), verwendet CAffNet-Lite eine reduzierte Zerlegungsstrategie. Es betrachtet nur Teil-Constraints mit der minimalen Ordnung ($k=1$) oder der maximalen Ordnung ($k=\min(n_c, m)$). Dies reduziert die Worst-Case-Komplexität auf polynomiell $O(n_c^m)$ und verbessert die Skalierbarkeit für Systeme mit vielen Constraints erheblich.
   • Projektionsmechanismus: Das Netzwerk gibt ein unbeschränktes Steuersignal $f_\theta(x)$ aus. Wenn dieses Signal Constraints verletzt, berechnet eine Projektionsschicht eine zulässige Kandidatenmenge, indem sie auf die Hyperebenen der Teil-Constraints projiziert. Die endgültige Ausgabe ist das unbeschränkte Signal (falls zulässig) oder die nächstgelegene zulässige Projektion, was die Einhaltung harter Constraints ohne vollständigen Rang oder linear unabhängige Constraints sicherstellt.

2. Gemeinsames Lernen von CBF-Parametern:
   Anstatt die Abklingfunktion $\alpha(\cdot)$ festzulegen, ersetzt das Rahmenwerk sie durch eine trainierbare neuronale Netzwerk-Parametrisierung $\alpha_\vartheta(x, h(x))$. Dies ermöglicht dem System, eine „optimale Abkling"-Eigenschaft zu erlernen, die sich an das Verhalten des Reglers und die Systemdynamik anpasst. Die Sicherheitsbedingungen werden wie folgt formuliert:
   $$A(x)u \leq b_\vartheta(x)$$
   wobei $b_\vartheta(x)$ das erlernte $\alpha_\vartheta$ integriert.

3. Theoretische Garantien:
   Da die Projektionsschicht einen $\arg\min$-Operator beinhaltet, der zu unstetigen Steuersignalen führen kann, etablieren die Autoren die Sicherheit im Filippov-Sinne. Sie beweisen, dass das resultierende stückweise stetige Regelgesetz die starke Vorwärtsinvarianz der sicheren Menge garantiert, wodurch sichergestellt wird, dass das System, wenn es innerhalb der sicheren Menge startet, für alle zukünftigen Zeiten dort bleibt.

Hauptbeiträge

1. CAffNet-Lite: Einführung einer leichten Projektionsarchitektur, die die Rechenkomplexität in Bezug auf die Anzahl der Constraints von exponentiell auf polynomiell reduziert, während die Einhaltung harter affiner Constraints und die Eigenschaften der universellen Approximation erhalten bleiben.
2. Gemeinsame Optimierung: Ein Rahmenwerk, das einen neuronalen Netzwerk-Regler und CBF-Parameter (insbesondere die Abklingfunktion) gemeinsam trainiert und die Einhaltung von Sicherheitsbedingungen durch Konstruktion ohne Online-QP-Löser ermöglicht.
3. Theoretischer Beweis: Beweis, dass der vorgeschlagene Regler die starke Vorwärtsinvarianz der sicheren Menge im Filippov-Sinne erfüllt und damit die durch die Projektionsschicht eingeführte Unstetigkeit adressiert.

Experimentelle Ergebnisse
Das Rahmenwerk wurde in zwei Simulationszenarien evaluiert:

1. Einziger Integrator mit Kollisionsvermeidung:

   • Aufbau: Ein 2D-Integratorsystem, das drei konvexe polyedrische Hindernisse vermeidet.
   • Ergebnisse: CAffNet und CAffNet-Lite erzielten die niedrigsten mittleren Kosten (am nächsten am nominalen Regler), während sie alle Sicherheitsbedingungen strikt einhielten (0 % Verletzungen). Im Gegensatz dazu zeigten Standard-NNs und HardNet Constraints-Verletzungen, und QP-basierte Methoden mit festen Parametern waren entweder zu konservativ (erreichten das Ziel nicht) oder benötigten höhere Rechenzeit.
   • Effizienz: CAffNet-Lite entsprach der Leistung von CAffNet, jedoch mit reduzierter Testzeit, was die Effizienz der leichten Zerlegung demonstriert.

2. Geofencing für Starrflügler:

   • Aufbau: Ein 7-Zustands-, 3-Eingangs-Flugzeugmodell, das Geofence-Constraints durchsetzt.
   • Ergebnisse: Sowohl CAffNet als auch CAffNet-Lite lernten erfolgreich sichere Geschwindigkeitsbefehle, die Geofences vermieden.
   • Effizienz: CAffNet-Lite zeigte im Vergleich zum ursprünglichen CAffNet deutlich niedrigere Trainings- und Testzeiten, was seine überlegene Skalierbarkeit für höherdimensionale Systeme bestätigt. Während CAffNet aufgrund mehrerer Projektionskandidaten in Bezug auf die Kosten etwas schneller konvergierte, bot CAffNet-Lite einen besseren Kompromiss für die Echtzeit-Anwendbarkeit.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass durch die direkte Einbettung affiner Sicherheitsbedingungen in den neuronalen Regler und das gemeinsame Lernen der CBF-Parameter die vorgeschlagene Methode den Konservatismus von Filtern mit festen Parametern und die Rechenlast von Online-QP-Lösern überwindet. Die Autoren betonen, dass CAffNet-Lite eine skalierbare, für den Echtzeit-Einsatz geeignete Lösung bietet, die durch Konstruktion die Einhaltung harter Sicherheitsbedingungen garantiert. Die Arbeit positioniert sich als Schritt hin zu einer „Safe-by-Design"-Regelung, bei der Sicherheit kein nachträglicher Gedanke oder ein Laufzeitfilter ist, sondern eine inhärente Eigenschaft der erlernten Strategie. Die Autoren vermerken bescheiden, dass zukünftige Arbeiten die Erweiterung des Rahmenwerks auf breitere Klassen von Constraints und die Evaluierung der Leistung an realen Systemen untersuchen werden.