Technisches Resümee: Vom Lernen zur Sicherheit: Ein direkter datengesteuerter Rahmen für die beschränkte Regelung

1. Problemstellung

Die Arbeit befasst sich mit der kritischen Herausforderung, die Sicherheit (Einhaltung von Beschränkungen) in lernbasierten Regelsystemen zu gewährleisten, insbesondere in modellfreien Umgebungen, in denen explizite Systemdynamiken nicht verfügbar sind. Während traditionelle Sicherheitsfilter (z. B. Control Barrier Functions oder CBFs) die Sicherheit in modellbasierten Kontexten durch die Modifikation von Steuereingängen effektiv erzwingen, beruhen sie typischerweise auf prädiktiven Modellen, die aus der Physik oder Daten abgeleitet werden. Diese Abhängigkeit schafft eine Lücke: Bestehende datengesteuerte Sicherheitsfilter sind meist „indirekt“, erfordern zuerst eine Systemidentifikation, was Fehler verstärkt und die Sicherheitsleistung verschlechtert. Darüber hinaus sind „direkte“ datengesteuerte Methoden oft auf lineare Beschränkungen beschränkt oder lassen formale Sicherheitsgarantien vermissen.

Das Kernproblem besteht darin, einen Regelungsrahmen zu entwerfen, der:

1. Direkt aus Zustandsübergangsdaten operiert, ohne eine explizite Systemidentifikation zu benötigen.
2. Nahtlos mit beliebigen modellfreien Lernalgorithmen (z. B. Reinforcement Learning, Supervised Learning) integriert wird, um die Leistung zu optimieren.
3. Formale Garantien für Sicherheit und rekursive Zulässigkeit bietet, selbst bei Lernungenauigkeiten.

2. Methodik

Die vorgeschlagene Lösung ist ein optimierungsbasierter Regelungsrahmen, der die Leistungsoptimierung von der Sicherheitserforcement entkoppelt. Der Rahmen stützt sich auf ein neuartiges Sicherheitszertifikat namens State-Action Control Barrier Function (SACBF).

A. Kernkonzept: State-Action Control Barrier Function (SACBF)

Im Gegensatz zu klassischen CBFs, die die Sicherheit ausschließlich basierend auf dem Zustand $x$ bewerten, ist die SACBF, bezeichnet als $Q_B(x, u)$, eine Funktion sowohl des Zustands als auch des Steuereingangs.

• Definition: Eine Funktion $Q_B$ ist eine SACBF, wenn ihre Null-Untersatzt-Menge eine sichere Menge $S_Q$ definiert, sodass für jeden Zustand in $S_Q$ ein Eingang existiert, der $Q_B(x, u) \leq 0$ erfüllt und den nächsten Zustand innerhalb von $S_Q$ hält.
• Vorteil: Diese Formulierung ermöglicht es dem Sicherheitsfilter, die Sicherheit einer Kandidaten-Steueraktion direkt am aktuellen Zustands-Aktions-Paar zu bewerten, ohne die Dynamik vorwärts zu propagieren oder ein Modell $f(x, u)$ zu benötigen.

B. Der Regelungsrahmen

Die Steuerungsrichtlinie $\pi(x)$ ist die Lösung eines beschränkten Optimierungsproblems:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{s.t.} \quad Q_B(x, u) \leq 0$$
Hierbei ist $Q(x, u)$ eine Zielfunktion (erlernt via RL oder SL), die die Aufgabenleistung repräsentiert, und $Q_B(x, u)$ ist die gelernte SACBF, die als Sicherheitsbeschränkung fungiert.

C. Lernen von SACBFs

Die Arbeit schlägt drei verschiedene datengesteuerte Syntheseverfahren für $Q_B$ vor:

1. Reinforcement Learning (RL): Behandelt die SACBF-Synthese als Erreichbarkeitsproblem. Es passt wertbasierte RL-Methoden (wie das Temporal Difference Learning) an, um die optimale Value-Funktion eines Erreichbarkeitsproblems zu approximieren. Hinweis: Diese Methode verfügt aufgrund der nicht-kontraktiven Natur der ungewichteten Bellman-Gleichung in der Erreichbarkeit über keine formalen Konvergenzgarantien für das Sicherheitszertifikat selbst.
2. Expertengestütztes Lernen: Setzt die Verfügbarkeit eines Experten-Sicherheitsreglers voraus (z. B. künstliche Potenzialfelder). Es formuliert die Synthese als robustes Optimierungsproblem, um eine SACBF zu finden, die konsistent mit den sicheren Trajektorien des Experten ist.
3. Supervised Learning (SL): Setzt voraus, dass bereits eine gültige klassische CBF $B(x)$ bekannt ist. Es nutzt Supervised Regression, um die Abbildung von Zustands-Aktions-Paaren auf den SACBF-Wert zu lernen, der aus der bekannten CBF abgeleitet wurde.

D. Robustheitsanalyse: Error-to-State Safety (ESSf)

Um Lernfehler zu adressieren (wenn die gelernte $Q_B^\omega$ von der wahren $Q_B$ abweicht), führt die Autorenschaft einen Error-to-State Safety (ESSf) Rahmen ein.

• Mechanismus: Anstatt sich auf eine modellbasierte Vorhersage zu verlassen, quantifiziert der Rahmen die Auswirkungen von Lernfehlern ($\epsilon$) direkt auf die Sicherheitsbeschränkungen.
• Strategie: Er verwendet einen Ansatz der Beschränkungserweiterung und -lockerung (tightening and relaxation):
  • Verengen (Tighten) der ursprünglichen Zustandsbeschränkungen ($h(x) \leq 0$) zu $h(x) + \delta(\epsilon) \leq 0$.
  • Lockern (Relax) der SACBF-Beschränkung im Filter zu $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• Ergebnis: Die Theoreme 1 und 2 liefern geschlossene Beziehungen, die zeigen, dass das System bei begrenzten Lernfehlern rekursiv zulässig und innerhalb der verengten Zustandsbeschränkungen sicher bleibt.

E. Richtlinienverfeinerung (Policy Refinement)

Sobald eine gültige SACBF gelernt wurde, erweitert der Rahmen unbeschränkte wertbasierte RL-Algorithmen (wie Fitted Q Iteration) auf das beschränkte Setting. Der Algorithmus (Constrained FQI) aktualisiert iterativ die Leistungsfunktion $Q_\theta$, während die gelernte SACBF-Beschränkung eingehalten wird, wodurch sichergestellt wird, dass die resultierende Richtlinie nahezu optimal für die Aufgabe ist und gleichzeitig die Sicherheit gewährleistet.

3. Wichtigste Beiträge

1. Direkter datengesteuerter sicherer Regelungsrahmen: Die Arbeit schlägt einen Rahmen vor, der sichere Regler direkt aus Daten lernt, ohne Systemidentifikation, und damit die Lücke zwischen modellfreiem Lernen und beschränkter Regelung schließt.
2. State-Action Control Barrier Functions (SACBF): Sie führt SACBFs ein und nutzt diese, welche die Sicherheit auf Zustands-Aktions-Paaren bewerten und somit Sicherheitsfilter ermöglichen, die keine expliziten Dynamikmodelle benötigen.
3. Drei Syntheseschemata: Sie präsentiert drei Methoden zum Lernen von SACBFs: via RL (allgemein, aber weniger garantiert), via Experten-Demonstrationen (robust) und via Supervised Learning aus bekannten CBFs (beispieleffizient).
4. Error-to-State Safety (ESSf) Analyse: Sie bietet einen neuartigen Robustheitsanalyse-Rahmen, der quantifiziert, wie Lernfehler die Sicherheit beeinflussen, und bietet formale Garantien durch Zustandsbeschränkungsverengung und SACBF-Beschränkungslockerung.
5. Entkoppelte Optimierung: Der Rahmen trennt das Leistungs-Lernen (Optimierung von $Q$) vom Sicherheits-Enforcement (Optimierung von $Q_B), was die Integration verschiedener Lernalgorithmen ermöglicht, während die Sicherheit gewahrt bleibt.

4. Ergebnisse

Der Rahmen wurde durch Simulationen eines autonomen Fahrzeugs validiert, das sich in einem 2D-Raum mit Hindernissen bewegt.

• Fallstudien-Setup: Es wurde ein kinematisches Fahrzeugmodell mit Zustands- und Eingangsbeschränkungen verwendet. Die SACBF wurde sowohl durch den expertengestützten Ansatz (unter Verwendung von künstlichen Potenzialfeldern als Experte) als auch durch den RL-Ansatz gelernt.
• Sicherheitsleistung:
  • Der vorgeschlagene 3DSF (Direct Data-Driven Safety Filter) erreichte eine Sicherheitsrate von 100 % über verschiedene Anfangsbedingungen und Referenzrichtlinien (sowohl unsicheres APF als auch unsicheres DDPG) hinweg.
  • Im Gegensatz dazu erreichten indirekte datengesteuerte Sicherheitsfilter (die auf einem gelernten Modell basieren) niedrigere Sicherheitsraten (z. B. ~79 % für unsicheres APF), was auf die Kumulierung von Modellidentifikationsfehlern und CBF-Lernfehlern zurückzuführen ist.
  • MPC (Model Predictive Control) erreichte eine 100%ige Sicherheit, litt jedoch unter schlechter Aufgabenleistung (nur ~78 % der Trajektorien erreichten das Ziel) aufgrund von nicht-konvexen Optimierungsproblemen und hohem Rechenaufwand.
• Aufgabenleistung:
  • Der Constrained FQI Algorithmus (Lernen von $Q$ mit SACBF-Beschränkungen) erreichte eine Gesamtkosten von 173,85 und übertraf damit sowohl die sicheren als auch die unsicheren DDPG-Richtlinien, die durch 3DSF gefiltert wurden. Dies zeigt, dass die direkte Integration von Sicherheitsbeschränkungen in den RL-Trainingsprozess die Aufgabenleistung im Vergleich zu Post-hoc-Filterung oder Reward Shaping verbessert.
• Recheneffizienz: Der 3DSF demonstrierte deutlich geringere Online-CPU-Zeiten (ca. 2,2 ms) im Vergleich zu MPC (ca. 33 ms), was ihn für Echtzeitanwendungen geeignet macht.

5. Bedeutung und Behauptungen

Die Arbeit beansprucht, einen bescheidenen, aber rigorosen Fortschritt in der sicheren lernbasierten Regelung zu leisten:

• Überbrückung der Lücke: Sie schließt erfolgreich die Lücke zwischen modellfreiem Lernen und beschränkter Regelung, indem sie die Abhängigkeit von expliziten Systemmodellen für die Sicherheitserforcement entfernt.
• Formale Garantien ohne Modelle: Sie bietet formale Sicherheitsgarantien (rekursive Zulässigkeit und Beschränkungseinhaltung), selbst wenn die Systemdynamiken unbekannt sind, vorausgesetzt, die Lernfehler sind begrenzt.
• Überlegenheit gegenüber indirekten Methoden: Die Ergebnisse legen nahe, dass direkte datengesteuerte Ansätze die in indirekten Methoden inhärente Fehlerkumulierung (Modellidentifikation + Reglerlernen) vermeiden, was zu besseren Sicherheitsraten führt.
• Flexibilität: Der Rahmen ist mit einer Vielzahl bestehender Lernalgorithmen (RL, SL) kompatibel und kann online aktualisiert werden.

Anerkannte Einschränkungen:

• Die Methode erfordert Sampling im Zustands-Aktions-Raum, was die Stichprobenkomplexität im Vergleich zu reinen Zustandsmethoden erhöht.
• Sicherheitsbeschränkungen können während der Datenerfassungsphase für das Training verletzt werden, was für reale Systeme, in denen Sicherheit jederzeit oberste Priorität hat, ungeeignet sein kann (obwohl Simulatoren dies abmildern können).
• Die RL-basierte Synthese von SACBFs verfügt aufgrund der Natur des Erreichbarkeitsproblems über keine formalen Konvergenzgarantien für das Sicherheitszertifikat selbst.
• Die aktuelle Arbeit konzentriert sich auf diskrete Zeitsysteme; die Erweiterung auf kontinuierliche Zeit ist zukünftige Arbeit.