Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

Technisches Fazit: Approximation von Sicherheitsfeedback ohne Sicherheitsorakel mittels Modellprädiktiver Regelung

Problemstellung
Sichere Entscheidungsfindung für mobile Roboter stützt sich häufig auf die Existenz eines „Sicherheitsorakels" – eines Mechanismus, der überprüft, ob vorgeschlagene Aktionen Sicherheitsbeschränkungen verletzen. Aktuelle Methoden, wie Control Barrier Functions, Backward Reachable Tubes und Diskriminatoren für sicheres Reinforcement Learning (Safe RL), erfordern typischerweise Vorwissen über explizite Sicherheitsbeschränkungen oder Zugriff auf Ground-Truth-Sicherheitslabels während des Trainings. In komplexen Umgebungen (z. B. Hochgeschwindigkeitsnavigation auf unebenem Gelände oder robotische Manipulation in offenen Arbeitszellen) sind Sicherheitsbeschränkungen jedoch oft implizit, mathematisch schwer zu modellieren oder unvollständig verstanden. Zwar können Simulatoren komplexe Dynamiken modellieren, bieten jedoch keine inhärente Sicherheitsfunktion. Bestehende Ansätze, die versuchen, Sicherheitsproxy zu erlernen (z. B. über Gaußsche Prozesse oder Deep-Learning-Diskriminatoren), benötigen häufig beobachtbare Ground Truth zur Kennzeichnung oder treffen starke Annahmen über die Glattheit der Sicherheitsfunktion, was ihre Anwendbarkeit in der realen Welt einschränkt. Darüber hinaus laufen viele reversible Explorationsmethoden weiterhin das Risiko, während des Lernprozesses unsichere Aktionen auszuführen.

Methodik: SAVMPC
Die Arbeit schlägt Safety Assessment Via Model-Predictive Control (SAVMPC) vor, einen Filteralgorithmus, der entwickelt wurde, um Sicherheitsfeedback zu approximieren, ohne direkten Zugriff auf ein Sicherheitsorakel oder handentworfene Beschränkungen zu haben. Die Methode operiert unter zwei primären Annahmen:

1. Positive Invarianz unsicherer Zustände: Der unsichere Zustandsraum ($X_{unsafe}$) ist positiv invariant, was bedeutet, dass ein Agent, sobald er einen unsicheren Zustand betritt, nicht in einen sicheren Zustand zurückkehren kann.
2. Reversibilität als Proxy: Wenn ein Agent von einem aktuellen Zustand $x$ in einen zukünftigen Zustand $x'$ übergehen und anschließend eine Aktionssequenz finden kann, um von $x'$ zurück zu $x$ zu gelangen, dann gehören $x$ und $x'$ zur gleichen Menge. Gegeben die positive Invarianz von $X_{unsafe}$, sind, falls ein Rückweg zu einem bekannten sicheren Zustand existiert, auch die Zwischenzustände sicher.

Algorithmischer Ablauf:
SAVMPC fungiert als Schutzschild bei der Aktionsauswahl:

1. Aktionsvorschlag: Die Steuerungsrichtlinie $\pi$ schlägt eine Aktion $u$ im Zustand $x$ vor.
2. Vorwärtsprojektion: Die Aktion wird mittels eines Simulators (Black-Box-Dynamik $f_{dyn}$) auf einen zukünftigen Kandidatenzustand $x'$ projiziert.
3. Reversibilitätsprüfung: Der Algorithmus nutzt den Model-Predictive Path Integral (MPPI)-Controller, um zu versuchen, eine Sequenz von Aktionen zu finden, die den Agenten von $x'$ zurück zum ursprünglichen Zustand $x$ (oder einem vorherigen Zustand der Trajektorie) überführt.
   • Dies wird als Erfüllbarkeitsproblem formuliert: Finde eine Steuerungssequenz $u_0, \dots, u_{T-1}$, sodass die resultierende Trajektorie innerhalb einer Toleranz $\delta$ über einen Zeithorizont $T$ den Zustand $x$ erreicht.
4. Entscheidung:
   • Findet MPPI einen gültigen Rückweg, wird die Aktion $u$ als sicher eingestuft und ausgeführt.
   • Wird innerhalb des Sampling-Limits kein Rückweg gefunden, wird die Aktion verworfen, und die Richtlinie wählt neu aus. Scheitert die Neuwahl nach $N$ Versuchen, wird die Trajektorie abgebrochen und die Umgebung zurückgesetzt.

Dieser Ansatz ermöglicht es dem System, die Sicherheit zu verifizieren, indem sichergestellt wird, dass keine Aktion zu einem „Sackgasse" führt, aus der der Agent nicht in einen bekannten sicheren Bereich zurückkehren kann.

Hauptbeiträge

1. SAVMPC-Algorithmus: Ein neuartiger Filteralgorithmus, der eine sichere Aktionsauswahl ermöglicht, indem er unter Ausnutzung der Reversibilität rückwärts zu bekannten sicheren Zuständen plant und damit die Notwendigkeit von handkonstruierten Beschränkungen oder Ground-Truth-Sicherheitslabels eliminiert.
2. Konservative Schätzung von Beschränkungen: Eine Erweiterung des Reversibilitätsplanungsalgorithmus, die explizit eine konservative Schätzung unbekannter Umgebungsbeschränkungen berechnet.
3. Empirische Validierung: Evaluation von SAVMPC als Schutzschild beim Reinforcement-Learning (RL)-Training, die eine Leistung zeigt, die mit orakelbasierten Schutzschilden vergleichbar ist, während sie andere auf Reversibilität basierende Ansätze (RAC, LNT) hinsichtlich der Sicherheitsgarantien übertrifft.

Experimentelle Ergebnisse
Die Autoren evaluierten SAVMPC in zwei Umgebungen: Continuous Cartpole und Zweidimensionale Navigation.

• Untersuchung der Abweichungen: In einer Simulation mit 300.000 Trajektorien wurde SAVMPC mit einem Ground-Truth-Sicherheitsorakel verglichen. Die Ergebnisse zeigten, dass SAVMPC keine falschen Negativen produziert (es klassifiziert niemals einen unsicheren Zustand als sicher). Abweichungen traten hauptsächlich in der Nähe von Beschränkungsgrenzen auf, wobei der Algorithmus bei Verwendung engerer Sicherheitstoleranzen ($\delta$) konservativer war (Überapproximation des unsicheren Bereichs).
• Leistung beim RL-Training:
  • Continuous Cartpole: SAVMPC erreichte eine finale Belohnung, die mit dem PPO-Algorithmus, der mit einem echten Sicherheitsorakel-Schild ausgestattet war, vergleichbar war und deutlich höher ausfiel als bei der Baseline PPO, RAC und Leave No Trace (LNT). Entscheidend war, dass SAVMPC 0,0 % Verletzungen von Beschränkungen aufwies, wohingegen die Baseline und andere reversible Methoden signifikante Verletzungen erlitten (bis zu 77,3 %).
  • 2D-Navigation: SAVMPC übertraf den Sicherheitsorakel-Schild bei der finalen Belohnung (842,74 vs. 782,23) und behielt dabei 0,0 % Verletzungen von Beschränkungen bei. Es konvergierte schneller als andere Methoden, was auf seine konservative Approximation zurückzuführen ist, die den Explorationsraum effektiv verkleinert.
  • Vergleich: Im Gegensatz zu RAC und LNT, die Sicherheitsapproximationen über die Zeit lernten und dennoch Verletzungen erlitten, erzwang SAVMPC Sicherheit ab dem ersten Schritt ohne privilegierte Informationen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass SAVMPC eine praktische Lösung für sichere Entscheidungsfindung in Umgebungen bietet, in denen Sicherheitsbeschränkungen komplex oder unbekannt sind. Durch die Nutzung der Annahme der positiven Invarianz und der Rechenleistung von MPPI innerhalb eines Simulators approximiert die Methode die Leistung eines Sicherheitsorakels, ohne Ground-Truth-Labels zu benötigen. Die Autoren betonen, dass der Algorithmus sicherstellt, dass ein Agent im zugrunde liegenden Umfeld keine unsicheren Aktionen ausführt, und damit effektiv die Lücke zwischen theoretischen Sicherheitsgarantien und den praktischen Einschränkungen der Modellierung komplexer physikalischer Beschränkungen schließt. Die Arbeit legt nahe, dass Reversibilität als robuster, datenfreier Proxy für Sicherheit in Szenarien dienen kann, in denen eine traditionelle Modellierung von Beschränkungen nicht durchführbar ist.