⚡ electrical engineering

Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics

Dieses Paper stellt den Uncertainty-Aware Predictive Safety Filter (UPSi) vor, ein neuartiges Framework, das probabilistische Ensemble-Neuronale Netze mit einer rigorosen, auf erreichbaren Mengen basierenden Verifizierung integriert, um eine skalierbare, sicherheitsgarantierte Exploration für modellbasierte Reinforcement-Learning-Verfahren bereitzustellen, ohne dabei die Performance zu beeinträchtigen.

Ursprüngliche Autoren: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

Veröffentlicht 2026-08-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen, aber mit einem Clou: Der Roboter lernt durch Ausprobieren, wobei er manchmal wilde Vermutungen anstellt, um zu sehen, was passiert. Dies nennt man Reinforcement Learning (Bestärkendes Lernen), und so werden Maschinen wirklich gut in komplexen Aufgaben wie dem Autofahren oder dem Schachspielen. Aber es gibt ein riesiges Problem: Wenn der Roboter eine „wilde Vermutung“ anstellt, die zu verrückt ist, könnte er das Auto zerschlagen oder das Spiel zerstören. Wir brauchen einen Weg, damit der Roboter experimentieren und lernen kann, ihn aber stoppt, kurz bevor er etwas Gefährliches tut.

Um dies zu lösen, nutzen Wissenschaftler etwas, das man einen „Predictive Safety Filter“ (vorhersagenden Sicherheitsfilter) nennt. Stellen Sie sich das wie einen superintelligenten Schutzengel oder einen strengen Trainer vor, der neben dem Roboter steht. Bevor der Roboter einen Zug macht, führt der Trainer in seinem Kopf eine schnelle Simulation durch: „Wenn du dort hinspringst, wirst du die Wand treffen?“ Wenn die Antwort „vielleicht“ lautet, greift der Trainer ein und ändert die Bewegung des Roboters in eine sicherere ab. Traditionell waren diese Trainer sehr vorsichtig und benötigten eine perfekte, Lehrbuch-basierte Beschreibung der Welt, um zu funktionieren. Aber die reale Welt ist chaotisch und kompliziert, weshalb diese alten Trainer oft stecken blieben oder komplexe Spiele nicht bewältigen konnten. Dieses Paper stellt einen neuen Typ von Trainer vor, der sowohl superintelligent als auch sehr vorsichtig ist, wodurch Roboter schneller lernen können, ohne verletzt zu werden.

Das Problem: Der „Black Box“-Trainer

In der Welt des maschinellen Lernens gibt es ein beliebtes Werkzeug namens „Probabilistic Ensemble“ (PE). Stellen Sie sich vor, Sie haben ein Team aus fünf verschiedenen Experten (neuronalen Netzen), die versuchen zu erraten, was als Nächststes in einem Spiel passieren wird. Anstatt nur einem zu vertrauen, fragen Sie alle fünf und schauen sich deren Antworten an. Wenn sie alle übereinstimmen, fühlen Sie sich sicher. Wenn sie alle uneinig sind, wissen Sie, dass Sie sich in einem „nebligen“ Bereich befinden, in dem das Modell nicht viel weiß. Das ist großartig, um komplexe Dinge zu lernen, aber es hat einen Fehler: Manchmal sind die Experten übermäßig selbstbewusst im Nebel. Sie könnten sagen: „Wir sind uns zu 100 % sicher, dass du nicht abstürzt“, obwohl sie in Wirklichkeit wild herumraten.

Frühere Versuche, diese „Expertenteams“ als Sicherheits-Trainer einzusetzen, scheiterten, weil ihnen eine rigorose Methode fehlte, um zu prüfen, ob das Team tatsächlich die Wahrheit sagt oder nur halluziniert. Sie waren wie ein Trainer, der sagt: „Ich denke, du bist sicher“, ohne tatsächlich auf die Karte zu schauen, was zu Unfällen führte, wenn der Roboter etwas zu Riskantes versuchte.

Die Lösung: UPSi (Der „Oop-See“-Filter)

Die Autoren dieses Papers stellen ein neues System namens UPSi vor (ausgesprochen „oop-see“), was für Uncertainty-Aware Predictive Safety Filter (Unsicherheit-bewusster vorhersagender Sicherheitsfilter) steht.

Betrachten Sie UPSi als einen Sicherheits-Trainer, der nicht nur die Experten nach einer Antwort fragt, sondern auch deren Konfidenzniveaus überprüft. Er nutzt einen cleveren mathematischen Trick, um eine „Sicherheitsblase“ um die möglichen zukünftigen Pfade des Roboters zu zeichnen.

Die Sicherheitsblase: Anstatt nur einen einzelnen zukünftigen Pfad zu erraten, berechnet UPSi eine ganze Wolke möglicher Orte, an denen der Roboter landen könnte. Er stellt sicher, dass diese gesamte Wolke innerhalb der „Sicherheitszone“ bleibt (wie zum Beispiel auf der Rennstrecke zu bleiben).
Der Konfidenz-Check: Das ist der magische Teil. UPSi hat eine spezielle Regel: „Wir vertrauen den Experten nur, wenn sie sich in einer ‚Certain Set‘ (einer sicheren Menge) befinden.“ Wenn der Roboter versucht, sich in einen Bereich zu bewegen, in dem die Experten verwirrt sind (hohe Unsicherheit), sagt UPSi: „Nein, ich weiß nicht genug über diesen Bereich, um Sicherheit zu garantieren. Gehen wir dort nicht hin.“ Dies verhindert, dass der Roboter das Modell dazu verleitet, eine gefährliche Bewegung als sicher einzustufen, nur weil das Modell gerade rät.

Wie es in der Praxis funktioniert

Die Forscher testeten UPSi in drei verschiedenen simulierten Welten:

Pendulum (Pendel): Ein Roboterarm, der versucht, hochzuschwingen, ohne in eine verbotene Zone zu geraten.
Cartpole: Ein klassischer Balanceakt, bei dem ein Stab auf einem beweglichen Wagen aufrecht bleiben muss.
Drone (Drohne): Ein fliegender Roboter, der versucht, eine Zielhöhe zu erreichen, ohne abzustürzen.

In diesen Tests verglichen sie UPSi mit anderen Sicherheitsfiltern. Die Ergebnisse waren eindeutig:

Weniger Abstürze: UPSi stoppte den Roboter viel häufiger vor gefährlichen Bewegungen als die bisherigen Methoden. Im Cartpole-Test versagte die alte Methode (absturz) in 7,15 % der Fälle, während UPSi nur in 0,75 % der Fälle versagte.
Ebenso gut beim Lernen: Obwohl UPSi besonders vorsichtig war, lernte der Roboter das Spiel genauso gut wie ohne den Filter. Es wurde der Lernprozess des Roboters nicht verlangsamt.

Das „Was wäre wenn“ und das „Wie sicher“

Die Autoren sind sehr vorsichtig mit ihren Behauptungen. Sie haben nicht nur vermutet, dass UPSi funktioniert; sie haben mathematisch bewiesen, dass ihre „Sicherheitsblasen“ (genannt Reachable Sets) groß genug sind, um jedes mögliche Ergebnis abzufangen, selbst wenn das Modell des Roboters über die Welt leicht fehlerhaft ist. Sie zeigten, dass, wenn der Roboter innerhalb dieser Blasen bleibt, mathematisch garantiert ist, dass er sicher bleibt.

Sie geben jedoch auch zu, dass ihre aktuelle Version für die Echtzeitnutzung in sehr komplexen Situationen (wie bei einer schnellen Drohne) etwas langsam ist. In ihren Simulationen dauerte es je nach Komplexität zwischen 0,04 Sekunden und 25 Sekunden, um eine Entscheidung zu treffen. Während dies für die durchgeführten Tests schnell genug ist, merken sie an, dass die Beschleunigung für Echtzeit-Entschecheidungen im Bruchteil einer Sekunde eine Herausforderung für die Zukunft darstellt.

Das Fazit

Dieses Paper schließt die Lücke zwischen zwei Welten: dem flexiblen, leistungsstarken Lernen moderner KI und der strengen, zuverlässigen Sicherheit traditioneller Ingenieurwissenschaften. UPSi zeigt, dass wir leistungsstarke, datenhungrige KI-Modelle nutzen können, um Robotern komplexe Fähigkeiten beizubringen, solange wir sie in einen Sicherheitsfilter einbetten, der weiß, wann er etwas nicht weiß. Es ist ein Schritt hin zu Robotern, die das Unbekannte erforschen können, ohne die Welt zu beschädigen.

Technisches Resümee: Unsicherheitsbewusste prädiktive Sicherheitsfilter für probabilistische neuronale Netzwerk-Dynamiken

Problemstellung

Deep Reinforcement Learning (RL) steht vor erheblichen Herausforderungen hinsichtlich der Sicherheit bei der Exploration. Während prädiktive Sicherheitsfilter (Predictive Safety Filters, PSFs) durch die Nutzung von Konzepten der modellprädiktiven Regelung (Model Predictive Control, MPC) rigorose Sicherheitsgarantien bieten, ist ihre praktische Anwendbarkeit oft durch ihre Abhängigkeit von physikalischen Erstprinzipien-Modellen oder Gauß-Prozessen (GPs) begrenzt. Diese traditionellen Modellklassen erfordern entweder beträchtliches Vorwissen aus der Domäne oder skalieren nicht effektiv mit großen Datensätzen und hochdimensionalen Systemen. Im Gegensatz dazu nutzen moderne Methoden des modellbasierten Reinforcement Learnings (Model-Based Reinforcement Learning, MBRL) probabilistische Ensemble- (PE) neuronale Netze, um komplexe, hochdimensionale Dynamiken mit minimalem Vorwissen aus Daten zu lernen. Bestehende Versuche, PE-Modelle in PSFs zu integrieren, lassen jedoch eine rigorose Quantifizierung der Unsicherheit vermissen, was zu heuristischen Sicherheitsprüfungen führt, die unter hoher epistemischer Unsicherheit anfällig für Modell-Exploitation sind.

Methodik

Die Autoren schlagen den Uncertainty-Aware Predictive Safety Filter (UPSi) vor, ein Framework, das die Skalierbarkeit von PE-basiertem MBRL mit den rigorosen Sicherheitsgarantien von MPC verbindet. UPSi operiert innerhalb einer Dyna-ähnlichen MBRL-Architektur (z. B. MBPO) und formuliert zukünftige Ergebnisse als erreichbare Mengen (Reachable Sets), um die Einhaltung von Randbedingungen zu erzwingen.

Kernkomponenten

Probabilistische Ensemble-Dynamiken: UPSi verwendet ein PE-Modell, das aus $E$ neuronalen Netzen besteht, um die Systemdynamik zu approximieren. Das Modell trennt aleatorische Unsicherheit (irreduzibles Prozessrauschen) von epistemischer Unsicherheit (Datenmangel) mittels Ensemble-Diskrepanz.
Sicherer Bereich ( $C_j$ ): Um Modell-Exploitation zu verhindern, definiert UPSi einen „sicheren Bereich“ $C_j \subseteq S \times A$ . Innerhalb dieses Bereichs ist die prädiktive Unsicherheit des Modells ausreichend gering. Der Bereich wird mithilfe einer Kalman-Gain-Metrik bestimmt, die auf Prinzipien der Sensorfusion basiert, und stellt sicher, dass Vorhersagen nur dort vertraut werden, wo das Modell über ausreichende Datenunterstützung verfügt.
Konstruktion erreichbarer Mengen:
- Die Methode überapproximiert die robusten erreichbaren Mengen (Robust Reachable Sets, RRS) mittels ellipsoider Röhren (Ellipsoidal Tubes), die entlang einer nominalen Trajektorie propagiert werden.
- Die Formmatrix der Röhre $P_{n|t}$ wird aktualisiert, indem die aleatorische Varianz propagiert und Linearisierungsfehler berücksichtigt werden.
- Entscheidend ist, dass die Autoren eine rigorose obere Schranke für den Linearisierungsfehler ( $e_{max}$ ) herleiten, der durch die Approximation nichtlinearer Dynamiken mittels erster Ordnung Taylor-Entwicklungen entsteht. Dieser Fehler wird explizit zur Propagation der Formmatrix hinzugefügt, um sicherzustellen, dass die erreichbare Menge eine gültige Überapproximation des tatsächlichen Systemverhaltens darstellt.
Formulierung des Sicherheitsfilters: Der Sicherheitsfilter löst in jedem Zeitschritt ein optimiertes Problem unter Nebenbedingungen. Er sucht nach einer Aktionssequenz, die die Abweichung von der vorgeschlagenen Aktion des RL-Agenten minimiert und gleichzeitig folgende Bedingungen erfüllt:
- Zustands- und Eingangsbedingungen ( $S, A$ ).
- Endmengen-Bedingungen ( $T_j$ ).
- Gewissheits-Bedingungen (Certainty Constraints): Alle vorhergesagten Zustands-Aktions-Paare entlang der Trajektorie müssen innerhalb des sicheren Bereichs $C_j$ bleiben. Dies wird durch eine Verschärfung der Randbedingungen basierend auf der Lipschitz-Stetigkeit des Unsicherheitsmaßes erzwungen.
Erweiterung der Endmenge: Um Konservativität zu reduzieren, wird die Endmenge $T_j$ iterativ durch einen datengestützten Ansatz erweitert. Aus vorherigen Episoden extrahierte, zulässige Trajektorien werden verwendet, um eine größere steuerbare Menge zu approximieren, was es dem Agenten ermöglicht, weiter zu explorieren und gleichzeitig die Sicherheit zu gewährleisten.

Wesentliche Beiträge

Das Paper präsentiert drei primäre Beiträge:

Rigorose erreichbare Mengen aus PE-Modellen: Die Autoren leiten eine Methode zur Berechnung provisorisch überapproximierender erreichbarer Mengen aus probabilistischen neuronalen Netzwerkmodellen ab. Dies beinhaltet die Trennung von aleatorischer und epistemischer Unsicherheit sowie die explizite Begrenzung von Linearisierungsfehlern, um sicherzustellen, dass die berechneten Mengen alle möglichen Systemtrajektorien enthalten.
Explizite Gewissheits-Bedingung: Eine neuartige Bedingung wird in die PSF-Formulierung eingeführt, die verhindert, dass der Agent Modellungenauigkeiten ausnutzt. Durch die Beschränkung des Planungshorizonts auf den „sicheren Bereich“ stellt der Filter die Sicherheit auch dann sicher, wenn das Modell unsicher ist.
Empirische Validierung und praktische Integration: Die Autoren validieren die theoretische Überapproximation und integrieren eine vereinfachte Version von UPSi in das MBPO-Framework. Sie zeigen, dass dieser Ansatz die Sicherheit bei der Exploration im Vergleich zu bisherigen neuronalen Netzwerk-basierten PSFs (speziell XMPSC) signifikant verbessert, während die Performance vergleichbar mit dem Standard-MBPO bleibt.

Experimentelle Ergebnisse

Die Evaluierung wurde auf drei Standard-Safe-RL-Benchmarks durchgeführt: Pendulum, Cartpole und Drone.

Verifizierung der erreichbaren Menge: In der Cartpole-Umgebung wurde gezeigt, dass die vorgeschlagene Konstruktion der ellipsoiden Röhren die tatsächlichen erreichbaren Mengen konsistent überapproximiert (verifiziert über 100.000 simulierte Trajektorien), was die theoretischen Schranken bestätigt.
Sicherheitsleistung: Bei der Integration in MBPO demonstrierte UPSi eine erhebliche Reduktion von Randbedingungenverletzungen im Vergleich zu XMPSC (einem vorherigen PE-basierten Sicherheitsfilter). Beispielsweise sank die Infeasibilitätsrate in der Cartpole-Umgebung von 7,15 % (XMPSC) auf 0,75 % (UPSi).
Performance: Trotz der zusätzlichen Sicherheitsbeschränkungen erreichte UPSi Kontrollerträge (Control Returns), die mit Standard-MBPO und SAC-Baselines vergleichbar sind.
Filterverhalten: UPSi griff häufiger ein als XMPSC, fand jedoch häufiger zulässige Lösungen, was auf ein besseres Gleichgewicht zwischen der Durchsetzung von Sicherheit und der Explorationsfähigkeit hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, die Lücke zwischen der Skalierbarkeit moderner MBRL-Methoden und den rigorosen Sicherheitsgarantien prädiktiver Sicherheitsfilter erfolgreich geschlossen zu haben. Durch die Ermöglichung der Verwendung flexibler, datengestützter PE-Modelle innerhalb eines rigorosen MPC-Rahmens erweitert UPSi die Anwendbarkeit von Sicherheitsfiltern auf eine breitere Klasse hochdimensionaler, nichtlinearer Systeme, die zuvor schwierig mit Erstprinzipien oder GPs zu modellieren waren.

Die Autoren räumen Einschränkungen ein und merken an, dass die praktische Implementierung auf Vereinfachungen beruht (z. B. vereinfachte Röhren-Propagation, kein Hilfskontroller in den Experimenten), welche die formalen Garantien aufbrechen, und dass die Echtzeit-Machbarkeit für hochdimensionale Systeme (wie die Drohne) weiterhin eine Herausforderung bleibt. Dennoch etabliert die Arbeit einen grundlegenden Ansatz für die unsicherheitsbewusste Sicherheit in lernbasierten Steuerungssystemen und deutet darauf an, dass zukünftige Verbesserungen der Echtzeit-Machbarkeit den Einsatz auf komplexerer Hardware ermöglichen könnten.