🤖 machine learning

Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

Das Papier schlägt Dyna-SAuR vor, einen neuartigen Reinforcement-Learning-Algorithmus, der ein gelerntes, unsicherheitsbewusstes Dynamikmodell nutzt, um gleichzeitig einen skalierbaren Sicherheitsfilter und eine Steuerungsstrategie zu trainieren, was im Vergleich zu den aktuell besten Methoden das Auftreten von Trainingsfehlern in hochdimensionalen Systemen erheblich reduziert.

Ursprüngliche Autoren: Artur Eisele, Bernd Frauenknecht, Friedrich Solowjow, Sebastian Trimpe

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Artur Eisele, Bernd Frauenknecht, Friedrich Solowjow, Sebastian Trimpe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Lernen zu laufen, ohne hinzufallen

Stellen Sie sich vor, Sie bringen einem Roboter das Laufen bei. In der Welt des Reinforcement Learning (RL) lernt der Roboter durch Ausprobieren. Er macht einen Schritt, fällt hin, erhält eine „Bestrafung", steht wieder auf und versucht es auf eine andere Art.

Das Problem ist, dass im echten Leben „Hinfallen" bedeuten könnte, sich ein Bein zu brechen oder ein Auto zu zerstören. Man kann einen Roboter nicht tausendmal ein echtes Auto zerstören lassen, nur damit er das Fahren lernt.

Aktuelle Sicherheitsmethoden sind wie zwei Extreme:

Der „Hoffnungsvolle" Ansatz: Der Roboter versucht, vorsichtig zu sein, aber es ist nur eine Vermutung. Er könnte trotzdem einen Unfall bauen.
Der „Experten"-Ansatz: Ein menschlicher Experte schreibt ein striktes Regelbuch für jede mögliche Situation. Das funktioniert gut für einfache Dinge, ist aber unmöglich für komplexe, hochdimensionale Systeme (wie einen Roboter mit 17 beweglichen Teilen), weil Menschen nicht für alles Regeln schreiben können.

Die Lösung: Dyna-SAuR

Die Autoren schlagen eine neue Methode namens Dyna-SAuR vor. Stellen Sie sich das als ein Drei-Personen-Trainerteam vor, das in einer Schleife zusammenarbeitet:

Der Träumer (Das Modell): Ein Computerprogramm, das eine „Traumwelt" basierend auf einer kleinen Menge echter Daten lernt. Es simuliert, was passiert, wenn sich der Roboter bewegt.
Der Sicherheitscoach (Der Filter): Ein intelligenter Wächter, der die Bewegungen des Roboters beobachtet. Seine Aufgabe ist es, den Roboter daran zu hindern, etwas Gefährliches zu tun, bevor es passiert.
Der Athlet (Die Steuerungsrichtlinie): Das eigentliche Roboterhirn, das lernt, wie man läuft oder schnell fährt.

Wie es funktioniert: Die „sichere Spielwiese"-Schleife

Die Magie von Dyna-SAuR liegt darin, wie diese drei Teile miteinander kommunizieren. Hier ist der Schritt-für-Schritt-Prozess:

Schritt 1: Der Träumer baut eine Karte.
Das System startet mit winzigen Mengen echter Daten (wie ein paar Sekunden, in denen ein Roboter läuft). Der „Träumer" nutzt dies, um eine Simulation der Welt zu erstellen. Aber hier liegt der Haken: Der Träumer weiß, wann er raten muss. Wenn sich der Roboter in eine seltsame Position begibt, die der Träumer noch nie gesehen hat, sagt der Träumer: „Ich bin mir nicht sicher, was hier passiert."

Schritt 2: Der Sicherheitscoach zieht einen Zaun.
Der „Sicherheitscoach" betrachtet die Karte des Träumers. Er zieht einen Zaun um zwei Dinge:

Gefahrenzonen: Orte, an denen der Roboter fallen oder kaputtgehen würde.
Unsicherheitszonen: Orte, an denen der Träumer verwirrt ist und die Regeln nicht kennt.

Der Coach sagt dem Athleten: „Du darfst nur innerhalb dieses Zauns rennen. Wenn du versuchst, hinaus zu gehen, werde ich dich physisch aufhalten."

Schritt 3: Der Athlet lernt zu rennen.
Der Athlet versucht, so schnell wie möglich zu rennen, wird aber gezwungen, innerhalb des Zauns zu bleiben. Da der Zaun sicher ist, kann der Athlet üben, ohne zu crashen.

Schritt 4: Die Schleife wird klüger.
Jedes Mal, wenn der Athlet sicher innerhalb des Zauns rennt, sammelt er neue Daten. Diese neuen Daten werden dem Träumer zurückgespeist.

Der Träumer aktualisiert seine Karte mit diesen neuen Informationen.
Da die Karte nun genauer ist, schrumpfen die „Unsicherheitszonen".
Der Sicherheitscoach sieht, dass die Karte besser ist, und verschiebt den Zaun nach außen, wodurch der Athlet mehr Raum zum Erkunden bekommt.

Das Ergebnis: Der Roboter lernt, sicher zu sein, während er lernt, gut zu sein. Je klüger der Roboter wird, desto größer wird der Sicherheitszaun, sodass er schwierigere Aufgaben bewältigen kann, ohne jemals zu crashen.

Das Geheimnis: Der „Hyperplane"-Trick

Einer der technischen Durchbrüche des Papiers ist, wie der Sicherheitscoach entscheidet, was blockiert werden soll.

Stellen Sie sich vor, die Steuerung des Roboters ist ein Joystick, der sich in viele Richtungen bewegen kann. Der Sicherheitscoach muss eine Linie (eine „Hyperplane") ziehen, um zu sagen: „Du kannst den Joystick in diese Richtung drücken, aber nicht in diese."

Frühere Methoden versuchten, diese Linie zu lernen, indem sie Zahlen raten, was so war, als würde man versuchen, eine gerade Linie zu zeichnen, indem man zufällig Pfeile gegen eine Wand wirft. Es war chaotisch und langsam.

Die Autoren erfanden eine neue Art, die Linie zu beschreiben. Anstatt Zahlen zu raten, behandeln sie die Linie wie eine Kompassnadel.

Die Richtung der Nadel sagt dem Roboter, welche Richtung sicher ist.
Die Länge der Nadel sagt dem Roboter, wie streng die Regel ist.

Dies macht den Lernprozess viel schneller und effizienter, wie der Wechsel vom Zeichnen mit einer zitternden Hand zum Benutzen eines Lineals.

Was sie bewiesen haben

Das Team testete dies an zwei Aufgaben:

CartPole: Ein klassisches Spiel, bei dem man einen Stab auf einem sich bewegenden Wagen balanciert.
MuJoCo Walker: Ein komplexer, 17-gelenkiger Roboter, der vorwärts laufen muss.

Die Ergebnisse:

Sicherheit: Im Vergleich zu den besten bestehenden Methoden reduzierte Dyna-SAuR die Anzahl der „Crashes" (Ausfälle) während des Trainings um das 100-fache (zwei Größenordnungen).
Leistung: Der Roboter lernte genauso gut oder besser zu laufen als andere sichere Methoden.
Skalierbarkeit: Es funktionierte auch beim komplexen, hochdimensionalen Walker-Roboter gut, bei dem andere Methoden Schwierigkeiten hatten.

Zusammenfassung

Dyna-SAuR ist wie ein Roboter, der mit einem Simulator und einem strengen Fahrlehrer Autofahren lernt.

Der Simulator lernt die Verkehrsregeln, während der Roboter fährt.
Der Fahrlehrer hält den Roboter davon ab, gegen Wände zu fahren oder in Nebel (Unsicherheit) zu fahren.
Wenn der Simulator besser wird, lässt der Fahrlehrer den Roboter auf breiteren Straßen fahren.

Dies ermöglicht es dem Roboter, komplexe Fähigkeiten sicher zu erlernen, ohne dass ein menschlicher Experte ein Regelbuch für jede einzelne Situation schreiben muss.

1. Problemstellung

Reinforcement Learning (RL) steht vor einer kritischen Herausforderung: sichere Exploration während des Trainings. Das direkte Lernen auf physischer Hardware ist aufgrund des Risikos katastrophaler Ausfälle oft unpraktisch. Bestehende Ansätze lassen sich im Allgemeinen in zwei Kategorien mit erheblichen Einschränkungen einteilen:

Weiche Constraints (z. B. Constrained MDPs): Diese gewährleisten Sicherheit nur im Erwartungswert und bieten keine harten Garantien gegen einzelne Ausfälle.
Sicherheitsfilter aus der Regelungstheorie: Methoden wie Control Barrier Functions (CBFs) oder Hamilton-Jacobi-Erreichbarkeitsanalysen bieten harte Sicherheitsgarantien, erfordern jedoch umfangreiches Domänenwissen (z. B. bekannte Dynamiken, invariante Mengen) und haben Schwierigkeiten, auf hochdimensionale Systeme zu skalieren.
Lernbasierte Filter: Neuere Versuche, Sicherheitsfilter mittels RL zu erlernen, verlassen sich oft auf Simulatoren oder scheitern daran, effektiv auf komplexe, hochdimensionale Umgebungen mit unbekannten Dynamiken zu skalieren.

Das Kernproblem besteht darin, eine skalierbare, datengetriebene Methode zu entwickeln, die einen Sicherheitsfilter und eine Steuerungspolitik gleichzeitig erlernt, wobei nur minimales Domänenwissen erforderlich ist (nur eine Definition von „Ausfall" und initiale Daten), während während des Trainingsprozesses Sicherheit garantiert wird.

2. Methodik: Dyna-SAuR

Die Autoren schlagen Dyna-SAuR (Dyna-style Safety Augmented Reinforcement Learning) vor, ein MBRL-Framework (Model-Based RL), das iterativ eine Steuerungspolitik und einen Sicherheitsfilter unter Verwendung eines unsicherheitsbewussten Dynamikmodells erlernt.

Kernarchitektur

Der Algorithmus arbeitet in einer iterativen Schleife (Algorithmus 1), die aus drei Hauptphasen besteht:

Modelllernen: Ein probabilistisches Ensemble-Dynamikmodell ( $\hat{p}$ ) wird auf gesammelten Daten trainiert. Dieses Modell erfasst epistemische Unsicherheit (Unsicherheit aufgrund fehlender Daten) mittels Ensemble-Diskrepanz.
Lernen des Sicherheitsfilters: Eine Filterpolitik ( $\mu$ ) wird ausschließlich auf dem gelernten Modell trainiert. Der Filter projiziert die Aktionen der Steuerungspolitik in eine „lebensfähige" Menge, um Ausfälle und Regionen hoher Modellunsicherheit zu vermeiden.
Lernen der Steuerungspolitik: Die Steuerungspolitik ( $\pi$ ) wird unter Verwendung sowohl realer Umgebungsinteraktionen als auch modellbasierter Rollouts trainiert, die durch den aktuellen Sicherheitsfilter $\mu$ gefiltert werden. Neue Daten werden gesammelt, um das Dynamikmodell zu verfeinern und den „sicheren" Bereich der Gewissheit für die nächste Iteration zu erweitern.

Wichtige technische Innovationen

A. Lebensfähigkeit in unsicherheitsbewussten Modellen
Das Papier erweitert das Konzept der Lebensfähigkeitstheorie (Viability Theory) auf MBRL. Anstatt nur Ausfallzustände ( $S_F$ ) zu vermeiden, muss das System Zustände vermeiden, in denen das Modell unsicher ist.

Sicherer Bereich der Gewissheit ($SS(E)$): Die Menge der Zustands-Aktions-Paare, bei denen der Zustand sicher ist und die prädiktive Entropie des Modells unter einem Schwellenwert ( $\lambda_1$ ) liegt.
Kern der Gewissheit der Lebensfähigkeit ( $S_V(E)$ ): Die Menge der Zustände, aus denen eine Politik existiert, die das System mit hoher Wahrscheinlichkeit über einen endlichen Horizont innerhalb von $SS(E)$ hält.
Der Filter wird so trainiert, dass er Aktionen in die Menge der Politiken projiziert, die innerhalb dieses Kerns verbleiben.

B. Effiziente Formulierung des Aktionsraums des Filters
Ein wesentlicher Beitrag ist die Neu-Parametrisierung des Sicherheitsfilters. Bisherige Methoden lernten Hyperparameter ( $w, b$ ) direkt, was zu einem unbeschränkten und überparametrisierten Suchraum führte.

Einheits-Hyperkugel-Aktionsraum ( $U$ ): Die Filterpolitik $\mu$ gibt einen Vektor $u$ in einer Einheits-Hyperkugel aus ( $0 < \|u\|_2 \leq 1$ ).
Bijektive Transformation ( $h$ ): Eine deterministische Funktion bildet $u$ $u$ auf die Hyperparameter $(w, b)$ $(w, b)$ ab:
- $w = u / \|u\|_2$ (Richtung des Normalvektors)
- $b = (2\|u\|_2 - 1)\|w\|_1$ (Offset)
Bedeutung: Dies stellt sicher, dass die Hyperebene den beschränkten Aktionsraum $A = [-1, 1]^{n_A}$ immer schneidet. Die Norm $\|u\|_2$ fungiert als „Einschränkungs"-Regler: Werte nahe 0 sind erlaubend, während Werte nahe 1 einschränkend sind. Dies schafft einen kompakten, beschränkten Suchraum für den RL-Agenten.

C. Reward-Shaping und Datenverteilung
Um den Filter effektiv ohne reale Ausfälle zu trainieren:

Reward-Funktion: Der Filter erhält eine Belohnung von $+1$ , wenn der nächste Zustand in $SS(E)$ verbleibt, und eine große negative Strafe ( $-1/(1-\gamma)$ ), wenn er diesen verlässt, was effektiv die „Zeit bis zum Ausfall" kodiert.
Ziel: Maximierung der erwarteten Zeit bis zum Ausfall bei gleichzeitiger Minimierung der Norm der Filteraktion ( $\|u\|_2$ ), um übermäßig konservatives Verhalten zu vermeiden.
Daten-Formung: Die Startzustandsverteilung für das Filtertraining ist eine Mischung aus:
1. Initiale Umgebungsdaten.
2. Zustände in der Nähe von Ausfallregionen (um zu lernen, wie man sich erholt/vermeidet).
3. Zustände mit hohen Steuerungsrenditen (um sicherzustellen, dass der Filter die optimale Leistung nicht blockiert).

3. Wichtige Beiträge

Neuartiger Algorithmus: Dyna-SAuR ist der erste skalierbare Ansatz, um lebensfähigkeitsbasierte Sicherheitsfilter für diverse, hochdimensionale Systeme unter Verwendung minimalen Domänenwissens (nur eine Ausfallmenge und initiale Daten) zu erlernen.
Kompakte RL-Formulierung: Es formuliert das Erlernen von Sicherheitsfiltern als Standard-RL-Problem mit einer neuartigen, bijektiven Parametrisierung des Aktionsraums, die die Skalierbarkeitsprobleme bisheriger Hyperparameter-Lernmethoden löst.
Unsicherheitsbewusste Lebensfähigkeit: Es integriert Modellunsicherheit direkt in den Lebensfähigkeitskern, wodurch das System sicher explorieren und sein Wissen über die Umgebung erweitern kann.
Iterative Verbesserung: Das Framework erzeugt eine positive Rückkopplungsschleife, bei der bessere Modelle die Unsicherheit reduzieren, was es dem Sicherheitsfilter ermöglicht, weniger konservativ zu werden, und bessere Steuerungspolitiken ermöglicht.

4. Experimentelle Ergebnisse

Die Methode wurde an zwei Aufgaben evaluiert:

Zielerreichendes CartPole: Eine niedrigdimensionale Aufgabe mit Positions- und Winkelbeschränkungen.
MuJoCo Walker: Eine hochdimensionale (17-Zustände, 6-Aktionen) bipedale Gehaufgabe mit Rumpfbeschränkungen.

Leistungsmetriken:

Sicherheit: Dyna-SAuR reduzierte Ausfälle während des Trainings um 2 Größenordnungen (100x) im Vergleich zu state-of-the-art sicheren RL-Methoden (PPO-Lagrangian, DH-RL).
Steuerungsleistung: Es erreichte oder übertraf die Steuerungsleistung (Return) bestehender sicherer RL-Methoden.
Skalierbarkeit: Die Methode skalierte erfolgreich auf die hochdimensionale Walker-Umgebung, während andere Filter-Lernmethoden Schwierigkeiten hatten.
Ablationsstudien: Das Entfernen der neuartigen Aktionsraumformulierung oder der Daten-Formung-Heuristiken führte zu einer signifikanten Leistungsverschlechterung oder zum Versagen, einen gültigen Filter zu erlernen, was die Designentscheidungen validiert.

5. Bedeutung

Dyna-SAuR stellt einen bedeutenden Schritt hin zu praktischem, sicherem RL für die Robotik in der realen Welt dar.

Überbrückung der Lücke: Es überbrückt die Kluft zwischen rigoroser Regelungstheorie (Lebensfähigkeit) und datengetriebenem Lernen und beseitigt die Notwendigkeit von handgefertigten Modellen oder umfangreichem Domänenwissen.
Hardware-Tauglichkeit: Durch die Reduzierung von Ausfällen während des Trainings um Größenordnungen macht es die Aussicht, RL-Agenten direkt auf physischer Hardware (oder mit minimalem Simulation-zu-Real-Transfer) zu trainieren, viel machbarer.
Skalierbarkeit: Die vorgeschlagene Parametrisierung des Aktionsraums und der unsicherheitsbewusste Ansatz bieten einen Bauplan für die Skalierung von sicherem RL auf komplexe, hochdimensionale Systeme, bei denen traditionelle Methoden versagen.

Zusammenfassend bietet Dyna-SAuR ein robustes, datengetriebenes Framework, das lernt, „sicher zu bleiben", indem es lernt, was es nicht weiß (Unsicherheit) und was es nicht tun kann (Ausfall), und den sicheren Betriebsbereich dynamisch erweitert, während es lernt.