🤖 machine learning

Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

Dieser Artikel stellt SAS vor, ein auf Transformern basierendes Framework, das eine Anpassung zur Laufzeit für offline sicheres Bestärkendes Lernen ermöglicht, indem es lyapunov-konforme imaginierte Trajektorien generiert und als Kontext-Prompts auswählt, um das Agentenverhalten ohne Nachtraining wieder auf Sicherheit auszurichten.

Ursprüngliche Autoren: Seungyub Han, Hyungjin Kim, Jungwoo Lee

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seungyub Han, Hyungjin Kim, Jungwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen hochqualifizierten Roboterfahrer ein, der das Fahren gelernt hat, indem er Tausende von Stunden an Videos von Expertenfahrten angesehen hat. Dieser Roboter ist hervorragend darin, der Straße zu folgen, hat jedoch ein Problem: Er wurde in einer perfekten, sonnigen Simulation trainiert. Wenn Sie ihn schließlich auf eine echte Straße mit unerwartetem Regen, Schlaglöchern oder einer plötzlichen Umleitung setzen, gerät der Roboter in Panik. Er versucht, seine alten Regeln auf eine neue Situation anzuwenden, und könnte direkt in eine Wand oder einen Graben fahren.

Dies ist das Kernproblem, das die Arbeit adressiert: Offline-Reinforcement-Learning (RL). Es ist so, als würde man einen Roboter auf einem massiven Datensatz vergangener Erfahrungen trainieren, ohne ihm zu erlauben, in der realen Welt zu üben. Wenn sich die reale Welt auch nur geringfügig ändert, wird der Roboter unsicher.

Die Autoren schlagen eine Lösung vor, die SAS (Self-Alignment for Safety) genannt wird. Denken Sie an SAS nicht als neuen Lehrer, sondern als Sicherheitscoach, der mit dem Roboter spricht, kurz bevor er die Fahrt beginnt.

So funktioniert SAS, aufgeteilt in einfache Konzepte:

1. Die Phase der „Vorstellung"

Bevor der Roboter einen einzigen realen Schritt macht, bittet SAS ihn, sich verschiedene Möglichkeiten vorzustellen, wie er die nächsten paar Sekunden fahren könnte.

Die Metapher: Stellen Sie sich vor, Sie stehen kurz davor, eine belebte Straße zu überqueren. Bevor Sie heraustreten, stellen Sie sich schnell drei Szenarien vor: „Wenn ich links gehe, könnte ich ein Auto treffen", „Wenn ich rechts gehe, könnte ich stolpern" und „Wenn ich geradeaus gehe, bin ich sicher."
Die Technik: Der Roboter nutzt sein internes „Weltmodell" (eine mentale Karte davon, wie die Welt funktioniert), um diese imaginären Pfade oder „Rollouts" zu generieren.

2. Der „Lyapunov"-Sicherheitscheck

Wie weiß der Roboter, welcher vorgestellte Pfad sicher ist? Er verwendet ein mathematisches Werkzeug namens Lyapunov-Funktion.

Die Metapher: Stellen Sie sich die Sicherheit des Roboters als einen Ball vor, der einen Hügel hinunterrollt. Ein „Lyapunov"-Check ist wie ein Sensor, der sicherstellt, dass der Ball immer hinunter in ein sicheres Tal (das Ziel) rollt und niemals hinauf zu einer Klippe (Gefahr).
Die Technik: Die Arbeit definiert einen „Sicherheitswert" basierend darauf, wie oft der Roboter ähnliche Situationen in seinen Trainingsdaten gesehen hat. Wenn ein vorgestellter Pfad zu einem Ort führt, den der Roboter noch nie gesehen hat (ein Bereich mit „niedriger Dichte"), sinkt der Sicherheitswert, und der Pfad wird als gefährlich markiert. Der Roboter prüft: „Hält dieser Pfad den Sicherheitswert sinkend (oder bleibt er sicher)?"

3. Die „Selbstausrichtung" (Der Zaubertrick)

Dies ist der einzigartigste Teil. Normalerweise muss man einen Roboter neu trainieren, um ihn zu korrigieren, was viel Zeit und Daten erfordert. SAS macht etwas Klügeres: Es nutzt die eigene Vorstellungskraft des Roboters, um sich selbst zu korrigieren.

Die Metapher: Stellen Sie sich vor, der Roboter steht kurz vor der Fahrt. Anstatt ihn neu zu trainieren, sagt SAS: „Hey, schau dir diese drei imaginären Pfade an, die du gerade erstellt hast. Zwei davon führen gegen eine Wand. Einer davon ist sicher. Lassen Sie uns so tun, als wäre dieser sichere Pfad ein Hinweis oder eine Anfrage."
Der Roboter nimmt dann diesen sicheren imaginären Pfad und speist ihn als „Demonstration" zurück in sein eigenes Gehirn. Es ist, als würde der Roboter sagen: „Okay, ich sehe jetzt den sicheren Weg. Ich werde dieses spezifische Beispiel befolgen."
Das Ergebnis: Der Roboter richtet sein Verhalten so aus, dass es sicher ist, ohne seinen zugrunde liegenden Code oder seine Gewichte zu ändern. Es ist eine „Selbstkorrektur" mittels einer Anfrage, ähnlich wie man eine intelligente KI fragt: „Hier ist ein sicheres Beispiel, jetzt tu dasselbe", ohne die KI neu trainieren zu müssen.

4. Das „Hierarchische" Gehirn

Die Arbeit erklärt, dass das Gehirn des Roboters (ein Transformer-Modell) wie ein zweistufiger Manager funktioniert.

Die Metapher: Es gibt einen Chef (hochwertige Politik), der die allgemeine Strategie entscheidet (z. B. „Gehe zum Ziel"), und einen Arbeiter (niedrigwertige Politik), der tatsächlich die Räder bewegt.
Die Technik: SAS fungiert als Chef. Indem SAS den sicheren „imaginierten" Pfad als Anfrage einspeist, flüstert SAS im Wesentlichen dem Chef eine neue Anweisung zu: „Für diese spezifische Situation sollte die Strategie 'folge diesem sicheren Pfad' sein." Dies ermöglicht es dem Roboter, sich sofort an neue Gefahren anzupassen.

Was haben sie herausgefunden?

Die Autoren testeten dies an verschiedenen Robotersimulationen (wie das Bewegen eines Autos, eines Punkts oder einer Drohne durch Hindernisse).

Das Ergebnis: Roboter, die SAS verwendeten, machten deutlich weniger Fehler und stürzten seltener ab als Roboter, die nur ihre ursprüngliche Ausbildung nutzten.
Der Bonus: Sie opferten keine Leistung. Die Roboter waren immer noch schnell und erreichten ihre Ziele, taten dies jedoch viel sicherer.
Die Kernaussage: SAS ermöglicht es einem Roboter, der auf alten Daten trainiert wurde, sich sofort an neue, gefährliche Situationen anzupassen, indem er seine eigene „Vorstellungskraft" nutzt, um einen sicheren Pfad zu finden, und dann diesem Pfad als Regel folgt.

Zusammenfassung

SAS ist wie ein Sicherheitsnetz aus den eigenen Gedanken des Roboters. Anstatt den Roboter zu zwingen, neue Regeln zu lernen (was langsam und schwierig ist), bittet SAS den Roboter, sich die Zukunft vorzustellen, die sicherste Version dieser Zukunft auszuwählen und diese sichere Version dann als Leitfaden für das zu verwenden, was er gerade jetzt tun soll. Es verwandelt „Was wäre wenn" in „Was zu tun ist" und hält den Roboter sicher, ohne eine einzige Sekunde Neu-Training zu benötigen.

1. Problemstellung

Offline-Reinforcement-Learning-Agenten (RL), die auf statischen Datensätzen (z. B. D4RL, DSRL) trainiert wurden, versagen häufig beim Einsatz in realen Umgebungen aufgrund von Verteilungsverschiebungen. Selbst wenn ein Agent auf Trainingsdaten gut abschneidet, können geringfügige Unterschiede in der Dynamik oder den Zustandsübergängen zu unsicheren Verhaltensweisen führen (z. B. Kollisionen, Überschreiten von KostenSchwellenwerten).

Bestehende Lösungen weisen erhebliche Einschränkungen auf:

Glaubensbasierte Anpassung: Erfordert ein komplettes Neutraining, um Unsicherheit zu modellieren.
Eingeschränktes/konservatives RL: Opfert oft die Leistung (Return) oder erfordert eine Feinabstimmung mit zusätzlichen Kostensignalen.
Anpassung zur Testzeit: Die meisten aktuellen Methoden können einen vortrainierten Offline-Agenten ohne Parameterupdates oder menschliche Aufsicht nicht an Sicherheitsbedingungen während des Einsatzes anpassen.

Die zentrale Frage lautet: Kann ein Offline-RL-Agent zur Testzeit allein mithilfe seiner vortrainierten Verteilung ohne Neutraining selbstständig auf Sicherheit ausgerichtet werden?

2. Methodik: SAS (Self-Alignment for Safety)

Die Autoren schlagen SAS vor, ein Transformer-basiertes Framework, das eine Anpassung zur Testzeit durch Lyapunov-gesteuerte Selbstausrichtung ermöglicht. Die Methode arbeitet ohne Aktualisierung der Modellparameter und stützt sich stattdessen auf In-Context-Learning und Bayessche Inferenz.

Kernkomponenten

Lyapunov-Dichtemodell (LDM) für Offline-RL:
- Die Autoren formulieren die Lyapunov-Stabilität neu unter Verwendung von Besetzungsmaßen (occupancy measures), die aus Offline-Daten abgeleitet werden.
- Sie definieren eine Energiefunktion $E(s, a) = -\log \hat{\rho}_\pi(s, a)$ , wobei $\hat{\rho}_\pi$ das modellbasierte Besetzungsmaß ist, das aus imaginierten Trajektorien geschätzt wird.
- Ein Lyapunov-Surrogat $G_{SAS}(s, a)$ wird konstruiert, um sicherzustellen, dass der Agent innerhalb einer steuerungsinvarianten Menge ( $R_{SAS}^G$ ) bleibt. Diese Menge garantiert, dass Trajektorien keine Bereiche mit niedriger Dichte (unsicher/außerhalb der Verteilung) betreten.
- $G_{SAS}$ wird als die minimale Energie definiert, die entlang einer beliebigen Trajektorie auftritt, wodurch sichergestellt wird, dass die Politik vermeidet, in unsichere, unwahrscheinliche Bereiche zu kollabieren.
Probabilistischer Inferenzansatz:
- Das Paper interpretiert den Transformer-basierten RL-Agenten als Hierarchisches RL-System, bei dem die hochrangige Politik latente Fähigkeiten ( $z_t$ ) auswählt und die niedrigrangige Politik Aktionen ausführt.
- In-Context-Learning wird als Bayessche Inferenz über diese latenten Fähigkeiten formuliert. Durch die Bereitstellung eines Prompts (eine Sequenz von Zustands-Aktions-Paaren) leitet das Modell die wahrscheinlichste hochrangige Politik ab, die mit diesem Prompt konsistent ist.
- Sicherheitsbedingungen werden als beobachtbare Indikatoren ( $U_t$ $U_{t}$ und $V_t$ $V_{t}$ ) kodiert:
  - $U_t$ : Gibt an, ob das aktuelle Zustands-Aktions-Paar innerhalb des sicheren Dichtebereichs liegt ( $G_{SAS} > 0$ ).
  - $V_t$ : Gibt an, ob die Lyapunov-Funktion nicht ansteigt ( $G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1})$ ).
Der SAS-Algorithmus (Algorithmus 1):
Der Prozess umfasst zwei Schleifen von „Imagination" und Auswahl:
- Schritt 1 (Bedingung $U_t$ ): Von einem festen Anfangszustand aus imaginiert der Transformer $N$ Trajektorien. Er wählt das Trajektoriensegment aus, das die maximale Energie (Worst-Case-Risiko) minimiert, um einen initialen Prompt zu bilden.
- Schritt 2 (Bedingung $V_t$ ): Unter Verwendung des initialen Prompts imaginiert der Transformer $M$ neue Trajektorien. Er wählt die Trajektorie aus, die den kumulativen Lyapunov-Abstieg (Summe der $V_t$ -Indikatoren) maximiert.
- Schritt 3 (Einsatz): Das ausgewählte sichere Segment wird als In-Context-Prompt ( $p_{1:K}$ ) für den Transformer verwendet. Der Agent konditioniert seine Aktionen dann auf diesen Prompt und den aktuellen Zustand und „steuert" die vortrainierte Politik effektiv ohne Gradientenupdates in Richtung sicheren Verhaltens.

3. Hauptbeiträge

Neue Formulierung: Eine neuartige Definition der Lyapunov-Stabilität für Offline-RL basierend auf Besetzungsmaßen, die es ermöglicht, Sicherheitsbedingungen über die Datendichte statt über explizite Kostenfunktionen durchzusetzen.
Theoretischer Rahmen: Eine Interpretation des Transformer-basierten RL als Hierarchisches RL mittels Bayesscher Inferenz, bei der Prompting der Inferenz latenter hochrangiger Fähigkeiten entspricht. Dies liefert eine theoretische Grundlage dafür, warum In-Context-Learning für Sicherheit funktioniert.
Methode zur Anpassung zur Testzeit (SAS): Ein praktischer Algorithmus, der Lyapunov-gesteuerte Prompts generiert, um das Agentenverhalten neu auszurichten. Er garantiert Sicherheit, indem er den Agenten auf aus Offline-Daten abgeleitete, steuerungsinvariante Mengen beschränkt.
Probabilistische Sicherheitsgarantie: Die Autoren liefern eine formale Schranke (Satz 4), die zeigt, dass die Wahrscheinlichkeit, dass der Agent die sichere Menge verlässt, mit der Anzahl der imaginierten Rollouts ( $N$ ) und der Neudurchführungsversuche ( $M$ ) exponentiell abnimmt.

4. Experimentelle Ergebnisse

Die Methode wurde an den Benchmarks Safety Gymnasium, MuJoCo und Bullet-Safety-Gym evaluiert.

Leistung vs. Sicherheit: SAS reduzierte konsistent die Kosten und Ausfallraten (bis zu einer 2-fachen Verbesserung), während der Return (Belohnung) im Vergleich zu Baselines wie Decision Transformer (DT), Constrained Decision Transformer (CDT) und verschiedenen sicheren RL-Baselines (BC-Safe, COptiDICE usw.) erhalten oder verbessert wurde.
Generalisierung: SAS verbesserte die Sicherheit auch für Backbones (DT), die nicht mit expliziten Kostensignalen trainiert wurden, was zeigt, dass die dichte-basierte Lyapunov-Steuerung als impliziter Sicherheitsproxy fungiert.
Ablationsstudien:
- Lyapunov-Abstieg ( $V_t$ ): Das Entfernen der Abstiegbedingung erhöhte die Kosten signifikant und belegt deren Notwendigkeit für die Stabilität über lange Horizonte.
- Prompt-Auswahl: Zufälliges Prompting oder Prompting mit maximaler Energie schnitten schlechter ab als die Lyapunov-gesteuerte Auswahl, was die Wirksamkeit der spezifischen Auswahlkriterien bestätigt.
- Modellrobustheit: Die Methode zeigte Robustheit über verschiedene Prompt-Längen, Anzahlen imaginierten Trajektorien und Backbone-Modellgrößen (von DT bis GPT-2).

5. Bedeutung und Auswirkung

Brücke zwischen LLM und RL: Das Paper passt das Konzept der Selbstausrichtung (populär bei Large Language Models) erfolgreich auf den Bereich des sicheren RL an und ermöglicht es Agenten, mithilfe ihrer eigenen internen Weltmodelle über Sicherheit zu „schließen".
Einsatzfähigkeit: Durch die Eliminierung des Bedarfs an Neutraining oder Feinabstimmung bietet SAS eine skalierbare Lösung für den Einsatz von Offline-RL-Agenten in dynamischen, unsicheren Umgebungen, in denen Sicherheit kritisch ist.
Theoretische Strenge: Es geht über heuristische Sicherheitsprüfungen hinaus, indem es eine probabilistische Garantie dafür liefert, dass der Agent innerhalb einer steuerungsinvarianten Menge bleibt, die auf der Lyapunov-Stabilitätstheorie und der Bayesschen Inferenz basiert.
Effizienz: Obwohl es Inferenzzeit-Rechenleistung für Imagination (Rollouts) erfordert, vermeidet es die Rechenkosten eines vollständigen Neutrainings und ist somit für Szenarien geeignet, in denen die Daten statisch, die Umgebung jedoch nicht ist.

Zusammenfassend stellt SAS einen bedeutenden Fortschritt dar, um Offline-RL-Agenten gegenüber Verteilungsverschiebungen robust zu machen, indem es Lyapunov-gesteuerte Imagination nutzt, um das Verhalten zur Testzeit durch In-Context-Learning selbst zu korrigieren.