🤖 machine learning

Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data

Das Papier stellt PROCO vor, ein modellbasiertes Offline-Sicherheits-Verstärkungslern-Framework, das große Sprachmodelle nutzt, um natürlichsprachliches Wissen in eine konservative Kostenfunktion zu überführen, wodurch die Generierung kontrafaktischer unsicherer Beispiele und das Erlernen sicherer Strategien ermöglicht werden, selbst wenn die Trainingsdaten keine beobachteten Verstöße enthalten.

Ursprüngliche Autoren: Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Autofahren beizubringen. Die übliche Methode, einem Roboter das Fahren beizubringen, besteht darin, ihn herumfahren zu lassen, Fehler zu machen, gegen Dinge zu prallen und aus diesen Unfällen zu lernen. Doch in der realen Welt können Sie einem Roboter nicht erlauben, einfach nur um herauszufinden, was passiert, gegen eine Wand oder einen Fußgänger zu prallen. Das ist zu gefährlich.

Stattdessen geben Sie dem Roboter einen Datensatz mit Fahrprotokollen, die von einem menschlichen Fahrer gesammelt wurden, der sehr vorsichtig war und niemals einen Unfall hatte. Der Roboter sieht nur „sicheres" Fahren.

Das Problem: Die Falle des „Beinahe-Unfalls"
Hier liegt der Haken: Nur weil der Roboter in den Daten noch nie einen Unfall gesehen hat, bedeutet das nicht, dass er weiß, wie ein Unfall aussieht, bevor er passiert.

Stellen Sie sich ein Auto vor, das auf eine Wand zufährt. Im Datensatz hat der menschliche Fahrer immer gerade noch rechtzeitig die Bremsen betätigt, bevor er gegen die Wand gefahren wäre. Der Roboter sieht das Auto sicher anhalten. Doch der Roboter erkennt nicht, dass er in zwei Sekunden gegen die Wand prallen würde, wenn er nicht die Bremsen betätigen würde. Er denkt: „Oh, so schnell zu fahren ist doch in Ordnung!", weil er den Unfall noch nie gesehen hat.

Dies ist das Kernproblem, das der Artikel behandelt: Wie bringt man Sicherheit bei, wenn man keine Beispiele für Gefahr hat, sondern nur Beispiele dafür, wie Menschen sie gerade noch vermeiden?

Die Lösung: PROCO (Der „Was-wäre-wenn"-Simulator)
Die Autoren schlagen eine neue Methode namens PROCO vor. Stellen Sie sich dies als einen Sicherheitscoach vor, der zwei Hauptwerkzeuge nutzt: eine Glaskugel (ein Modell davon, wie die Welt funktioniert) und ein Sicherheitsmanual (geschrieben von einer superintelligenten KI).

So funktioniert es, Schritt für Schritt:

1. Die Glaskugel (Das Dynamik-Modell)

Zuerst lernt der Roboter eine „Glaskugel" aus den sicheren Fahrprotokollen. Das ist keine Magie; es ist ein mathematisches Modell, das vorhersagt: „Wenn ich hier bin und das Lenkrad so drehe, wo werde ich in der nächsten Sekunde sein?"

Die Analogie: Es ist wie ein Flugsimulator. Der Roboter lernt die Physik des Autos, damit er zukünftige Szenarien vorstellen kann, ohne sie tatsächlich zu fahren.

2. Das Sicherheitsmanual (Die Kostenfunktion des LLM)

Als Nächstes muss der Roboter wissen, was „unsicher" bedeutet. Da er keine Unfalldaten hat, bitten die Forscher ein Large Language Model (LLM) – eine superintelligente KI, die menschliche Sprache liest und versteht –, ein „Sicherheitsmanual" zu schreiben.

Der Prompt: Sie sagen dem LLM: „Hier ist die Regel: Fahren Sie nicht gegen die Wand. Aber seien Sie bitte besonders vorsichtig. Wenn Sie der Wand nahe kommen, behandeln Sie es so, als hätten Sie bereits gegen sie gefahren."
Das Ergebnis: Das LLM schreibt eine Computerfunktion (ein Stück Code), die als „Kostenfunktion" dient. Sie weist nicht nur für das Aufprallen gegen die Wand, sondern auch für das gefährlich nahe Herankommen eine hohe „Strafpunktzahl" zu. Dies erzeugt einen „Sicherheitspuffer".

3. Das „Was-wäre-wenn"-Spiel (Proaktive Rollouts)

Nun kommt der clevere Teil. Der Roboter nutzt seine Glaskugel, um das Fahren von den sicheren Daten, die er hat, voraus zu simulieren. Er fragt: „Wenn ich von diesem sicheren Punkt aus geradeaus weiterfahre, was passiert dann?"

Aufgrund des Sicherheitsmanuals weiß der Simulator, dass es schlecht ist, der Wand nahe zu kommen.
Der Simulator führt diese „Was-wäre-wenn"-Szenarien durch und generiert fälschliche Unfalldaten. Er erstellt Tausende von Beispielen für „Beinahe-Unfälle" und „Unfälle", die in der realen Welt nie tatsächlich passiert sind, aber mathematisch vorhergesagt werden, dass sie passieren würden.

4. Lernen aus den Fälschungen

Schließlich trainiert der Roboter auf diesem neuen, gemischten Datensatz:

Die ursprünglichen echten sicheren Daten.
Die simulierten „Unfall"-Daten, die von der Glaskugel generiert und vom Sicherheitsmanual als solche markiert wurden.

Indem er auf diesen simulierten Gefahren trainiert, lernt der Roboter, die „Gefahrenzone" (die Zustände, die zu einem Unfall führen würden) zu erkennen und sich fernzuhalten, obwohl er in der realen Welt noch nie einen Unfall hatte.

Warum ist das besser?

Der alte Weg: Wenn Sie einem Roboter nur sichere Daten zeigen, könnte er denken, „schnell in der Nähe der Wand zu fahren ist sicher", weil er keinen Unfall gesehen hat. Er könnte in die Gefahrenzone abdriften und bei der Einsatzeinsatz einen Unfall haben.
Der PROCO-Weg: Er erstellt proaktiv die Gefahrenszenarien, aus denen er lernen muss. Er sagt effektiv: „Ich weiß, ich habe noch keinen Unfall gehabt, aber meine Glaskugel sagt mir, dass ich einen haben werde, wenn ich mich jetzt nicht verlangsame."

Die Ergebnisse

Die Autoren testeten dies an 17 verschiedenen Roboteraufgaben (wie Autofahren, Bewegen eines Roboterarms oder Schwimmen).

Sie verglichen PROCO mit anderen fortschrittlichen Methoden, die versuchten, Sicherheit aus denselben „nur-sicheren"-Daten zu lernen.
Das Ergebnis: PROCO war dramatisch besser. In vielen Fällen reduzierte es Sicherheitsverletzungen (Unfälle) um über 400 % im Vergleich zu den anderen Methoden. Es lernte, viel zuverlässiger sicher zu bleiben, weil es die zukünftigen Gefahren „sehen" konnte, die die anderen Methoden nicht erkennen konnten.

Kurz gesagt: PROCO ist eine Methode, um einem Roboter Sicherheit beizubringen, indem man ihm ein „Was-wäre-wenn"-Spiel mit einem Simulator und einem intelligenten Sprachführer spielen lässt, damit es lernt, Katastrophen zu vermeiden, die es noch nie tatsächlich erlebt hat.

Technische Zusammenfassung: Modellbasierte proaktive Kostengenerierung zum Erlernen sicherer Richtlinien offline mit begrenzten Verletzungsdaten

1. Problemstellung

Sicheres Reinforcement Learning (RL) zielt darauf ab, Richtlinien abzuleiten, die vordefinierte Sicherheitsbedingungen erfüllen, was für Anwendungen wie autonomes Fahren und Robotik entscheidend ist. Während sicheres Offline-RL ein Paradigma bietet, um aus vorab gesammelten Datensätzen zu lernen, ohne riskante Online-Exploration, stehen bestehende Methoden in hochriskanten Szenarien vor einer grundlegenden Einschränkung: die Knappheit oder das vollständige Fehlen unsicherer Stichproben.

In vielen praktischen Datenerfassungsprozessen (z. B. Robotermanipulation) verhindern externe Eingriffe oft, dass Agenten unsichere Zustände erreichen, was zu Datensätzen führt, die fast ausschließlich aus sicheren Trajektorien bestehen. Herkömmliche Methoden des sicheren Offline-RL, die darauf angewiesen sind, Kostenwertfunktionen aus zahlreichen unsicheren Stichproben zu lernen, um Sicherheitsgrenzen zu definieren, versagen in diesem Setting. Sie neigen dazu, alle beobachteten Daten als gleichmäßig sicher zu behandeln und übersehen dabei "sichere, aber nicht durchführbare" Zustände – Zustände, die derzeit die Bedingungen erfüllen, aber aufgrund von Dynamiken (z. B. Trägheit) unvermeidlich innerhalb weniger Schritte gegen diese verstoßen. Diese Vernachlässigung führt zu Fehlern beim Einsatz von Richtlinien, bei denen Agenten in unsichere Bereiche abdriften.

Die Kernherausforderung lautet: Wie können wir eine sichere Richtlinie offline lernen, wenn unsichere Stichproben knapp sind oder ganz fehlen?

2. Methodik: PROCO

Die Autoren schlagen PROCO (Model-Based Proactive Cost Generation) vor, ein modellbasiertes Framework für sicheres Offline-RL, das darauf ausgelegt ist, nicht durchführbare Zustände zu identifizieren und sichere Richtlinien aus Datensätzen mit wenigen oder keinen unsicheren Stichproben zu lernen. Die Methodik integriert drei Schlüsselkomponenten:

A. LLM-gestützte konservative Kostengenerierung

Um die Lücke zu schließen, die durch das Fehlen unsicherer Daten entsteht, nutzt PROCO Large Language Models (LLMs), um Wissen in natürlicher Sprache in den Lernprozess zu integrieren.

Eingabe: Das LLM erhält Aufgabeninformationen ( $L_{task}$ ), eine Beschreibung der Sicherheitsbedingungen in natürlicher Sprache ( $L_{cost}$ ) und explizite Anweisungen ( $L_{inst}$ ), um eine Kostenfunktion zu generieren, die konservativer ist als die strikte Definition der Bedingung.
Ausgabe: Eine Python-Funktion $\bar{c}$ , die Zustände als unsicher (1) oder sicher (0) kennzeichnet.
Validierung und Feedback-Schleife: Da LLM-Ausgaben unzuverlässig sein können, setzt PROCO einen Validierungsmechanismus ein:
1. Sicherheitsprüfung: Die generierte Kostenfunktion wird gegen einen kleinen Satz bekannter unsicherer Stichproben ( $D_{unsafe}$ , $\le 100$ Stichproben) validiert. Sie muss bei diesen eine Genauigkeit von 100 % erreichen, um sicherzustellen, dass keine bekannten unsicheren Zustände übersehen werden.
2. Konservativitätsprüfung: Die Funktion wird am sicheren Datensatz ( $D$ ) evaluiert. Der Anteil der als unsicher gekennzeichneten sicheren Stichproben wird gemessen. Wenn dieser Anteil in einen durch Hyperparameter gesteuerten Bereich $[p_{min}, p_{max}]$ fällt, wird die Funktion akzeptiert.
3. Verfeinerung: Wenn die Funktion zu konservativ oder nicht konservativ genug ist, wird eine Feedback-Beschreibung ( $L_{feed}$ ) generiert und dem LLM zurückgegeben, um die Kostenfunktion zu verfeinern.

B. Identifikation der Durchführbarkeit auf Basis von Dynamikmodellen

PROCO lernt ein Ensemble-Dynamikmodell $\hat{T}$ aus den Offline-Daten. Um nicht durchgeführbare Zustände ohne beobachtete Verstöße zu identifizieren, führt es verzweigte Modellrollouts durch:

Ausgehend von Offline-Datenstichproben simuliert das Modell zukünftige Trajektorien.
Ein konservativer durchführbarer Bellman-Operator ( $\bar{B}^*$ ) wird eingeführt. Im Gegensatz zu Standardoperatoren berücksichtigt $\bar{B}^*$ den Worst-Case-Übergang innerhalb des Ensembles von Dynamikmodellen, um Robustheit gegenüber Modellunsicherheit zu gewährleisten.
Dieser Prozess generiert proaktiv diverse kontrafaktische unsichere Stichproben. Durch die Kennzeichnung von Zuständen in der Nähe tatsächlicher unsicherer Zustände als unsicher (mittels der konservativen Kostenfunktion) verkürzt die Methode effektiv die Übergangsschritte von nicht durchführbaren zu unsicheren Zuständen und reduziert so den Einfluss von Modellfehlern auf die Identifikation der Durchführbarkeit.

C. Pipeline zum Lernen von Richtlinien

Datenaugmentierung: Das gelernte Dynamikmodell $\hat{T}$ und die konservative Kostenfunktion $\bar{c}$ werden verwendet, um Modellrollouts durchzuführen. Trajektorien, die Sicherheitsverletzungen enthalten (gemäß $\bar{c}$ ), werden zu einem synthetischen Datensatz $D_{\hat{T}}$ hinzugefügt.
Neukennzeichnung: Der Offline-Datensatz $D$ wird mit Kosten für Bedingungsverletzungen unter Verwendung von $\bar{c}$ neu gekennzeichnet.
Aktualisierung der Wertfunktion: Der Algorithmus aktualisiert die Wertfunktion für Bedingungsverletzungen ( $V_h$ ) und die Aktionswertfunktion ( $Q_h$ ) unter Verwendung des kombinierten Datensatzes ( $D \cup D_{\hat{T}}$ ). Er wendet eine reverse Expectile-Regression an, um den Minimierungsoperator in der durchführbaren Bellman-Aktualisierung zu approximieren.
Richtlinienoptimierung: Die Richtlinie wird unter Verwendung des ursprünglichen Offline-Datensatzes $D$ aktualisiert, geleitet von den Kosten-Kritikern, die aus den augmentierten Daten gelernt wurden.

3. Hauptbeiträge

Problemformulierung: Die Arbeit identifiziert und formalisiert die Herausforderung, sichere Richtlinien aus "nur-sicheren" Datensätzen zu lernen, bei denen nicht durchführbare Zustände ohne unsichere Stichproben von sicheren nicht unterscheidbar sind.
Integration von Wissen und Daten: Sie stellt ein neues Framework (PROCO) vor, das Sicherheitsvorgaben in natürlicher Sprache (via LLMs) mit empirischen Offline-Daten integriert, um konservative Kostenfunktionen zu generieren, und ermöglicht so Risikoschätzungen ohne beobachtete Verstöße.
Proaktive Identifikation der Durchführbarkeit: Durch die Kombination eines gelernten Dynamikmodells mit einer konservativen Kostenfunktion synthetisiert PROCO kontrafaktische unsichere Stichproben, um nicht durchführbare Zustände zu identifizieren und adressiert damit die "sichere, aber nicht durchführbare" Blindstelle bestehender Methoden.
Theoretische Garantien: Die Autoren liefern eine theoretische Analyse (Satz 4.8), die zeigt, dass die Integration von PROCO mit jedem Baseline-Offline-RL-Algorithmus die Sicherheitsleistung nicht verschlechtert, da Sicherheitswerte nicht unterschätzt werden, selbst ohne Annahmen zur Größe des Modellfehlers.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PROCO an 17 Aufgaben aus dem Safety-Gymnasium-Benchmark (Navigations- und Geschwindigkeitsaufgaben) unter Verwendung des OSRL-Datensatzes, wobei sie speziell "nur-sichere" Datensätze durch Entfernen aller unsicheren Daten konstruierten.

Leistung: PROCO schnitt auf nur-sicheren Datensätzen deutlich besser ab als ursprüngliche Offline-RL-Algorithmen für sicheres Lernen (FISOR, LSPC, CAPS) und Baselines des Behavior Cloning (BC, CDT).
- Es erzielte eine Verbesserung der Sicherheitsleistung von über 400 % über verschiedene Algorithmen hinweg, wobei einige Aufgaben Verbesserungen von über 1000 % aufwiesen.
- Im Fallstudienfall "Ant Circle" identifizierte PROCO erfolgreich nicht durchführbare Zustände in der Nähe der Sicherheitsgrenze und erzielte null Sicherheitsverletzungen, wohingegen Baselines nicht in der Lage waren, durchführbare von nicht durchführbaren Zuständen zu unterscheiden und erhebliche Verletzungen erlitten.
Robustheit: Die Methode blieb auch dann wirksam, wenn die Menge verfügbarer unsicherer Daten extrem begrenzt war (z. B. 10 % des ursprünglichen unsicheren Datensatzes).
Ablationsstudien:
- Das Entfernen des Dynamikmodells oder der Generierung der konservativen Kostenfunktion führte zu erheblichen Einbußen bei der Sicherheitsleistung.
- Der Feedback-Mechanismus für die vom LLM generierte Kostenfunktion war entscheidend, um das gewünschte Maß an Konservativität zu erreichen.
- Die Methode zeigte Stabilität über verschiedene LLMs hinweg (GPT-o4-mini, Gemini 2.5 Pro), obwohl die Leistung leicht variierte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PROCO eine kritische Engstelle bei der Bereitstellung von sicherem RL in realen, hochriskanten Umgebungen adressiert, in denen das Sammeln unsicherer Daten unpraktikabel oder gefährlich ist. Indem es LLMs nutzt, um Sicherheitsbedingungen in natürlicher Sprache in konservative Kostenfunktionen zu übersetzen und Modellrollouts verwendet, um potenzielle Ausfälle proaktiv zu erkunden, ermöglicht PROCO das Erlernen sicherer Richtlinien aus Datensätzen, die andernfalls für sicherheitskritische Entscheidungsfindung unzureichend wären.

Die Autoren betonen, dass ihr Ansatz keine unsicheren Stichproben erfordert, um eine sichere Richtlinie zu lernen, was ihn für Szenarien geeignet macht, in denen Daten durch menschliche Teleoperation oder externe Eingriffe gesammelt werden, die Kollisionen verhindern. Sie schließen daraus, dass die Methode, obwohl sie derzeit auf zustandsbasierte Beobachtungen und LLMs angewiesen ist, einen bedeutenden Schritt hin zu wissensbasiertem sicherem Offline-RL darstellt. Als zukünftige Arbeit wird vorgeschlagen, dies auf visuelle Aufgaben unter Verwendung von Vision-Language-Modellen (VLMs) zu erweitern.