💻 computer science

SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model

SafeDojo ist ein neuartiges modellbasiertes sicheres Reinforcement-Learning-Framework, das ein interaktives Video-Weltmodell nutzt, um Vision-Language-Action-Policies zu ermöglichen, sichere Aktionen durch Vorstellungskraft zu erlernen, wodurch es im Vergleich zu bestehenden Baselines sowohl in der Simulation als auch beim Einsatz in der realen Welt eine überlegene Aufgabenerfolgsrate und Sicherheitsleistung erzielt.

Ursprüngliche Autoren: Kai Tang, Peidong Jia, Zhong Chu, Jixian Wu, Rui Ma, Jiajun Cao, Fangyuan Zhao, Sixiang Chen, Yichen Guo, Xiaowei Chi, Chun-Kai Fan, Kevin Zhang, Jinchang Xu, Fubing Yang, Weishi Mi, Xiaozhu Ju, Jian

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kai Tang, Peidong Jia, Zhong Chu, Jixian Wu, Rui Ma, Jiajun Cao, Fangyuan Zhao, Sixiang Chen, Yichen Guo, Xiaowei Chi, Chun-Kai Fan, Kevin Zhang, Jinchang Xu, Fubing Yang, Weishi Mi, Xiaozhu Ju, Jian Tang, Shanghang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man eine Schüssel aufhebt und auf einen Teller stellt. Das Problem ist, dass der Tisch mit anderen Objekten übersät ist. Wenn der Roboter einfach versucht, durch „Versuch und Irrtum“ in der realen Welt zu lernen, könnte er alles umwerfen, die Schüssel zerbrechen oder den Roboter selbst beschädigen, bevor er jemals den richtigen Griff gelernt hat.

Dieses Paper stellt SafeDojo vor, eine neue Methode, um Robotern (speziell solchen, die „Vision-Language-Action“-Modelle oder VLAs nutzen) beizubringen, sicher und effizient zu agieren, ohne jemals ein echtes Absturzrisiko einzugehen.

So funktioniert SafeDojo, erklärt anhand einfacher Analogien:

1. Der „träumende“ Roboter (Das interaktive Weltmodell)

Anstatt den Roboter physisch gegen Dinge prallen zu lassen, um zu lernen, gibt SafeDojo dem Roboter einen virtuellen Traum.

Die Analogie: Stellen Sie sich ein Videospiel vor, in dem Sie tausend verschiedene Möglichkeiten simulieren können, Ihren Arm zu bewegen, bevor Sie ihn in der Realität tatsächlich bewegen.
Wie es funktioniert: SafeDojo nutzt ein „Weltmodell“ (eine Art KI, die die Zukunft vorhersagt), um sich vorzustellen, was passieren würde, wenn der Roboter eine bestimmte Aktion ausführt. Es generiert ein Video der Zukunft: „Wenn ich jetzt nach der Schüssel greife, werde ich den Becher treffen? Werde ich Erfolg haben?“
Der Vorteil: Der Roboter kann Fehler machen, abstürzen und aus diesen Abstürzen lernen – und das alles innerhalb dieses „Traums“, ohne echte Hardware zu beschädigen.

2. Der „zweiköpfige“ Coach (Entkoppelte Evaluierung)

Sobön der Roboter einen Pfad imaginiert hat, muss SafeDojo diesen bewerten. Aber die Bewertung ist knifflig: Ein Pfad kann sehr gut darin sein, die Schüssel auf den Teller zu bringen (Aufgabenerfolg), aber gleichzeitig schrecklich sein, weil er auf dem Weg den Becher zertrümmert (Sicherheitsfehler).

Die Analogie: Stellen Sie sich einen Coach mit zwei verschiedenen Richtern vor.
- Richter A (Der Aufgaben-Coach): Schaut auf das imaginierte Video und fragt: „Hat der Roboter die Schüssel auf den Teller gebracht?“
- Richter B (Der Sicherheits-Coach): Schaut auf dasselbe Video und fragt: „Hat der Roboter etwas getroffen?“
Wie es funktioniert: SafeDojo nutzt zwei separate KI-„Köpfe“, um diese Dinge unabhängig vone von sich zu bewerten. Es vergibt nicht nur einen einzigen Wert, sondern einen „Aufgabenswert“ (Task Score) und einen „Sicherheitswert“ (Safety Score). Dies ermöglicht es dem Roboter zu lernen, dass das Erledigen der Aufgabe und das Nicht-Zerstören von Dingen zwei verschiedene Dinge sind, die ausbalanciert werden müssen.

3. Der „strenge Schiedsrichter“ (Lagrange-basierte Constraints)

Nun hat der Roboter eine Vielzahl von imaginierten Pfaden mit verschiedenen Bewertungen. Wie entscheidet er nun, welchen Pfad er lernen soll?

Die Analogie: Denken Sie an einen Schiedsrichter in einem Sportspiel, der eine strikte Regel hat: „Du kannst so viele Punkte sammeln, wie du willst, aber wenn du mehr als X Fouls begehst, verlierst du das Spiel.“
Wie es funktioniert: SafeDojo nutzt ein mathematisches Werkzeug namens „Lagrange-Multiplikator“. Dieser fungiert wie ein dynamischer Schiedsrichter.
- Wenn der Roboter zu leichtsinnig ist (zu viele Sicherheits-„Fouls“ in seinen Träumen begeht), zieht der Schiedsrichter die Regeln strenger und zwingt den Roboter, sich stärker auf die Sicherheit zu konzentrieren.
- Wenn der Roboter zu vorsichtig ist und die Aufgabe nicht erfüllt, lockert der Schiedsrichter die Regeln etwas auf, damit er mutigere Bewegungen ausprobieren kann.
- Dies stellt sicher, dass der Robot die Aufgabe verbessert, während er innerhalb eines strengen Sicherheitsbudgets bleibt.

4. Die Ergebnisse: Der „Dojo“-Meister

Die Autoren testeten SafeDojo in einer simulierten Umgebung namens SafeLIBERO (einem Trainingsgelände für Roboterlernen mit Hindernissen) und an einem echten Roboterarm, einem Franka Panda.

In der Simulation: SafeDojo war am besten darin, Aufgaben ohne Zusammenstöße zu lösen. Es übertraf andere Methoden (wie Standard-Reinforcement-Learning oder Sicherheitsfilter) deutlich. Beispielsweise verbesserte es in der schwierigsten Stufe die „sichere Erfolgsrate“ um über 8 Prozentpunkte im Vergleich zur zweitbesten Methode.
In der realen Welt: Als sie den trainierten Roboter in einer realen Umgebung mit echten Hindernissen einsetzten, war SafeDojo die einzige Methode, die Aufgaben konsistent und sicher abschloss. Andere Methoden stießen entweder gegen Hindernisse, waren zu langsam und konservativ oder schafften es nicht, die Aufgabe zu beenden.

Zusammenfassung

SafeDojo ist wie ein Roboter-Trainingslager. Anstatt einen Roboter durch das Zerstören von echten Möbeln lernen zu lassen, lässt es den Roboter tausende Szenarien „träumen“, bewertet diese mit einem strengen Sicherheits-Coach und lässt den Roboter nur die Bewegungen üben, die sowohl effektiv als auch sicher sind. Dies macht es möglich, fortschrittliche Roboter für unordentliche, reale Umgebungen zu trainieren, ohne das Risiko teurer Unfälle einzugehen.

Technisches Resümee: SafeDojo

Problemdefinition

Die Bereitstellung von Vision-Language-Action (VLA)-Modellen in realen physischen Umgebungen steht vor einer kritischen Sicherheitsherausforderung: der Kollisionsvermeidung bei kontaktreichen Manipulationen. Im Gegensatz zu niedrigdimensionalen Steuerungssystemen, bei denen Sicherheitsbeschränkungen explizit definiert oder kompakt erlernt werden können, müssen VLA-Policies Sicherheitsgrenzen aus hochdimensionalen visuellen Beobachtungen über diverse und zuvor ungesehene Hinderniskonfigurationen hinweg inferieren.

Bestehende Ansätze zur sicheren robotergestützten Manipulation leiden unter erheblichen Einschränkungen:

Interventionen zur Inferenzzeit (z. B. Control Barrier Functions) erfordern eine präzise geometrische Modellierung und Kamerakalibrierung, was für den Einsatz von Open-World-VLA-Modellen unpraktikabel ist.
Modellfreies beschränktes Reinforcement Learning (RL) erzwingt Sicherheit durch strafbasierte Optimierung, erfordert jedoch kostspielige und potenziell unsichere Exploration in der realen Welt. Ein einziger unsicherer Kontakt kann zum Aufgabenfehler, zu irreversiblen Hardwareschäden oder zu Störungen in der Umgebung führen.
Modellbasiertes sicheres RL operiert typischerweise in niedrigdimensionalen Zustandsräumen mit durch den Simulator bereitgestellten Kostenfunktionen, was den Transfer auf hochdimensionale VLA-Modelle erschwert, bei denen Sicherheitsignale aus visuellen Daten statt aus analytisch definierten Funktionen erlernt werden müssen.

Das zentrale offene Problem, das hier adressiert wird, ist die Frage, wie kollisionsfreie VLA-Policies in hindnisreichen Umgebungen gelernt werden können, ohne auf handgefertigte Sicherheitsfunktionen oder riskante Exploration in der realen Welt zurückzugreifen.

Methodik: SafeDojo

SafeDojo wird als das erste modellbasierte sichere Reinforcement-Learning-Framework vorgeschlagen, das speziell für VLA-Policies entwickelt wurde. Es ermöglicht die Online-Policy-Optimierung vollständig innerhalb eines interaktiven Weltmodells, wodurch das Risiko in der realen Welt vermieden wird. Das Framework besteht aus drei Schlüsselkomponenten:

1. Chunk-weise interaktive Weltmodell-Rollouts

Anstatt Daten in der physischen Welt zu sammeln, führt SafeDojo „Model-in-the-Loop“-Rollouts innerhalb eines interaktiven Weltmodells $p_\phi$ durch.

Architektur: Das Weltmodell wird als aktionsbedingter Videoprediktor (basierend auf Wan 2.2) instanziiert, der zukünftige visuelle Beobachtungen und latente Dynamiken generiert.
Prozess: Gegeben eine initiale Beobachtung $o_0$ und eine Sprachinstruktion $l$ , sampelt die aktuelle VLA-Policy $\pi_\theta$ Kandidaten-Trajektorien. Das Weltmodell führt diese Trajektorien rekursiv aus, um zukünftige Frames $\hat{o}_{i,k+1}$ und latente Zustände $\hat{z}_{i,k+1}$ zu generieren, die auf Action-Chunks konditioniert sind.
Robustheit: Um den Train-Test-Mismatch und den Expositionsfehler bei langfristigen Rollouts zu mildern, beinhaltet das Training eine statische Video-Augmentierung, die gelegentlich die Konditionierungsframes einfriert, wodurch das Modell gegenüber unvollkommenen intermediären Vorhersagen tolerant wird.

2. Entkoppelte Aufgabenbelohnung und Sicherheitskosten-Schätzung

SafeDojo evaluiert imaginierte Trajektorien mithilfe eines Dual-Branch-Evaluators, der dichte, pro Schritt generierte Signale schätzt, anstatt diese in einem einzelnen Skalar zusammenzufassen.

Aufgabenbelohnung ( $f_{task}$ ): Ein feinabgestimmter ResNet-Erfolgsklassifikator sagt den Fortschritt der Aufgabe pro Schritt aus den imaginierten zukünftigen Frames voraus.
Sicherheitskosten ( $f_{safe}$ ): Ein leichtgewichtiger Safety-Head schätzt die Sicherheitskosten pro Schritt (Wahrscheinlichkeit eines Hinderniskontakts) basierend auf den vorhergesagten latenten Kontexten und dem vorgeschlagenen Action-Chunk.
Aggregation: Diese dichten Signale werden zu Trajektorien-basierten Belohnungen ( $r_i$ ) und Kosten ( $c_i$ ) aggregiert. Die Sicherheitskosten aggregieren spezifisch die Top- $M$ der Hochrisiko-Schritte, um kritische Intervalle hervorzuheben.

3. Lagrangian-basiertes Safety-Constrained GRPO

Um die Policy unter expliziten Sicherheitsbeschränkungen zu optimieren, verwendet SafeDojo eine Variante der Group Relative Policy Optimization (GRPO) mit einer Lagrangian-Formulierung.

Advantage-Berechnung: Aufgabenbelohnungen und Sicherheitskosten werden separat innerhalb einer Gruppe von gesampelten Trajektorien normalisiert, um relative Advantages $\hat{A}^r_i$ und $\hat{A}^c_i$ zu berechnen.
Beschränkte Zielfunktion: Der finale Advantage wird als $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$ berechnet, wobei $\eta$ ein nicht-negativer Lagrange-Multiplikator ist.
Dynamische Balance: Der Multiplikator $\eta$ wird basierend auf der Verletzung der Beschränkung auf Batch-Ebene (durchschnittliche Sicherheitskosten vs. zulässiges Budget $d$ ) aktualisiert. Wenn die durchschnittlichen Kosten das Budget überschreiten, erhöht sich $\eta$ , um unsichere Trajektorien stärker zu bestrafen; andernfalls sinkt $\eta$ , um aufgabenorientierte Verbesserungen zuzulassen.
Update-Regel: Die Policy wird unter Verwendung einer geklippten Zielfunktion mit dem sicherheitsbeschränkten Advantage aktualisiert, was eine koordinierte Verbesserung von Aufgabenerfolg und Sicherheit ohne feste Strafgewichte gewährleistet.

Kernbeiträge

Weltmodell-basierte Reward-Cost-Schätzung: Entwicklung eines interaktiven Videoweltmodells gekoppelt mit einem Dual-Branch-Evaluator, der die Schätzung von Aufgabenfortschritt und Sicherheitsrisiko von den imaginierten Dynamiken entkoppelt und somit die Notwendigkeit handgefertigter Sicherheitsfunktionen eliminiert.
Safety-Constrained RL: Einführung einer Lagrangian-basierten, sicherheitsbeschränkten GRPO-Zielfunktion, die explizit Sicherheitsbudgets erzwingt und gleichzeitig Aufgabenerfolg und Kollisionsvermeidung koordiniert, wodurch die Sensitivität gegenüber festen Strafgewichten vermieden wird.
Empirische Leistung: Demonstration überlegener Leistung auf dem SafeLIBERO-Benchmark und bei realen Franka-Roboter-Einsätzen, wobei die höchste aggregierte Aufgabenerfolgsrate, die höchste sichere Erfolgsrate und die beste Ausführungseffizienz im Vergleich zu Inference-Time-Sicherheit, modellfreiem RL und modellbasiertem RL erzielt wurden.

Experimentelle Ergebnisse

Das Framework wurde auf SafeLIBERO (einem sicherheitskritischen Benchmark basierend auf Robosuite) und echten Franka Emika Panda Robotern evaluiert.

Simulationsergebnisse (SafeLIBERO)

Sicherheits-Erfolgsrate (SSR): SafeDojo erreichte die höchste durchschnittliche SSR sowohl auf Level I (53,25 %) als auch auf Level II (4-9,62 %). Auf Level I entspricht dies einer Verbesserung um 8,25 Prozentpunkte gegenüber der stärksten Baseline (SafeVLA mit 45,00 %).
Ausführungseffizienz: SafeDojo erreichte die niedrigsten durchschnittlichen Ausführungs-Zeitschritte (269,41 auf Level I) und übertraf damit die beste modellbasierte Baseline (WMPO mit 274,02), was zeigt, dass sicherheitsbewusste Optimierung nicht zu übermäßig konservativen oder ineffizienten Policies führt.
Generalisierung: Trainiert nur auf Level-I-Demonstrationen, behielt SafeDojo die Spitzenleistung auf Level II (Hindernisse weiter entlang des Bewegungspfads platziert) bei, was zeigt, dass via imaginierter Rollouts gelernte Sicherheitssignale auf ungesehene Hinderniskonfigurationen übertragbar sind.

Ergebnisse in der realen Welt

Beim Einsatz auf fünf realen Manipulationsaufgaben erreichte SafeDojo die beste durchschnittliche Aufgabenerfolgsrate (76,00 %) und Sicherheits-Erfolgsrate (70,00 %).
Qualitative Analysen zeigten, dass SafeDojo direkte, kollisionsbewusste Trajektorien generierte, während Baselines entweder mit Hindernissen kollidierten, übermäßig konservativ wurden oder nicht aus unsicheren Zuständen zurückkehrten.

Ablationsstudien

Bedeutung der Komponenten: Das Entfernen des Safety-Heads senkte die SSR auf 38,0 %; das Entfernen des Task-Reward-Branches ließ die Leistung auf nahezu Null zusammenbrechen. Der Ersatz von Constrained GRPO durch unbeschränkte Optimierung reduzierte die Sicherheit signifikant.
Eingangsquellen: Die Verwendung des aktuellen Weltmodell-Zustands plus des vorgeschlagenen Action-Chunks lieferte die stabilsten Reward-Cost-Signale im Vergleich zur alleinigen Nutzung zukünftiger Vorhersagen.
Lagrange-Multiplikator ( $\eta$ ): Ein initialer $\eta$ von 0,2 bot die beste Balance; höhere Werte führten zu übermäßig beschränkten, ineffizienten Policies, während niedrigere Werte daran scheiterten, riskante Aktionen zu unterdrücken.

Bedeutung und Ansprüche

Das Paper positioniert SafeDojo als einen skalierbaren und generalisierbaren Weg zu sicherer verkörperter Intelligenz. Durch die Nutzung von Weltmodellen zur Durchführung von „antizipatorischen Rollouts“ in der Vorstellung adressiert SafeDojo das fundamentale Spannungsfeld zwischen der Notwendigkeit der Policy-Exploration und der Irreversibilität physischer Sicherheitsverletzungen.

Die Autoren behaupten, dass SafeDojo das erste Framework ist, das modellbasiertes sicheres RL erfolgreich auf VLA-Modelle anwendet und somit ermöglicht:

Risikofreies Lernen: Die Policy-Verbesserung erfolgt vollständig innerhalb eines simulierten Weltmodells, was die Notwendigkeit kostspieliger und gefährlicher Exploration in der realen Welt eliminiert.
Datengestützte Sicherheit: Sicherheitsignale werden aus hochdimensionalen visuellen Beobachtungen gelernt, anstatt sich auf vordefinierte geometrische Constraints oder handgefertigte Kostenfunktionen zu verlassen.
Ausgewogene Optimierung: Der Lagrangian-basierte Ansatz ermöglicht eine explizite Einhaltung von Beschränkungen bei gleichzeitiger Aufrechterhaltung hoher Aufgabenleistung und Effizienz.

Die Ergebnisse legen nahe, dass weltmodellbasiertes sicheres Reinforcement Learning ein lebensfähiges Paradigma für den Einsatz von VLA-Policies in Open-World-Physischen Umgebungen ist, in denen Sicherheit eine Grundvoraussetzung darstellt.