🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

RePO-VLA ist ein durch Wiederherstellung angetriebener Rahmenwerk zur Politikoptimierung für Vision-Language-Action-Modelle, das die Robustheit bei langfristigen, kontaktreichen Manipulationsaufgaben verbessert, indem es Erfolgs-, Misserfolgs- und Wiederherstellungstrajektorien unterscheidet, um eine wertbedingte Politik zu trainieren, die in der Lage ist, Ausführungsdrift autonom zu korrigieren, ohne Online-Misserfolgsdetektoren.

Ursprüngliche Autoren: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, ein komplexes Gericht zu kochen oder ein empfindliches Handtuch zu falten. Sie zeigen ihm ein Video eines Menschen, der dies perfekt ausführt. Der Roboter beobachtet, lernt und versucht, Sie nachzuahmen.

Das Problem: Die Falle des „perfekten Rezepts"
Aktuelle Roboter (sogenannte Vision-Language-Action-Modelle) sind hervorragend darin, perfekte Videos nachzuahmen. Doch das Leben ist chaotisch. Wenn der Roboter einen Löffel fallen lässt, auf einem nassen Boden ausrutscht oder eine Tasse in einem seltsamen Winkel greift, gerät er in Verwirrung. Da er nur auf perfekten Videos trainiert wurde, weiß er nicht, was zu tun ist, wenn etwas schiefgeht. Er versucht einfach weiter, das ursprüngliche „perfekte" Skript zu befolgen, obwohl sich die Situation geändert hat, was zu einem Absturz führt. Das ist wie ein Fahrer, der nur auf einer leeren Autobahn fahren gelernt hat; sobald eine Schlaglöcher auftaucht, weiß er nicht, wie er daran vorbeisteuern soll.

Die Lösung: RePO-VLA (der „Wiederherstellungs-Trainer")
Die Studie stellt eine neue Methode namens RePO-VLA vor. Anstatt dem Roboter nur perfekte Videos zu zeigen, lehrt diese Methode ihm drei spezifische Dinge:

Erfolg: Wie man es richtig macht.
Versagen: Was passiert, wenn etwas schiefgeht.
Wiederherstellung: Wie man den Fehler korrigiert und wieder auf Kurs kommt.

Stellen Sie sich das wie das Training eines Turner vor. Man zeigt ihnen nicht nur die perfekte Landung. Man zeigt ihnen auch Videos, in denen sie stürzen, und dann Videos, in denen sie sich auffangen und wieder aufstehen. Der Roboter lernt, dass ein Sturz nicht das Ende der Welt ist; es ist lediglich ein Signal, die Strategie zu wechseln.

Wie es funktioniert: Drei einfache Schritte

Der „Frischer Start"-Trick (Wiederherstellungs-bewusste Initialisierung)
Wenn ein Roboter stürzt, erinnert er sich oft an den Fehler, der den Sturz verursacht hat. Wenn man ihn auffordert, das Problem zu beheben, könnte er stecken bleiben und den Fehler in seinem Kopf immer wieder abspielen.
- Die Lösung: RePO-VLA nimmt den „Wiederherstellungs"-Teil des Videos und schneidet den „Fehler"-Teil ab. Es setzt das Gedächtnis des Roboters genau dann zurück, wenn die Korrektur beginnt. Es ist, als würde man dem Roboter sagen: „Vergiss, wie du gefallen bist. Schau dir nur an, wo du jetzt bist, und finde heraus, wie du wieder aufstehst." Dies verhindert, dass der Roboter die Ursache des Sturzes mit der Lösung verwechselt.
Das „Fortschritts-Thermometer" (Semantische Wertfunktion)
Das System weist jedem Moment in einem Video eine „Bewertung" zu.
- Hohe Bewertung (1,0): Sie bewegen sich auf das Ziel zu.
- Niedrige Bewertung (0,0): Sie treiben davon oder stehen kurz vor einem Absturz.
- Die Magie: Wenn ein Roboter ausrutscht, sinkt die Bewertung. Beginnt er jedoch, den Rutsch zu korrigieren, steigt die Bewertung wieder an. Der Roboter lernt, auf dieses „Thermometer" zu achten. Ist die Bewertung niedrig, weiß er, dass er seinen aktuellen Plan stoppen und einen anderen Zug versuchen muss, um die Bewertung wieder hochzubringen. Er lernt zu unterscheiden zwischen „hart zu versuchen, aber zu scheitern" und „das Problem tatsächlich zu lösen".
Der „zielgerichtete" Antrieb (Wert-konditionierte Verfeinerung)
Wenn der Roboter tatsächlich in der realen Welt arbeitet, sagt ihm das System: „Strebe nach der höchstmöglichen Bewertung (1,0)."
- Wenn der Roboter vom Kurs abkommt, sinkt die „Bewertung". Da der Roboter darauf trainiert ist, der hohen Bewertung hinterherzujagen, wechselt er automatisch in einen „Wiederherstellungsmodus", um auf den sicheren Pfad zurückzukehren. Er braucht keinen Menschen, der „Stop!" ruft, oder einen speziellen Sensor, der einen Absturz erkennt. Er sieht einfach, dass die Bewertung sinkt, und korrigiert sich instinktiv selbst.

Der Test: FRBench
Um zu beweisen, dass dies funktioniert, entwickelten die Forscher einen Test namens FRBench. Stellen Sie sich ein Videospiel vor, in dem der Roboter versucht, Wasser einzuschenken oder ein Handtuch zu falten, aber der Spielleiter den Roboter heimlich stößt oder das Objekt rutschen lässt.

Alte Roboter: Wenn sie gestoßen wurden, versuchten sie weiterhin, Wasser in die Luft zu schütten oder falteten das Handtuch falsch, was schließlich zum Scheitern führte.
RePO-VLA-Roboter: Wenn er gestoßen wurde, erkannte er, dass die Bewertung sank, stoppte den schlechten Zug und fand einen neuen Weg, um einzuschenken oder zu falten, und schloss die Aufgabe erfolgreich ab.

Die Ergebnisse
In Tests gelang es den alten Robotern nur in etwa 20 % der Fälle zu bestehen, wenn etwas schiefging. Der neue RePO-VLA-Roboter bestand etwa 75 % der Fälle. In realen Versuchen mit tatsächlichen Robotern erreichte er bis zu 80 % Erfolgsquote.

Zusammengefasst
RePO-VLA lehrt Roboter, dass Misserfolg nur Daten sind. Indem es Fehler aufschlüsselt, Erinnerungen zurücksetzt und dem Roboter eine „Bewertung" zum Jagen gibt, verwandelt es einen zerbrechlichen Roboter, der leicht kaputtgeht, in einen widerstandsfähigen, der seine eigenen Probleme lösen kann. Es ist der Unterschied zwischen einem Schüler, der den Antwortenschlüssel auswendig lernt, und einem Schüler, der lernt, das Problem zu lösen, selbst wenn sich die Frage ändert.

Technische Zusammenfassung: RePO-VLA

Problemstellung

Vision-Language-Action (VLA)-Modelle haben die allgemeine Robotersteuerung vorangebracht, bleiben jedoch bei Manipulationsaufgaben mit langem Zeithorizont und reichhaltigen Kontakten brüchig. Aktuelle Ansätze verlassen sich stark auf überwachtes Feinabstimmen (SFT) über erfolgreiche Demonstrationen, wodurch eine „Blindstelle für die Nutzung von Fehlern" entsteht. Wenn es zu einer Ausführungsdrift kommt – bedingt durch Abweichungen der Greifpose, Objektrutschen oder Timingfehler – fehlt Standard-VLAs die notwendige Überwachung zur Erholung. Darüber hinaus verwerfen bestehende Methoden gescheiterte Rollouts oft vollständig, obwohl ihre frühen Phasen gültige Annäherungsverhalten enthalten können. Umgekehrt führt das naive Imitieren ganzer Erholungstrajektorien (die sowohl Fehlerhistorie als auch korrigierende Aktionen beinhalten) zu kausaler Verwirrung, bei der die Strategie lernt, den vorhergehenden Fehler mit der Erholungsaktion zu assoziieren, anstatt zu lernen, auf den aktuellen adversen Zustand zu reagieren.

Methodik: RePO-VLA

RePO-VLA (Recovery-Driven Policy Optimization for Vision-Language-Action Model) ist ein Framework, das entwickelt wurde, um unter einem einheitlichen Fortschrittssignal aus erfolgreichen, gescheiterten und wiederhergestellten Trajektorien zu lernen. Es arbeitet in zwei distincten Phasen:

1. Wiederherstellungsorientierte Initialisierung (RAI)

Die erste Phase adressiert das Problem der „kausalen Verwirrung", bei dem eine Strategie lernen könnte, dass eine spezifische Fehlerhistorie ein notwendiger Auslöser für die Erholung ist.

Trajektorien-Slicing mit Historie-Reset (TSHR): Rohre Erholungstrajektorien werden geschnitten, um das Fehlerpräfix zu entfernen. Der Beobachtungshistorienpuffer wird am Beginn des korrigierenden Segments zurückgesetzt. Dies zwingt die Strategie, Erholung als zustandsbedingte Fähigkeit zu lernen, die auf dem aktuellen adversen Zustand basiert (z. B. ein leerer Greifer oder ein fehljustiertes Objekt), anstatt eine Wiedergabe des spezifischen Fehlers, der sie verursacht hat.
Training: Die Strategie wird auf einer Mischung aus Experten-Demonstrationen und diesen zurückgesetzten Erholungssegmenten ( $D_{expert} \cup D_{reset}^{rec}$ ) feinabgestimmt, wobei die nominale Imitation mit dem Erholungslernen ausbalanciert wird.

2. Wertkonditionierte Verfeinerung (VCR)

Die zweite Phase stellt die vollständige Roll-Historie (einschließlich Fehlerpräfixe) wieder her und führt ein dichtes semantisches Wertesignal ein, um zwischen nützlichen, driftenden und korrigierenden Verhaltensweisen zu unterscheiden.

Fortschrittsbewusste semantische Wertefunktion (PAS-VF): Ein leichtgewichtiges Adapter-Netzwerk aligniert spatiotemporale Videomerkmale mit Sprachanweisungen in einer gemeinsamen semantischen Mannigfaltigkeit. Es lernt, den Aufgabenfortschritt zu schätzen, indem es die Kosinus-Ähnlichkeit zwischen dem aktuellen Trajektorienpräfix und einem Cluster erfolgreicher Referenztrajektorien misst.
Dichte Beschriftung:
- Erfolg/Erholung: Frames, die den Fortschritt aufrechterhalten oder wiederherstellen, werden mit $v_t = 1.0$ gekennzeichnet.
- Fehlersegmente: Präfixe, die zu adversen Zuständen führen, werden mit $v_t = 0.0$ gekennzeichnet, um eine Mittelwertbildung mit korrigierenden Aktionen zu verhindern.
- Reine Fehler: Frühe kinematische Priors werden über einen Zuverlässigkeits-Decay-Mechanismus erhalten ( $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ ), während terminale Zusammenbrüche heruntergewichtet werden.
Wertkonditioniertes Training: Die Strategie wird mit einem Wert-Token ( $e_{val}$ ) erweitert, das von den dichten Beschriftungen abgeleitet ist. Während des Trainings lernt die Strategie, dieselbe adverse Beobachtung und Historie je nach gewünschtem Wert auf unterschiedliche Aktionsmodi abzubilden.
Bereitstellung: Beim Inferenzvorgang verwendet die Strategie den Standard-Roll-Historienpuffer (ohne Zurücksetzen), fixiert jedoch das Wert-Token auf $v = 1.0$ . Dies verzerrt die Aktionsverteilung zugunsten der gelernten „Erfolgs-Mannigfaltigkeit" und ermöglicht eine autonome Erholung ohne Online-Fehlerdetektoren oder heuristische Wiederholungsregeln.

Hauptbeiträge

RePO-VLA-Framework: Eine Zwei-Phasen-Architektur (RAI + VCR), die gescheiterte Rollouts strukturell wiederverwendet. Sie eliminiert kausale Verwirrung durch Historie-Reset und ermöglicht wertdifferenzierte Aktionen durch dichte Fortschrittsbeschriftungen.
FRBench: Ein neuer Benchmark für die Erholungsbewertung mit standardisierter Fehlerinjektion (E1–E4: vorzeitiges Schließen, Greifrutschen, Positionsversatz, Orientierungsfehlanpassung) und einem phasenbasierten Protokoll, das die nominale Kompetenz von der korrigierenden Fähigkeit sowohl in der Simulation (RoboTwin) als auch bei realen bimanuellen Aufgaben isoliert.
Empirische Validierung: Es wurde gezeigt, dass explizite Erholungsüberwachung und dichte Wertführung die Robustheit signifikant verbessern. Die Arbeit zeigt einen positiven Skalierungstrend, bei dem eine Erhöhung der Dichte an Erholungsdaten die Leistung weiter verbessert.

Experimentelle Ergebnisse

Simulation (FRBench-Sim): Über 46 bimanuelle Aufgaben hinweg übertraf RePO-VLA bei injizierten Fehlern die Baselines (einschließlich $\pi_0$ , $\pi_0.5$ und RDT) signifikant. In randomisierten Settings mit adversen Perturbationen erreichte RePO-VLA eine durchschnittliche Erfolgsrate von 43,0 %, verglichen mit 15,4 % für die $\pi_0.5$ -Baseline.
Realwelt-Evaluation: Getestet an Dobot X-Trainer-Armen für Aufgaben wie Wasser einschenken, Kochen und Handtücher falten.
- Unter adversen Perturbationen erreichte die Baseline $\pi_0.5$ 20,0 % Erfolg, während RePO-VLA (nur Phase I) 37,5 % erreichte.
- Datenskaling: Eine Erhöhung der Erholungsdatendichte von 1x auf 4x verbesserte die Leistung weiter. Die Full (4x)-Variante erreichte unter adversen Bedingungen 75 % Erfolg, übertraf die Phase-I-Baseline und zeigt, dass eine dichtere Abdeckung von Fehler-Erholungs-Nachbarschaften kritisch ist.
Ablationsstudien: Bestätigten, dass das Zurücksetzen der Historie (TSHR) essenziell ist, um kausale Verwirrung zu verhindern, und dass die Wertkonditionierung ( $v=1.0$ ) ein stabileres Steuersignal bietet als heuristische Wiederholungsversuche.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RePO-VLA die Brüchigkeit aktueller VLA-Modelle adressiert, indem es grundlegend ändert, wie Fehlerdaten genutzt werden. Anstatt Fehler zu verwerfen oder Erholungsepisoden als einheitlich positiv zu behandeln, zerlegt das Framework sie in distincte semantische Rollen:

Nützliche Präfixe von Fehlern werden als kinematische Priors beibehalten.
Terminale Zusammenbrüche werden sicher heruntergewichtet.
Korrigierende Aktionen werden als zustandsbedingte Fähigkeiten gelernt, entkoppelt von der spezifischen Fehlerhistorie, die ihnen vorausging.

Die Autoren gehen davon aus, dass dieser Ansatz es einer einzigen Strategie ermöglicht, sowohl die nominale Ausführung als auch die autonome Erholung zu handhaben, ohne Module zu wechseln oder auf externe Fehlerdetektoren zu vertrauen. Die Ergebnisse deuten darauf hin, dass für zuverlässige Manipulationen mit langem Zeithorizont, insbesondere in kontaktreichen Umgebungen, die Fähigkeit, sich von Drift zu erholen, ebenso kritisch ist wie die Fähigkeit, den nominalen Plan auszuführen, und dass diese Fähigkeit direkt aus gemischten Interaktionsdaten unterschiedlicher Qualität gelernt werden kann.