💬 NLP

WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning

Das Papier stellt das World Critic Model (WCM) vor, einen neuartigen Ansatz für Vision-Language-Action Reinforcement Learning, der eine leichtgewichtige LeJEPA-Architektur nutzt, um zukünftige latente Zustände gemeinsam vorherzusagen und Werte zu schätzen, wodurch die Einschränkungen von Single-Frame-Critics überwunden und eine State-of-the-Art-Leistung sowie Generalisierung über verschiedene robotische Manipulationsaufgaben hinweg erreicht wird.

Ursprüngliche Autoren: Senyu Fei, Xiaopeng Yu, Siyin Wang, Xianzhong Zhao, Jingjing Gong, Xipeng Qiu

Veröffentlicht 2026-08-03

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Senyu Fei, Xiaopeng Yu, Siyin Wang, Xianzhong Zhao, Jingjing Gong, Xipeng Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man ein Sandwich zubereitet. Sie zeigen ihm ein Bild der Zutaten und sagen: „Mach ein Sandwich.“ Ein einfacher Roboter würde vielleicht dieses eine Bild betrachten, raten, was zu tun ist, und versuchen, das Brot zu greifen. Aber hier ist der Haken: Der Roboter kann die Zukunft nicht sehen. Er weiß nicht, ob das Brot vom Tisch rutscht, ob das Messer gleich abrutschen wird oder ob der Toaster gleich hochspringen wird. In der realen Welt sind Roboter wie Menschen, die durch einen nebligen Raum laufen; sie können nur ein winziges Stück des gegenwärtigen Augenblicks sehen. Dies ist ein Problem, das als „partielle Beobachtbarkeit“ bezeichnet wird. Um gute Entscheidungen zu treffen, muss ein Roboter sich daran erinnern, was vor einer Sekunde passiert ist, und vorhersagen, was in einer Sekunde passieren wird.

Lange Zeit haben Wissenschaftler versucht, Roboter mit einer Methode namens Reinforcement Learning (RL) zu trainieren. Betrachten Sie dies als ein Videospiel, in dem der Roboter verschiedene Aktionen ausprobiert, Punkte für gute Leistungen erhält und Punkte verliert, wenn er scheitert. Um schnell zu lernen, benötigt der Roboter einen „Coach“ (einen sogenannten Kritiker), der den Spielzustand betrachtet und sagt: „Hey, das war ein guter Zug!“ oder „Schlechte Idee!“. Das Problem ist, dass die meisten dieser Coaches nur auf ein einzelnes, eingefrorenes Frame des Spiels schauen. Sie sind wie ein Trainer, der Anweisungen ruft, während er nur auf ein einzelnes Foto des Spielers schaut und dabei den Schwung des Laufs oder die Geschwindigkeit des Balls übersieht. Dieses Paper mit dem Titel „WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning“ widmet sich genau diesem Problem. Es schlägt eine neue Art von Coach vor, der nicht nur die Gegenwart betrachtet, sondern die Zukunft imaginiert, um die Vergangenheit zu verstehen.

Das Problem: Der Coach mit Amnesie

In der Welt des Roboterlernens gibt es Modelle, die als Vision-Language-Action (VLA)-Modelle bezeichnet werden. Dies sind die Gehirne, die es einem Roboter ermöglichen, ein Bild zu sehen, einen Satz wie „Hebe die Tasse auf“ zu verstehen und dann seinen Arm zu bewegen. Um diese Aufgaben wirklich gut zu beherrschen, nutzen Forscher Reinforcement Learning, um diese Gehirne feinabzustimmen. Um jedoch effektiv zu trainieren, benötigen sie ein „Critic“-Modell. Dieser Kritiker fungiert als Punktezähler, der abschätzt, wie gut eine aktuelle Situation ist.

Die alte Methode bestand darin, dem Kritiker nur ein einziges Bild (oder einen Stapel von ein paar Bildern) zu füttern und zu fragen: „Wie gut ist das?“ Das Paper argumentiert, dass dies ein fundamentaler Fehler ist. Es ist, als würde man versuchen, ein Fußballspiel zu beurteilen, indem man nur eine Momentaufnahme der Spieler betrachtet. Man übersieht die Geschwindigkeit des Balls, die Windrichtung und die Tatsache, ob ein Spieler gleich stolpern wird. Da der Roboter nicht alles sehen kann (wie die Reibung des Tisches oder das exakte Momentum eines beweglichen Objekts), ist eine einzelne Momentaufnahme oft irreführend.

Die Autoren fanden heraus, dass es auch nicht gut funktionierte, dem Kritiker einfach mehr Historie zu geben – etwa indem man ihm die letzten fünf Frames eines Videos zeigt. Wenn man einem Standard-Kritiker einfach ein langes Video füttert und ihn bittet, einen Score zu erraten, tendiert er dazu, das Video als einen riesigen, statischen Haufen Pixel zu behandeln, statt als eine Geschichte, die sich entfaltet. Er versäumt es, zu lernen, wie sich die Welt im Laufe der Zeit verändert. Das Paper legt nahe, dass die Ursache darin liegt, dass der Kritiker nicht versucht, die „Physik“ der Situation zu verstehen, sondern lediglich Muster auswendig lernt, um eine Zahl zu erraten.

Die Lösung: Der „World“-Kritiker

Hier kommt der World Critic Model (WCM) ins Spiel. Die Autoren haben einen neuen Typ von Coach gebaut, der zwei Dinge gleichzeitig tut, anstatt nur eines.

Er errät den Score: Wie ein normaler Kritiker schätzt er ein, wie gut die aktuelle Situation ist.
Er sagt die Zukunft voraus: Er versucht auch zu erraten, wie die „interne Karte“ (ein latenter Zustand) des Roboters im nächsten Moment aussehen wird.

Betrachten Sie den WCM als einen Schachspieler, der nicht nur das Brett betrachtet und sagt: „Ich gewinne.“ Stattdessen führt er ständig mentale Simulationen durch: „Wenn ich hier ziehe, wird der Gegner dort ziehen, und dann werde ich in dieser neuen Position sein.“ Indem das Modell gezwungen wird, vorherzusagen, was als Nächstes passiert, wird es gezwungen, die Regeln des Spiels zu lernen – die Dynamik der Welt. Es lernt, dass, wenn eine Tasse rutscht, sie wahrscheinlich bald über die Kante fallen wird. Diese „Zukunftsvorhersage“ fungiert als supergeladener Lehrer, der dem Modell hilft, die Geschichte der Bewegung des Roboters zu verstehen, nicht nur das aktuelle Frame.

Das Paper verwendet eine leichtgewichtige Architektur namens LeJEPA, um dies zu erreichen. Sie ist effizient genug, um von Grund auf neu trainiert zu werden, und fügt sich nahtlos in bestehende Roboter-Trainings-Pipelines ein.

Was sie fanden: Von „Null“ zu „Held“

Die Forscher testeten diesen neuen World Critic in massivem Umfang. Sie führten Experimente mit 149 verschiedenen Aufgaben in vier verschiedenen Simulations-Benchmarks durch. Diese Aufgaben reichten von einfachen „Pick-and-Place“-Spielen bis hin zu komplexen Herausforderungen mit langem Zeithorizont, wie dem Falten eines Handtuchs oder dem Reinigen eines Kochfeldes.

Die Ergebnisse waren beeindruckend. In Simulationen übertraf der WCM konsequent alle bisherigen Methoden, einschließlich der besten existierenden „Coaches“.

In-Distribution (IND): Wenn der Roboter mit Aufgaben konfrontiert wurde, die er bereits gesehen hatte, verbesserte der WCM die Erfolgsraten signifikant. Beispielsweise sprang bei einem bestimmten Robotermodell (OpenVLA-OFT) die Erfolgsrate von kärglichen 0,78 % (was praktisch bedeutet, dass er jedes Mal scheiterte) auf 98,7 % nach dem Training mit WCM. Das ist ein gewaltiger Sprung.
Out-of-Distribution (OOD): Dies ist der wahre Test. Kann der Roboter mit einem neuen Tisch, einer anderen Beleuchtung oder einem leicht anderen Objekt umgehen? WCM zeigte hier eine viel stärkere Generalisierung als ältere Methoden. Er hat nicht nur die Trainingsdaten auswendig gelernt; er hat die zugrunde liegenden Regeln gelernt, wie Objekte sich bewegen und interagieren.

Das Paper brachte dies auch in die reale Welt. Sie testeten den WCM bei sieben realen Aufgaben mit einem physischen Roboterarm (WidowX-250S). Dazu gehörten knifflige Jobs wie das Aufnehmen von Sushi von einem rotierenden Förderband, das Falten eines Handtuchs und das Reinigen eines Kochfeldes.

In der realen Welt, in der Dinge unordentlich und unvorhersehbar sind, gewann der WCM dennoch. Er half dem Roboter, die Aufgaben reibungsloser und erfolgreicher auszuführen als die Standardmethoden.
Beispielsweise hatte die Standardmethode Schwierigkeiten beim „rotierenden Sushi“-Task, das Sushi zu greifen, bevor es sich entfernte. WCM half dem Roboter, den Griff perfekt zu timen, und erreichte eine Erfolgsquote von 22 von 50 Versuchen, verglichen mit deutlich niedrigeren Zahlen für die Baselines.

Warum das wichtig ist

Das Paper argumentiert, dass der Schlüssel zu besseren Robotern nicht nur darin besteht, ihnen mehr Daten oder größere Gehirne zu geben, sondern ihnen einen besseren Weg zu zeigen, die Zeit zu verstehen. Indem sie den „Coach“ des Roboters lehren, die Zukunft vorherzusagen, lernt der Roboter, die Welt als eine fließende Geschichte und nicht als eine Serie von unzusammenhängenden Fotos zu sehen.

Die Autoren weisen vorsichtig darauf hin, dass die Ergebnisse zwar beeindruckend sind, aber auf spezifischen Simulationen und einem begrenzten Satz realer Aufgaben basieren. Sie behaupten nicht, alle Roboterprobleme gelöst zu haben, aber sie haben gezeigt, dass das Hinzufügen eines „Weltmodells“ zum Kritiker ein mächtiger Weg ist, um Roboter intelligenter, schneller und anpassungsfähiger zu machen. Ob beim Falten von Wäsche oder beim Aufheben von Sushi – die Zukunft des Roboterlernens könnte einfach davon abhängen, ihnen beizubringen, sich vorzustellen, was als Nächstes passiert.

Technisches Resümee: WCM – Ein World Critic Model für Vision-Language-Action Reinforcement Learning

1. Problemstellung

Vision-Language-Action (VLA)-Modelle haben ein erhebliches Potenzial in der robotergestützten Manipulation demonstriert, doch ihr Post-Training mittels Reinforcement Learning (RL) steht vor einem kritischen Engpass: der partiellen Beobachtbarkeit. Die robotergestützte Steuerung ist inhärent ein partiell beobachtbarer Markov-Entscheidungsprozess (POMDP), bei dem ein einzelner Beobachtungsrahmen oft nicht über die notwendigen dynamischen Informationen (z. B. Bewegungsgeschwindigkeit, Kontaktfortschritt oder zukünftige Zustandsentwicklung) verfügt, die für eine präzise Wertabschätzung erforderlich sind.

Bestehende Critic-basierte VLA-RL-Methoden verlassen sich vorwiegend auf Einzelbild-Beobachtungen oder statische latente Repräsentationen aus VLM-Backbones. Während Ansätze versuchen, die Historie durch Frame-Stacking oder zeitliche Aggregation einzubeziehen, scheitern sie oft aufgrund von:

Exponentieller Komplexität: Die Handhabung hochdimensionaler visueller Räume mit roher Historie ist rechentechnisch prohibitiv.
Unzureichender Überwachung: Die reine Regression des skalaren Returns liefert eine schwache Überwachung für das Erlernen kreuz-temporaler Dynamiken. Der Critic neigt dazu, historische Eingaben eher als einen größeren statischen Merkmalsvektor zu behandeln, anstatt zu lernen, wie sich die Umgebung über die Zeit entwickelt.
Versagen der Zustandsapproximation: Ohne ein explizites Ziel zur Modellierung zukünftiger Zustände kann die Repräsentation des Critics die zeitliche Struktur nicht erfassen, die für eine genaue Wertabschätzung unter partieller Beobachtbarkeit erforderlich ist.

2. Methodik: Das World Critic Model (WCM)

Die Autoren schlagen das World Critic Model (WCM) vor, eine vereinheitlichte Architektur, die gemeinsam Weltmodellierung (Vorhersage zukünftiger latenter Zustände) und Wertabschätzung lernt. Basierend auf einem leichtgewichtigen LeJEPA (Latent Joint-Embedding Predictive Architecture)-Framework adressiert WCM den Repräsentations-Engpass, indem es den Critic explizit darauf trainiert, Umgebungsdynamiken zu kodieren.

Architektur

WCM besteht aus vier primären Komponenten:

Observation Encoder: Bildet einzelne Frames aus einer Historie von $K$ Schritten in sequentielle latente Embeddings ( $\mathbf{z}_{t-K+1:t}$ ) ab. Dies kann ein ViT oder der VLM-Backbone des zugrunde liegenden Policies (z. B. $\pi_0$ , $\pi_{0.5}$ , OpenVLA-OFT) sein.
Language Adapter: Kodiert Sprachinstruktionen mittels CLIP und bildet sie in den WCM-latenten Raum ab.
World Predictor (History Trunk): Ein kausaler Transformer verarbeitet die sprachkonditionierte visuelle Historie, um eine verborgene Repräsentation $\mathbf{h}_t$ zu generieren.
Dual Decoder Heads:
- Value Head ( $\mathcal{D}_{value}$ ): Schätzt den Return $V_t$ .
- World Head ( $\mathcal{D}_{world}$ ): Prädiziert den nächsten latenten Zustand $\hat{\mathbf{z}}_{t+1}$ , konditioniert auf dem aktuellen Zustand, der Aktion und der verborgenen Repräsentation.

Trainingsziel

Das Modell wird end-to-end mit einer zusammengesetzten Verlustfunktion trainiert:
$\mathcal{L} = \mathcal{L}_{value} + \lambda \cdot \mathcal{L}_{pred} + \eta \cdot \mathcal{L}_{SIGReg}$

Prediction Loss ( $\mathcal{L}_{pred}$ ): Minimiert den Fehler zwischen dem vorhergesagten nächsten latenten Zustand und dem Ground-Truth-latenten Zustand (Teacher-Forcing). Dies zwingt die Repräsentation dazu, zeitliche Dynamiken zu erfassen.
Value Loss ( $\mathcal{L}_{value}$ ): Standardmäßige L2-Regression zwischen dem vorhergesagten Wert und dem Ground-Truth-Return (normalisiert auf $[-1, 1]$ ).
SIGReg ( $\mathcal{L}_{SIGReg}$ ): Sketched-Isotropic Gaussian Regularization. Dies verhindert den Feature-Kollaps im latenten Raum, indem es erzwingt, dass eindimensionale Projektionen der latenten Repräsentation der Charakteristikfunktion einer Standard-Gauß-Verteilung entsprechen.

Integration

WCM ist so konzipiert, dass es mit sowohl On-Policy- (z. B. PPO, Flow-SDE) als auch Off-Policy- (z. B. AWR, RECAP) Trainings-Pipelines kompatibel ist. Es ersetzt den Standard-Critic oder die Value-Funktion in diesen Algorithmen und nutzt die historische Beobachtung, um Advantages zu berechnen und Policies zu aktualisieren.

3. Zentrale Beiträge

Identifikation eines Repräsentations-Engpasses: Die Arbeit identifiziert, dass unter partieller Beobachtbarkeit die Wertabschätzung aus Einzelbild-Inputs oder schwach überwachten Historie-Embeddings unzureichend ist, um zeitlich informative Zustände wiederherzustellen.
Vereinheitlichte Architektur (WCM): Der Vorschlag einer Critic-Architektur, die zukünftige Zustands-Vorhersage und Wertabschätzung kombiniert. Dies trainiert die Critic-Repräsentation explizit darauf, Umgebungsdynamiken zu kodieren, anstatt lediglich skalare Returns zu regredieren.
Empirische Validierung: Demonstration, dass WCM sich nahtlos in diverse VLA-Backbones und RL-Pipelines integrieren lässt und konsistente Leistungssteigerungen sowie Generalisierungsverbesserungen in Simulations- und realen Umgebungen liefert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten WCM auf 149 Aufgaben über vier Simulations-Benchmarks (ManiSkill, MetaWorld, CALVIN, LIBERO-Plus) und 7 realen Manipulationsaufgaben mit einem WidowX-250S Roboter.

Simulationsleistung

State-of-the-Art (SOTA) Leistung: WCM übertraf konsistent bestehende Baselines (Flow-SDE, Flow-Noise, $\pi$ -stepNFT, PPO, GRPO) über alle Benchmarks hinweg.
Signifikante Gewinne: Auf ManiSkill verbesserte WCM die Leistung gegenüber SFT-Baselines um 46,0 Prozentpunkte für $\pi_0$ (von 38,4 % auf 84,4 %) und um 70,9 Prozentpunkte für OpenVLA-OFT (von 28,1 % auf 99,0 %).
Extreme Low-Resource Szenarien: Als OpenVLA-OFT mit null Exposition gegenüber ManiSkill-Daten initialisiert wurde (0,78 % Erfolgsrate), steigerte WCM die Leistung auf 98,7 %, was einer relativen Steigerung von 12.551 % entspricht.
Generalisierung: WCM demonstrierte eine überlegene Out-of-Distribution (OOD) Generalisierung im Vergleich zu traditionellen Critics. In LIBERO-Plus übertraf WCM nach nur etwa 250 RL-Schritten ein Full-Shot SFT-Modell, das auf 20k Trajektorien trainiert wurde.

Realwelt-Leistung

Stabile Implementierung: Unter Verwendung von Off-Policy RL (AWR und RECAP) erreichte WCM höhere Erfolgsraten und glattere Abläufe bei Aufgaben mit deformierbaren Objekten (Tuch/Handtuch falten), Langzeitaufgaben (Herdreinigung) und dynamischem Greifen (Drehen von Sushi).
Sample-Effizienz: WCM ermöglichte eine schnelle iterative Verfeinerung mit begrenzten Daten (Hunderte bis einige tausend Trajektorien) und weniger als einer Stunde Trainingszeit.
Verhaltensverbesserungen: Qualitative Analysen zeigten, dass WCM-trainierte Policies häufige Fehlermodi von Single-Frame-Critics vermieden, wie etwa das Drücken des Endeffektors gegen den Tisch (aufgrund fehlenden zeitlichen Kontextes) oder Latenzen nach dem Greifen.

Ablationsstudien

Notwendigkeit der Welt-Vorhersage: Das Entfernen des Welt-Vorhersage-Ziels ( $\lambda=0$ ) oder die bloße Verwendung eines Historie-basierten ViT ohne prädiktives Training führte zu suboptimaler Leistung, was bestätigt, dass das prädiktive Ziel entscheidend für das Erlernen der zeitlichen Dynamik ist.
Historienlänge: Eine Beobachtungshistorie von 3 Frames erwies sich als optimal, da sie wahrscheinlich die für die Aufgaben ausreichenden zweitordentlichen Dynamiken (Beschleunigung) erfasst.
Hyperparameter-Sensitivität: Das Gewicht $\lambda$ balanciert Welt-Vorhersage und Wert-Lernen. Ein mittlerer Bereich ( $[0,3, 0,5]$ ) lieferte das beste Gleichgewicht zwischen In-Distribution (IND) und OOD-Leistung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die fundamentale Einschränkung aktueller VLA-RL-Methoden in der Unfähigkeit des Critics liegt, den Zustand unter partieller Beobachtbarkeit allein durch skalare Returns zu rekonstruieren. Durch die Vereinigung von Weltmodellierung und Critic-Lernen bietet WCM ein dichtes Überwachungssignal, das die Value-Regression ergänzt und es dem Critic ermöglicht, eine „prädiktive Zustandsrepräsentation“ zu erlernen.

Die Autoren betonen, dass WCM nicht bloß eine architektonische Anpassung ist, sondern ein Paradigmenwechsel in der Art und Weise, wie Critics trainiert werden: weg von statischer Regression hin zu dynamischer Vorhersage. Dieser Ansatz ermöglicht es VLA-Policies, effektiv über die Beobachtungshistorie zu schlussfolgern, was zu einer robusten Generalisierung in sowohl simulierten als auch realen Umgebungen führt. Die Arbeit validiert, dass explizite Weltmodellierungs-Ziele essenziell sind, um RL in partiell beobachtbaren robotergestützten Manipulationsaufgaben zu skalieren.