💻 computer science

ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

Das Paper stellt ViVa vor, ein Video-generatives Wertmodell, das vortrainierte Video-Generatoren nutzt, um durch die Vorhersage zukünftiger Propriozeption und räumlich-zeitlicher Dynamiken zuverlässige Wertfunktionen für das Reinforcement Learning von Robotern zu erzeugen und so die Leistung bei langfristigen Manipulationsaufgaben zu verbessern.

Ursprüngliche Autoren: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

Veröffentlicht 2026-04-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Roboter, der nur „Jetzt" sieht

Stell dir vor, du bringst einem Kind bei, wie man ein kompliziertes Puzzle zusammenbaut.
Die meisten heutigen KI-Roboter sind wie Fotografen. Sie machen ein Foto von der aktuellen Situation (z. B. „Der Karton ist halb offen") und sagen: „Das sieht gut aus!" oder „Das sieht schlecht aus".

Das Problem ist: Ein Foto zeigt nur einen Moment. Es sagt dem Roboter nicht, was in der nächsten Sekunde passiert. Wenn der Roboter gerade einen Karton falsch hält, sieht das Foto vielleicht noch okay aus, aber in zwei Sekunden wird der Inhalt herausfallen.
Bisherige Roboter-KIs haben Schwierigkeiten, diese Zeit und Vorhersage zu verstehen. Sie wissen nicht, wohin die Reise führt, wenn sie einen bestimmten Schritt machen. Sie lernen nur aus Fehlern, die schon passiert sind, nicht aus Fehlern, die noch passieren könnten.

Die Lösung: ViVa – Der Roboter mit dem „Glaskugel-Verstand"

Die Forscher von GigaAI haben eine neue Methode namens ViVa entwickelt. Man kann sich ViVa wie einen Regisseur vorstellen, der nicht nur ein Foto macht, sondern einen ganzen Film dreht.

Wie funktioniert das?
Statt nur zu fragen: „Wie sieht es jetzt aus?", fragt ViVa: „Wie wird es in ein paar Sekunden aussehen, wenn ich diesen Schritt mache?"

Der Film-Regisseur: ViVa nutzt eine Technologie, die eigentlich dafür gemacht ist, Videos zu generieren (also Bilder, die sich bewegen). Normalerweise macht man damit lustige Videos von fliegenden Katzen. Hier nutzen die Forscher diese Technik für Roboter.
Die Vorhersage: Wenn der Roboter eine Aktion plant, „spielt" ViVa im Kopf einen kurzen Film ab.
- Szenario A: Der Roboter greift den Karton perfekt. -> Der Film zeigt, wie der Karton sicher geschlossen wird. -> Hoher Wert (Gute Bewertung).
- Szenario B: Der Roboter greift schief. -> Der Film zeigt, wie der Karton umfällt. -> Niedriger Wert (Schlechte Bewertung).
Die Bewertung: Aus diesem „Gedanken-Film" berechnet ViVa eine Zahl (den Wert). Diese Zahl sagt dem Roboter sofort: „Hey, wenn du so weitermachst, wird das Ergebnis schlecht!"

Die Analogie: Der Schachspieler vs. der Zufallsgenerator

Der alte Ansatz (VLM): Ist wie ein Schachspieler, der nur auf das Brett schaut und sagt: „Die Figuren stehen bunt." Er weiß nicht, ob der nächste Zug zum Matt führt oder zum Verlust.
Der neue Ansatz (ViVa): Ist wie ein Großmeister. Er schaut nicht nur auf das Brett, sondern simuliert im Kopf die nächsten 10 Züge. Er sieht voraus, dass der Gegner ihn in 5 Zügen schlagen wird, und ändert seinen Plan sofort.

Was hat das gebracht? (Die Ergebnisse)

Die Forscher haben ViVa an echten Robotern getestet, die Aufgaben wie Kartons zusammenbauen, Hemden falten und Toilettenpapier ordnen erledigen mussten.

Bessere Fehlererkennung: Wenn ein Roboter beim Zusammenbauen eines Kartons einen Eckwinkel falsch setzte, merkten die alten KIs das oft zu spät oder gar nicht. ViVa sah den Fehler im „Gedanken-Film" sofort und sankerte die Bewertung ab. Das half dem Roboter, den Fehler sofort zu korrigieren.
Neue Objekte: Wenn man einem alten Roboter ein völlig neues Objekt (z. B. eine Hose statt eines Hemdes) gab, war er oft hilflos. ViVa hingegen verstand die Bewegung (wie man etwas greift und faltet) und konnte das auch auf die Hose übertragen, weil es die Physik der Bewegung verstand, nicht nur das Aussehen.
Erfolgsrate: Beim Kartonschließen stieg die Erfolgsrate von ca. 58 % (mit alten Methoden) auf 73 % mit ViVa. Das ist ein riesiger Sprung in der Robotik.

Warum ist das so wichtig?

Stell dir vor, du lernst Autofahren.

Ohne Vorhersage würdest du erst bremsen, wenn du schon gegen die Wand gefahren bist.
Mit ViVa (Vorhersage) siehst du im „Gedankenfilm", dass du zu schnell bist, und bremst bevor es gefährlich wird.

Zusammenfassend:
ViVa gibt Robotern die Fähigkeit, in die Zukunft zu schauen, bevor sie handeln. Indem sie einen kurzen „Film" ihrer eigenen Bewegungen im Kopf abspielen, lernen sie viel schneller, was gut und was schlecht ist. Sie werden nicht mehr nur zu Fotografen, die Bilder analysieren, sondern zu Visionären, die die Konsequenzen ihrer Taten verstehen.

1. Problemstellung

Roboter-Manipulationsaufgaben in der realen Welt sind oft durch partielle Beobachtbarkeit und verzögerte Rückmeldungen gekennzeichnet. Das bedeutet, dass die Konsequenzen einer Aktion oft erst über einen langen Zeithorizont sichtbar werden.

Herausforderung: Bestehende Vision-Language-Action (VLA)-Modelle, die auf statischen Bild-Text-Daten trainiert sind (Vision-Language-Models, VLMs), scheitern oft daran, die temporale Dynamik von Interaktionen zu erfassen. Sie können zwar beschreiben, was in einer Szene zu sehen ist, aber nicht zuverlässig vorhersagen, wie sich die Umgebung durch Interaktionen verändert.
Folge für das Reinforcement Learning (RL): Die Schätzung von Wertfunktionen (Value Functions), die den Fortschritt einer Aufgabe bewerten und die Politik verbessern sollen, ist bei statischen Modellen unzuverlässig. Sie neigen dazu, sich an statische Muster zu gewöhnen, anstatt den tatsächlichen Fortschritt oder Fehler in der Ausführung zu erkennen.

2. Methodik: ViVa (Video-Generative Value Model)

Die Autoren schlagen ViVa vor, ein Modell, das die Wertfunktion nicht als diskriminatives Klassifikationsproblem, sondern als generatives Zukunftsprognoseproblem neu formuliert.

Grundprinzip: Statt nur den aktuellen Zustand zu bewerten, nutzt ViVa die räumlich-zeitlichen Priors eines vortrainierten Video-Generators (basierend auf dem Diffusion Transformer Wan2.2), um zukünftige Zustände vorherzusagen. Die Fähigkeit, die Zukunft zu „imaginieren", dient als Fundament für die Bewertung des aktuellen Zustands.
Architektur:
- Input: Aktuelle multimodale Beobachtungen (Multi-View-RGB-Bilder) und die Propriozeption des Roboters (Gelenkwinkel/Endeffektor-Pose, 14-dim).
- Latente Darstellung: Alle Eingaben (Bilder, Propriozeption) und Ausgaben (zukünftige Propriozeption, Skalarer Wert) werden in einen gemeinsamen latenten Raum kodiert.
- Joint Prediction: Das Modell führt eine gemeinsame Vorhersage durch:
  1. Zukünftige Propriozeption: Vorhersage des Roboterkörpers in $K$ Schritten ( $t+K$ ).
  2. Skalarer Wert ( $V_t$ ): Eine Zahl, die den Fortschritt zur erfolgreichen Aufgabenerfüllung darstellt.
- Training: Das Modell wird mit einem Flow-Matching-Verfahren trainiert. Es lernt, verrauschte latente Frames (zukünftige Propriozeption und Wert) aus einem sauberen Prefix (aktuelle Beobachtungen) zu rekonstruieren.
Reward-Definition: Der Wert wird als normalisierter kumulierter Return definiert. Erfolgreiche Episoden liegen im Bereich $[0, 1)$ , während gescheiterte Episoden durch eine Terminalstrafe in den Bereich $[1, 2)$ verschoben werden. Dies schafft eine klare Trennung zwischen Fortschritt und Misserfolg.

3. Schlüsselbeiträge

Paradigmenwechsel: Die Erkenntnis, dass Wertschätzung im Robotik-RL im Kern ein Problem der Zukunftsantizipation ist. Video-generative Modelle sind dafür besser geeignet als diskriminative VLMs, da sie explizit auf die Modellierung zeitlicher Evolution trainiert sind.
Intrinsische Kopplung: ViVa koppelt den Wert intrinsisch mit der Voraussicht (Foresight), indem es die zukünftige Embodiment-Dynamik (Körperbewegung) gemeinsam mit dem Wert vorhersagt. Dies zwingt das Modell, die physikalischen Konsequenzen von Aktionen zu verstehen.
Integration in RECAP: Das Modell wurde erfolgreich in die RECAP-Pipeline (Reinforcement Learning with Experience and Corrections via Advantage-conditioned Policies) integriert, um die Vorteilsschätzung (Advantage Estimation) zu verbessern.

4. Ergebnisse

Die Evaluation erfolgte auf drei realen Aufgaben: Hemd falten, Kartonverpackung und Toilettenpapier-Organisation.

Qualitative Analyse (Wertsignal-Qualität):
- Fehlererkennung: Im Gegensatz zu VLM-basierten Modellen, die oft monoton ansteigende Werte zeigen (unabhängig von Fehlern), reagiert ViVa empfindlich auf suboptimale Aktionen (z. B. falsche Ausrichtung beim Einlegen). Es zeigt scharfe Wertabfälle genau dann, wenn Fehler auftreten.
- Fortschrittsverfolgung: ViVa zeigt einen glatten, stetig steigenden Wertverlauf, der den tatsächlichen Fortschritt der Aufgabe widerspiegelt, während VLMs oft unregelmäßige Schwankungen oder flache Verläufe aufweisen.
- Generalisierung: Bei der Generalisierung auf neue Objekte (z. B. Hosen falten, das nicht im Training war) bleibt ViVa robust und erkennt Meilensteine korrekt. VLM-basierte Modelle scheitern hier oft, da sie auf statischen visuellen Mustern aus dem Trainingsset basieren.
Quantitative Ergebnisse (Box Assembly):
- Erfolgsrate: RECAP mit ViVa erreichte 73 % Erfolgsrate, verglichen mit 58 % für RECAP mit VLM und 53 % für Gigabrain-0 (Imitation Learning).
- Durchsatz: ViVa erreichte 14 erfolgreiche Aufgaben pro Stunde (vs. 11 bei VLM).
Effizienz: ViVa ist sowohl im Training (4 GPU-Tage vs. 6 bei VLM) als auch in der Inferenz (0,18 s vs. 0,32 s) effizienter als die VLM-Baselines.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Video-generative Modelle eine überlegene Basis für Wertfunktionen im Reinforcement Learning von Robotern darstellen.

Physikalisches Verständnis: Durch die Vorhersage zukünftiger Propriozeption lernt das Modell die Dynamik des Roboterkörpers und der Umgebung, was zu einer robusteren Bewertung führt.
Skalierbarkeit: Der Ansatz nutzt große Video-Korpora und bietet einen skalierbaren Weg, um Robotern beizubringen, nicht nur zu sehen, sondern auch die Konsequenzen ihrer Handlungen zu antizipieren.
Zukunft: Die Arbeit legt nahe, dass die Kombination aus generativer Vorhersage und Wertbasiertem Lernen ein Schlüssel zur Bewältigung komplexer, langfristiger Manipulationsaufgaben in der realen Welt ist.

Zusammenfassend zeigt ViVa, dass die Fähigkeit, die Zukunft zu simulieren, direkt in die Bewertung des gegenwärtigen Zustands übersetzt werden kann, was zu zuverlässigeren und effizienteren Roboterpolicies führt.