💻 computer science

ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

Dit paper introduceert ViVa, een video-generatief waarde-model dat voorgeprogrammeerde video-generatoren hergebruikt om robuuste waarde-schattingen te maken voor robotreinforcement learning door toekomstige dynamiek te voorspellen, wat leidt tot verbeterde prestaties bij real-world taken zoals doosassemblage.

Oorspronkelijke auteurs: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om een taak te doen, zoals een overhemd vouwen of een doos inpakken. Het grootste probleem is niet alleen hoe de robot zijn armen beweegt, maar hoe hij weet of hij op de goede weg is.

In de wereld van robotica noemen we dit een waarde-model. Het is als een interne kompasnaald die de robot vertelt: "Je bent nu 80% op weg naar een geslaagde taak" of "Oeps, je zit vast en gaat het niet redden."

Deze paper introduceert ViVa, een slimme nieuwe manier om die kompasnaald te maken. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het oude probleem: De "Stilte-foto"

Tot nu toe gebruikten robots vaak modellen die leken op een fototoestel. Ze keken naar één momentopname (een foto van de situatie) en probeerden te raden of het goed ging.

Het probleem: Een foto vertelt je niet hoe iets beweegt. Als je een foto ziet van een doos die half open is, weet je niet of de robot de doos netjes sluit of dat hij hem per ongeluk laat vallen. Het is alsof je probeert een film te begrijpen door alleen naar één frame te kijken. De robot raakt dan in de war bij lange taken en ziet fouten pas te laat.

2. De nieuwe oplossing: ViVa (De "Filmregisseur")

ViVa doet iets heel anders. In plaats van naar een foto te kijken, is ViVa opgeleid als een filmregisseur.

Hoe het werkt: ViVa kijkt naar wat er nu gebeurt en zegt dan: "Oké, als de robot nu deze beweging maakt, hoe ziet de situatie er over een paar seconden eruit?"
Het model voorspelt de toekomst. Het "droomt" een filmpje na van wat er gaat gebeuren met de robotarmen en de objecten.
De truc: Als de robot een fout maakt (bijvoorbeeld: de doos valt om), ziet ViVa dit al in zijn "droom" van de toekomst. Omdat hij ziet dat de toekomst er slecht uitziet, geeft hij direct een lage score (een lage "waarde").

3. De creatieve analogie: De Voorspeller

Stel je voor dat je een kind leert fietsen.

De oude methode (VLM): Je kijkt naar het kind en zegt: "Je zit recht, dus goed gedaan!" Maar je ziet niet dat het kind straks tegen een boom aanrijdt. Je geeft een goedkeuring op basis van het nu, zonder de toekomst te zien.
De ViVa-methode: Je bent een ervaren fietsleraar die een glazen bol heeft. Je ziet het kind al in je hoofd naar de boom rijden. Je zegt direct: "Stop! Je zit nu wel recht, maar je stuurt naar links en over 3 seconden val je. Je score is nu laag."

ViVa is die glazen bol. Het gebruikt kennis uit duizenden video's (hoe dingen bewegen, hoe zwaartekracht werkt) om te voorspellen of een actie goed of slecht eindigt, nog voordat het gebeurt.

4. Wat leverde dit op?

De onderzoekers testten dit op echte robots met taken zoals:

Een overhemd vouwen.
Een doos inpakken en dichtklappen.
Toiletpapier opruimen.

De resultaten waren indrukwekkend:

Minder fouten: De robot met ViVa zag fouten veel sneller. Als de robot een hoekje van de doos verkeerd zette, zag ViVa dat direct en gaf een waarschuwing. De oude robots zagen dit pas als de doos al kapot was.
Beter leren: Omdat de robot sneller leerde wat niet werkt, kon hij de taak veel sneller en vaker succesvol uitvoeren. In de test met het inpakken van dozen steeg het succespercentage van 58% naar 73%.
Nieuwe objecten: Zelfs als je een robot iets liet doen wat hij nooit eerder had gezien (bijvoorbeeld een broek vouwen in plaats van een overhemd), werkte ViVa nog steeds goed. De oude robots raakten in de war omdat ze alleen naar de vorm van het object keken, terwijl ViVa keek naar de beweging en de logica van de taak.

Samenvatting

ViVa is een robotbrein dat niet alleen naar het nu kijkt, maar ook naar de toekomst. Door te "dromen" van wat er gaat gebeuren, weet de robot precies of hij op de goede weg is. Het is alsof je van een robot die blindelings probeert te werken, een robot maakt die een visioen heeft en slim genoeg is om die visioen te gebruiken om beter te presteren.

Kortom: ViVa geeft robots het vermogen om vooruit te denken, waardoor ze veel minder fouten maken en sneller leren.

Titel: ViVa: Een Video-Generatief Waarde-model voor Robotversterkingslering

Auteurs: Jindi Lv, Hao Li, et al. (GigaAI, Sichuan University, Tsinghua University)
Datum: 10 april 2026

1. Het Probleem

Robotmanipulatie in de echte wereld staat voor grote uitdagingen, met name door gedeeltelijke waarneembaarheid (partial observability) en vertraagde feedback. In versterkingslering (RL) is een waarde-functie (value function) cruciaal om de voortgang van een taak te beoordelen en het beleid (policy) te verbeteren.

Bestaande benaderingen gebruiken vaak Vision-Language Models (VLMs) om waarden te schatten. Deze modellen zijn echter getraind op statische beeld-tekstparen en zijn gericht op semantisch begrip van een momentopname. Ze missen het vermogen om temporale dynamiek expliciet te modelleren. Hierdoor kunnen ze moeilijk inschatten hoe een interactie zich over tijd ontwikkelt, wat leidt tot onbetrouwbare waarde-schattingen bij langdurige taken (long-horizon tasks). Ze zien vaak "wat er is" maar niet "hoe het zich zal ontwikkelen".

2. Methodologie: ViVa

De auteurs stellen ViVa (Video-generative Value model) voor. Dit is een innovatieve aanpak die een voorgeprogrammeerd video-generatief model hergebruikt als waarde-functie voor robotversterkingslering.

Kernconcept:
In plaats van statische beelden te analyseren, benadert ViVa waarde-schatting als een toekomstvoorspellingsprobleem. Het model leert niet alleen een scalar waarde, maar genereert ook de toekomstige proprioceptieve toestand (lichaamswaarneming) van de robot. Hierdoor wordt de waarde-schatting verankerd in de verwachte dynamiek van het lichaam (embodiment dynamics).

Architectuur:

Basis: ViVa is gebouwd op Wan2.2, een voorgeprogrammeerd video-diffusie Transformer.
Input: Huidige multi-view beelden en de huidige proprioceptieve toestand (bijv. gewrichtshoeken of end-effector posities).
Output: Het model voorspalt twee dingen tegelijk:
1. De toekomstige proprioceptieve toestand (over een horizon $K$ ).
2. Een scalar waarde die de voortgang naar taakvoltooiing aangeeft.
Implementatie: De auteurs gebruiken "latent injection". Proprioceptieve data en de scalar waarde worden omgezet in latente frames (via herhaling en broadcast) en samengevoegd met de beeld-frames in een sequentie. Het model wordt getraind om deze "toekomstige" frames (die als doel dienen) te ontdoen van ruis, conditioned op de huidige waarnemingen.
Beloning: De waarde wordt getraind op de cumulatieve beloning ( $G_t$ ). Succesvolle episodes krijgen een waarde die afneemt naarmate de tijd vordert (van 1 naar 0), terwijl mislukte episodes een straffactor krijgen (waarde > 1), wat een duidelijke scheiding creëert tussen succes en falen.

3. Belangrijkste Bijdragen

Paradigmaverschuiving: Het paper identificeert dat waarde-schatting fundamenteel een probleem van toekomstverwachting is. Video-generatieve modellen, die zijn getraind op spatiotemporele evolutie, bieden een natuurlijkere basis dan statische VLMs.
ViVa Architectuur: Introductie van een model dat waarde en toekomstvoorspelling koppelt. Door de toekomstige beweging van de robot te voorspellen, leert het model de fysieke dynamiek van de taak, wat leidt tot robuustere waarde-signalen.
Integratie in RECAP: ViVa is geïntegreerd in de RECAP-pipeline (Reinforcement Learning with Experience and Corrections via Advantage-conditioned Policies), waar het de originele VLM-waarde-functie vervangt.

4. Resultaten

De auteurs hebben ViVa getest op drie real-world taken: shirt vouwen, doos assemblage en toiletrol organiseren.

Kwalitatieve Analyse:
- Betrouwbaarheid: ViVa reageert scherp op fouten (bijv. een verkeerd geplaatste hoek of een valrisico) door de waarde direct te laten dalen. VLM-baselines blijven vaak monotoon stijgen of tonen willekeurige fluctuaties, ongeacht de uitvoeringskwaliteit.
- Generalisatie: Bij het testen op een onbekend object (een broek vouwen, niet in de trainingsdata), slaagt ViVa erin om de waarde-stijgingen te koppelen aan de juiste mijlpalen. De VLM-baseline faalt hier en toont geen coherent patroon, wat wijst op overfitting op statische visuele patronen.
Real-World Experimenten (Doos Assemblage):
- Succes率: ViVa bereikte een 73% succes率, vergeleken met 58% voor de VLM-baseline en 53% voor de basis imitatie-lering (Gigabrain-0).
- Doorvoer (Throughput): ViVa behaalde 14 succesvolle taken per uur, tegenover 11 voor de VLM-versie.
Efficiëntie: ViVa is sneller in training en inferentie dan de VLM-baselines, mede door het gebruik van een efficiëntere video-encoder in plaats van zware visuele encoders zoals SigLIP.

5. Betekenis en Conclusie

ViVa demonstreert dat het integreren van spatiotemporele priors uit video-generatie in RL-waarde-functies een doorbraak kan zijn voor robotica. Door waarde te koppelen aan de voorspelling van hoe het robotlichaam zich in de toekomst zal bewegen, kan het model:

Fouten sneller en nauwkeuriger detecteren dan statische modellen.
Beter generaliseren naar nieuwe objecten en scenario's.
Meer betrouwbare leer-signalen leveren voor beleidsoptimalisatie.

De studie concludeert dat het "voorspellen van de toekomst" essentieel is voor het begrijpen van de voortgang van complexe robottaken, en dat video-generatieve modellen een schaalbare weg bieden naar robuust leren in de echte wereld.