🤖 AI

Latent Video Prediction Learns Better World Models

Dit artikel presenteert een systematische studie die aantoont dat latente videopredictiemodellen, zoals V-JEPA 2.1, traditionele reconstructie-gebaseerde en toezichtmodellen overtreffen op vijf robuustheidsassen, waardoor ze zich als superieure kandidaten voor het bouwen van robuuste wereldmodellen vestigen.

Oorspronkelijke auteurs: Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren de fysieke wereld te begrijpen door alleen video's te bekijken. Je wilt dat het een "wereldmodel" wordt: een systeem dat niet alleen objecten herkent, maar ook begrijpt hoe dingen bewegen, interageren en veranderen in de loop van de tijd.

Lange tijd hebben onderzoekers deze robots beoordeeld op basis van één enkele testscore: "Hoeveel video's haalde het perfect op een schone, ideale test?" Dit artikel betoogt dat deze enkele score vergelijkbaar is met het beoordelen van de veiligheid van een auto uitsluitend op hoe snel hij rijdt op een zonnige dag. Het zegt je niets over hoe de auto omgaat met regen, kuilen of als een band leegloopt.

De auteurs van dit artikel besloten vier verschillende "robothersenen" (video-AI-modellen) door een veel zwaardere, realistischere proef te leiden om te zien welke er de wereld werkelijk het beste begrijpt.

De Vier Deelnemers

Ze vergeleken vier populaire AI-modellen, die vallen onder drie verschillende leerstijlen:

De Pixel-schilders (VideoMAEv2): Deze modellen proberen te leren door ontbrekende delen van een video in te vullen, als een "schilderen op nummer"-spel waarbij ze proberen de exacte kleuren en pixels van een verborgen frame te raden.
De Match-makers (VideoPrism): Deze modellen proberen te leren door vergelijkbare video's bij elkaar te groeperen, met de nadruk op het matchen van visuele patronen.
De Toekomstvoorspellers (V-JEPA 2 en 2.1): Deze modellen proberen niet het plaatje opnieuw te tekenen. In plaats daarvan proberen ze de betekenis of de "kern" te raden van wat er als volgende komt in een verborgen mentale ruimte. Ze vragen zich af: "Als ik deze actie zie, wat voor gebeurtenis gebeurt er dan als volgende?"

De Vijf Realistische Tests

In plaats van slechts één test, onderwierpen de onderzoekers de modellen aan vijf specifieke uitdagingen die echte levensproblemen nabootsen:

1. De "Slechte Camera"-test (Corruptie-robustheid)

Het Scenario: Stel je voor dat de videofeed storingen vertoont. Het is wazig, korrelig of bevat ruis.
Het Resultaat: De Toekomstvoorspellers waren de kampioenen. Zelfs als de video er vreselijk uitzag, konden ze nog steeds uitzoeken wat er aan de hand was. De Pixel-schilders vielen uiteen. Omdat ze waren getraind om om te gaan met de kleur van elke afzonderlijke pixel, verwarde een beetje korrel of ruis hen volledig. De Toekomstvoorspellers leerden de "ruis" te negeren en zich te richten op het verhaal.

2. De "Goedekunst"-test (Fijnmazige Discriminatie)

Het Scenario: De onderzoekers toonden video's van mensen die doen alsof ze dingen doen (zoals doen alsof ze water schenken) versus het echt doen. De bewegingen zien er bijna identiek uit, maar in de "doen alsof"-versie stroomt er daadwerkelijk geen water.
Het Resultaat: Hier schitterden de Toekomstvoorspellers. Ze konden het verschil zien tussen echte en nep-acties. De Pixel-schilders lieten zich misleiden. Ze waren zo gefocust op de visuele details van de handbeweging dat ze het subtiele feit misten dat er geen water stroomde. De Toekomstvoorspellers begrepen de fysica van de interactie, niet alleen het plaatje.

3. De "Blinddoek"-test (Occlusie-robustheid)

Het Scenario: Stel je voor dat iemand een hand voor de camera houdt, of dat een auto tussen de camera en het onderwerp rijdt, waardoor het zicht wordt geblokkeerd.
Het Resultaat: De Toekomstvoorspellers bleven koel. Zelfs als delen van de video ontbraken, konden ze nog steeds raden wat er gebeurde. Interessant genoeg zagen de Match-makers er op papier zeer stabiel uit (hun interne wiskunde veranderde niet veel), maar hun werkelijke vermogen om de actie te raden stortte in. Het was als een student die de vorm van het antwoordblad uit het hoofd had geleerd, maar de antwoorden niet wist; het papier zag er prima uit, maar ze zakten voor de test.

4. De "Tijdmachine"-test (Temporale Richting)

Het Scenario: De onderzoekers speelden video's achteruit af.
Het Resultaat: Dit was de meest onthullende test. Wanneer een video van iemand die een doos "duwt" achteruit werd afgespeeld, realiseerden de Toekomstvoorspellers zich correct dat de actie was omgekeerd naar "trekken". Ze begrepen dat tijd een richting heeft. De andere modellen raakten grotendeels in de war of gokten willekeurig. Ze hadden niet geleerd dat "duwen" en "trekken" elkaars tegenpool zijn in de tijd; ze zagen alleen vormen die bewogen.

5. De "Bevroren vs. Flexibele"-test

Het Scenario: Meestal moet je een model opnieuw trainen vanaf nul met veel gelabelde data om het goed te maken voor een specifieke taak. De onderzoekers vroegen zich af: "Kan een model dat bevroren is (niet opnieuw getraind) nog steeds een model verslaan dat volledig opnieuw is getraind?"
Het Resultaat: Ja. De Toekomstvoorspellers, zelfs wanneer ze bevroren waren en alleen een eenvoudige "sonde" kregen om hun gedachten te lezen, versloegen de volledig opnieuw getrainde modellen in de "Slechte Camera"- en "Blinddoek"-tests. Dit suggereert dat de manier waarop ze aanvankelijk leerden (het voorspellen van de toekomst) een sterkere basis bouwde dan het simpelweg memoriseren van antwoorden.

De Grote Conclusie

Het artikel concludeert dat het voorspellen van de toekomst in een "mentale ruimte" (latente ruimte) een betere manier is om de wereld te leren kennen dan proberen het plaatje perfect opnieuw te tekenen (pixelreconstructie).

Pixel-schilders zijn als kunstenaars die een foto perfect kunnen kopiëren, maar in de war raken als het licht verandert of als een deel van de foto is gescheurd.
Toekomstvoorspellers zijn als detectives. Ze geven niet om de exacte blauwe tint in een overhemd; ze geven om het verhaal. Ze begrijpen dat als je een kopje duwt, het beweegt, en als je die video achteruit afspeelt, het wordt getrokken.

De auteurs betogen dat we, om echte "wereldmodellen" voor robots of AI te bouwen, moeten stoppen met alleen te controleren of ze het juiste antwoord krijgen op een schone test. We moeten controleren of ze om kunnen gaan met ruis, ontbrekende informatie en de stroom van de tijd. De modellen die leren door de toekomst te voorspellen lijken degenen te zijn die de wereld daadwerkelijk begrijpen.

Technische Samenvatting: Latente Videopredictie Leert Betere Wereldmodellen

Probleemstelling

Zelftoezichtende videomodellen worden steeds vaker gepositioneerd als "wereldmodellen" – systemen die in staat zijn de dynamiek van de fysieke wereld te leren uit observatie. Echter, hun evaluatie blijft grotendeels beperkt tot één top-1 nauwkeurigheidscore op schone downstream-classificatiebenchmarks. Deze metriek is ontoereikend om het potentieel van een model als ingezet wereldmodel te begrijpen, aangezien het kritieke eigenschappen zoals stabiliteit onder sensorruis, tolerantie voor ontbrekende invoer, fijnmazige discriminatie tussen visueel vergelijkbare acties en een intern gevoel voor tijdsorde niet vastlegt. Bovendien ontbreekt een vergelijkbare evaluatie op het niveau van pretrainingsdoelstellingen, waardoor er een gat bestaat in het begrijpen hoe verschillende zelftoezichtende paradigma's de structurele eigenschappen van videorepresentaties vormgeven.

Methodologie

De auteurs presenteren een systematische, gecontroleerde studie waarin vier toonaangevende videofundamentmodellen worden vergeleken met een afgestemde ViT-L capaciteit (~300 miljoen parameters):

V-JEPA 2.1 en V-JEPA 2: Vertegenwoordigen het paradigma van latente predictie (Joint Embedding Predictive Architecture).
VideoPrism: Vertegenwoordigt contrastief plus gemaskeerde predictie.
VideoMAEv2: Vertegenwoordigt pixelreconstructie (gemaskeerde auto-encoders).

Om het effect van het pretrainingsdoel te isoleren, houdt de studie drie assen constant: backbon-capaciteit, evaluatiegegevens/protocol en een lichtgewicht attentieve probe die per encoder wordt afgestemd. De evaluatie maakt gebruik van het Something-Something v2 (SSv2)-dataset, gekozen vanwege zijn rijke klassenstructuur van fijnmazige mens-object interacties.

De studie evalueert deze modellen over vijf robuustheidsassen:

Fenomeendiscrimineerbaarheid: Scheidbaarheid van representaties over semantisch gestratificeerde actieklassen (verschillende werkwoorden, zelfde werkwoord, doen alsof versus echt).
Corruptierobuustheid: Classificatienauwkeurigheid onder zes ImageNet-C-corrupties (bewegingsonscherpte, sneeuw, pixelatie, impulsruis, helderheid, elastische transformatie) op drie ernstniveaus.
Fijnmazige Actiediscriminatie: Prestaties op een "doen alsof"-subset waar acties fysieke interacties simuleren zonder daadwerkelijk contact.
Occlusierobuustheid: Prestaties onder drie spatiotemporale occlusieparadigma's (Bewegend Blok, Temporele Dropout, Spatiotemporale Patch Dropout).
Temporele Robuustheid: Gevoeligheid voor verstoorde orde en de richting van de tijd, specifiek het meten van het vermogen om de "tijdspijl" te coderen via videoreversie.

Daarnaast vergelijkt de studie bevroren V-JEPA 2-representaties met volledig fijngefineerde baselines (VideoMAE en TimeSformer) om te bepalen of de waargenomen voordelen standhouden bij taakspecifieke aanpassing.

Belangrijkste Bijdragen en Resultaten

1. Latente Predictie Vormt een Onderscheidend Robuustheidsprofiel

Over alle vijf assen vertonen latente-predictiemodellen (V-JEPA-varianten) een consistent en onderscheidend profiel in vergelijking met contrastieve en pixelreconstructiemodellen.

Corruptierobuustheid: V-JEPA 2.1 degradeert genadiger onder pixelcorruptie en leidt op vijf van de zes corruptietypes. Dit suggereert dat het joint-embedding-doel oppervlakkige visuele variatie weglaat ten gunste van hogere-orde semantische structuur.
Ontkoppeling van Stabiliteit en Bruikbaarheid: Een cruciale bevinding is dat geometrische stabiliteit (gemeten door cosinusgelijkenis) niet gelijkstaat aan bruikbaarheid. Onder ernstige spatiotemporale patch dropout behoudt VideoPrism een bijna perfecte cosinusgelijkenis (>0,98) maar stort in tot 2,7% top-1 nauwkeurigheid. Omgekeerd vertoont V-JEPA 2.1 een grotere verschuiving in de representatieruimte maar behoudt 46,1% nauwkeurigheid. Dit geeft aan dat cosinusgelijkenis alleen een misleidende maatstaf is voor representatiekwaliteit voor wereldmodellering.

2. Vastleggen van Fijnmazige Fysieke Signalen Zonder Pixelreconstructie

In tegenstelling tot de intuïtie dat pixelreconstructiemodellen fijnere ruimtelijke details beter zouden vastleggen, presteert V-JEPA beter dan VideoMAEv2 op "doen alsof-acties" (bijvoorbeeld doen alsof je schenkt).

V-JEPA-varianten tonen de grootste prestatiemarges op klassen met hoge gevoeligheid waar het discriminerende signaal het ontbreken van fysiek contact is (bijvoorbeeld een lege greep).
Het latente predictieve doel lijkt spatiotemporale handtekeningen van fysieke interactie te destilleren, terwijl pixelreconstructie capaciteit toewijst aan oppervlaktetexturen die deze contactsignalen verdunnen.

3. Internalisering van de Tijdspijl

Latente-predictiemodellen internaliseren temporele directionaliteit aanzienlijk sterker dan alternatieven.

Onder videoreversie draaien V-JEPA-modellen voorspellingen coherent om naar semantisch antonieme klassen (bijvoorbeeld "duwen" $\to$ "trekken").
Ze bereiken een significant hogere Directional Semantic Coherence Score (DSCS) in vergelijking met VideoMAEv2 en VideoPrism. Dit suggereert dat het predictieve pretrainingsdoel (voorspellen van toekomstige latente toestanden uit verleden context) inherent causaliteit en temporele richting codeert, terwijl contrastief leren deze as onderdrukt en pixelreconstructie deze verdunt.

4. Voordelen Persisten Onder Taakaanpassing

De studie vergelijkt een bevroren V-JEPA 2-backbone met een lichtgewicht attentieve probe met volledig fijngefineerde VideoMAE- en TimeSformer-modellen.

Ondanks dat ze bevroren zijn, presteert V-JEPA 2 beter dan volledig fijngefineerde baselines op corruptie- en occlusierobuustheid.
Dit suggereert dat het pretrainingsdoel, en niet schaal of labeltoezicht alleen, bepaalt of een videorepresentatie zich gedraagt als een robuust wereldmodel of slechts als een schone-benchmark-classificator.

Betekenis

Het artikel levert concreet empirisch bewijs dat latente predictie een superieur paradigma is voor het leren van robuuste videowereldmodellen in vergelijking met pixelreconstructie of contrastief leren. De auteurs betogen dat de keuze van het pretrainingsdoel een meetbare structurele handtekening achterlaat in de basisrepresentatie die door benchmarks met één score wordt gemist.

Het werk demonstreert dat:

Wereldmodellen meer vereisen dan schone nauwkeurigheid; ze vereisen stabiliteit onder ruis, tolerantie voor ontbrekende gegevens en gevoeligheid voor fysieke semantiek en temporele richting.
Latente predictie deze eigenschappen op natuurlijke wijze bevordert door te leren abstracte toestandsveranderingen te voorspellen in plaats van oppervlakkige pixelstatistieken.
Evaluatie van fundamentmodellen moet voorbijgaan aan rangschikkingen met één metriek naar multi-as robuustheidsprofielen om de structurele verschillen vast te leggen die essentieel zijn voor implementatie in de echte wereld.

De auteurs concluderen dat vooruitgang in videofundamentmodellen niet kan worden bijgehouden door één nauwkeurigheidscore en dat een evaluatie over meerdere assen noodzakelijk is om representaties te identificeren die capable zijn van het ondersteunen van planning en fysiek redeneren.