🤖 AI

Can Image Models Imagine Time? ImageTime: A Novel Benchmark for Probing Visual World Modeling Through Spatiotemporal Consistency

Dit artikel introduceert ImageTime, een nieuwe benchmark die het vermogen van beeldgeneratiemodellen evalueert om spatio-temporele consistentie en coherente visuele wereldmodellering te behouden door hen te vereisen vier opeenvolgende sleutelframes te genereren die een temporeel proces uitbeelden, waardoor de beperkingen van huidige systemen in het representeren van dynamische veranderingen in de tijd worden onthuld.

Oorspronkelijke auteurs: Xinrui Wu, Lichen Huang

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinrui Wu, Lichen Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische kunstenaar hebt die elke afbeelding kan tekenen die je beschrijft. Als je vraagt om "een kat die op een mat zit", is de kunstenaar geweldig. Maar wat gebeurt er als je om een verhaal vraagt? Wat als je zegt: "Teken een kat, laat hem dan springen, laat hem dan landen, en laat hem tot slot slapen"?

Dit is het probleem dat het papier ImageTime aanpakt. Hoewel huidige AI-beeldgeneratoren geweldig zijn in het maken van een enkele, perfecte afbeelding, weten we niet echt of ze begrijpen hoe dingen veranderen in de loop van de tijd. "Weten" ze echt dat een kat moet springen voordat hij landt? Of raden ze gewoon wat de uiteindelijke afbeelding zou moeten zijn en negeren ze de stappen daartussenin?

Hier is een eenvoudige uitsplitsing van wat de onderzoekers hebben gedaan, met behulp van alledaagse analogieën.

1. Het Probleem: De "Snapshot" versus de "Film"

Beschouw huidige AI-beeldmodellen als een fotograaf die alleen snapshots maakt. Ze zijn ongelooflijk goed in het vastleggen van een enkel moment. Maar als je hen een proces laat uitleggen — zoals het bakken van een taart of het openen van een deur — krijgen ze vaak de fysica fout. Ze laten misschien een taart zien die al versierd is in de eerste stap, of een hand die een koekje vasthoudt voordat het koekje überhaupt gebakken is.

Het papier betoogt dat om echt "slim" te zijn, een AI Visual World Modeling nodig heeft. Dit betekent dat het de volgende zaken moet bijhouden:

Identiteit: Is dat nog steeds dezelfde kat?
Ruimte: Is de kat naar links bewogen, of is de hele kamer verschoven?
Oorzaak en Gevolg: Ging de deur open omdat iemand hem duwde, of verscheen hij er gewoon magisch open?

2. De Oplossing: De "Striptest" (ImageTime)

Om dit te testen, hebben de onderzoekers een nieuwe benchmark gecreëerd genaamd ImageTime. In plaats van de AI te vragen om één plaatje te maken, vragen ze de AI om een enkele afbeelding die een 2x2 strip bevat.

De AI moet vier specifieke frames in volgorde tekenen:

Het Begin: De scène voordat er iets gebeurt.
De Actie Begint: Het moment waarop de actie start.
Het Midden: De actie is aan de gang.
Het Einde: Het uiteindelijke resultaat.

De Analogie: Stel je voor dat je een kind vraagt om een strip van vier panelen te tekenen over "het maken van een sandwich".

Een goede AI tekent: Brood op tafel -> Hand legt vlees op brood -> Hand legt kaas op vlees -> De voltooide sandwich.
Een slechte AI tekend misschien: De voltooide sandwich -> De voltooide sandwich -> De voltooide sandwich -> De voltooide sandwich. (Het heeft de stappen overgeslagen).
Een andere slechte AI tekent: Brood op tafel -> De sandwich is al opgegeten -> Het brood ligt weer op de tafel -> De sandwich is klaar. (De tijdlijn is door elkaar).

3. Het Beoordelingssysteem: De "Ladder van Logica"

De onderzoekers gaven niet alleen een simpel "Pass/Fail"-cijfer. Ze bouwden een 7-niveau Ladder om precies te zien waar de AI faalt.

Niveau 1 (De Basis): Tekende de AI de juiste kat en de juiste mat? (Statische Gronding).
Niveau 2 (De Identiteit): Is de kat in het tweede paneel de zelfde kat als in het eerste paneel? Is de achtergrond willekeurig veranderd? (Identiteit & Ankers).
Niveau 3 (De Beweging): Is de kat daadwerkelijk bewogen? Of is het hele plaatje gewoon verschoven? (Ruimtelijke Transitie).
Niveau 4 (De Toestand): Als de kat sprong, is hij nu in de lucht? Als er melk werd ingeschonken, is het glas nu voller? (Object-Toestand Transitie).
Niveau 5 (De Interactie): Raakte de poot van de kat de mat daadwerkelijk aan? Hield de hand de beker correct vast? (Interactie).
Niveau 6 (De Oorzaak): Ging de deur open nadat de hand hem duwde? (Causaal Proces).
Niveau 7 (De Regels): Als de prompt zei "Open de deur niet", hield de AI hem dan dicht? (Restricties).

4. De Rechter: De "Super-Inspecteur"

Om deze strips te beoordelen, gebruikten de onderzoekers een zeer geavanceerde AI (GPT-5.5) die optrad als een Super-Inspecteur. Deze inspecteur kijkt niet alleen naar de plaatjes, maar leest ook de originele instructies en controleert elk paneel tegen de regels.

De inspecteur zoekt naar specifieke "fouten", zoals:

Tijdreizen: Het eindresultaat laten zien voordat de actie begint.
Magie: Objecten die uit het niets verschijnen of verdwijnen.
Drift: De kat die van kleur verandert of de kamer die van vorm verandert tussen de panelen door.
Onmogelijke Fysica: Een hand die door een solide muur reikt.

5. Wat Ze Vonden

De onderzoekers hebben 8 verschillende AI-beeldgeneratoren getest. Hier is de essentie van de resultaten:

De Toppresteerders: De meest geavanceerde modellen (zoals GPT Image 2 en Nano Banana 2) presteerden het best. Ze konden meestal het verhaal recht houden, de personages behouden en de actie in de juiste volgorde laten plaatsvinden. Zelfs de beste modellen maakten soms fouten in de kleine details, zoals hoeveelheid vloeistof die nog in een fles zat.
De Middelmatige Presteerders: Sommige modellen konden de plaatjes wel tekenen, maar kregen de tijdlijn vaak fout. Ze lieten bijvoorbeeld het "Einde"-resultaat zien in het "Begin"-paneel.
De Moeilijke Presteerders: Sommige oudere of kleinere modellen faalden bijna onmiddellijk voor de test. Ze konden niet eens vier duidelijke panelen tekenen; ze maakten slechts een rommelige collage of herhaalden dezelfde afbeelding vier keer.

De Belangrijkste Conclusie:
Het papier concludeert dat het maken van een mooi plaatje makkelijk is; het maken van een logisch verhaal is moeilijk.

Zelfs de beste AI-modellen van vandaag zijn als acteurs die een enkele regel perfect kunnen uit het hoofd leren, maar moeite hebben met het improviseren van een hele scène. Ze kunnen een prachtige "laatste frame" renderen, maar ze verliezen vaak de sporen van de "verborgen variabelen" (zoals waar een object vandaan kwam of wat een actie veroorzaakte) die een proces logisch maken.

Samenvatting

ImageTime is een nieuwe test die de AI vraagt: "Kun je een verhaal vertellen met beelden, of weet je alleen hoe je een enkel moment moet tekenen?" De resultaten laten zien dat hoewel AI beter wordt in het tekenen, het nog steeds leert hoe het de stroom van de tijd en oorzaak-gevolg in de visuele wereld moet begrijpen.

Technische Samenvatting: ImageTime – Een Nieuwe Benchmark voor het Proberen van Visuele Wereldmodellering via Spatiotemporele Consistentie

1. Probleemstelling

Huidige beeldgeneratiemodellen hebben een opmerkelijke bekwaamheid bereikt in statische beeldsynthese, waarbij ze hoogwaardige, semantisch uitgelijnde visuals produceren. Echter, hun vermogen om te representeren hoe een visuele wereld in de loop van de tijd evolueert, blijft slecht begrepen. Praktische workflows zoals storyboarding, stapsgewijze illustratie en video-previsualisatie vereisen dat modellen de identiteit van entiteiten, de staat van objecten, ruimtelijke relaties en causale volgorde behouden over meerdere visuele toestanden heen.

Bestaande evaluatieprotocollen richten zich grotendeels op de correctheid van een enkele afbeelding (bijv. aanwezigheid van objecten, attribuutbinding, ruimtelijke relaties) of op dichte videokwaliteit (bijv. bewegingsvloeiendheid, flikkering). Deze benaderingen falen in het diagnosticeren of een model coherent een temporeel geordend proces kan voorstellen. Een model kan een plausibel eindbeeld genereren terwijl het noodzakelijke tussenliggende acties overslaat, objecten dupliceert, de scène-identiteit laat afdrijven of de causale volgorde schendt. Er is een kritiek gat in het evalueren of beeldmodellen een coherente visuele wereld kunnen behouden over geordende toestanden in plaats van slechts geïsoleerde snapshots te renderen.

2. Methodologie

2.1 De ImageTime Benchmark

ImageTime is een diagnostische benchmark die is ontworpen om visuele wereldmodellering te proberen door middel van spatiotemporele consistentie. In plaats van continue video te genereren, gebruikt de benchmark een vier-keyframe protocol om de verwarringen van dichte videodynamiek (bijv. optische flow interpolatie) te vermijden, terwijl het hogere temporele eisen stelt dan enkelvoudige beeldgeneratie.

Taakformulering: Gegeven een actie-instructie (en optioneel een referentieafbeelding voor de initiële staat), moet het model een enkele vierkante afbeelding genereren die vier temporeel geordende toestanden bevat in een $2 \times 2$ $2 \times 2$ lay-out:
1. $t_1$ Initiële Staat: De beginconfiguratie.
2. $t_2$ Actie-aanvang: Het begin van de interactie.
3. $t_3$ Transitietoestand: Een tussenliggende interactie of staatverandering.
4. $t_4$ Eindtoestand: De conclusie van de actie.
Dataset Schaal: De benchmark bestaat uit 750 gevallen verspreid over 22 domeinen (bijv. huishouden, keuken, laboratorium, sport) en 375 actieconcepten.
Instellingen: De primaire evaluatie gebruikt een strikte prompt-only setting, waarbij modellen alle vier de panelen louter vanuit tekst synthetiseren. Een referentie-geconditioneerde scaffold-setting is ook gedefinieerd maar uitgesloten van de hoofdvergelijking tussen modellen om generatieve capaciteiten te isoleren.

2.2 Progressieve Capaciteitboom (L0–L6)

Om de evaluatie te structureren, introduceert ImageTime een zevenstaps capaciteitshierarchie. Taken zijn niet vlak; hogere niveaus hangen af van de succesvolle uitvoering van lagere niveaus:

L0 (Statische Gronding): Het instantiëren van het onderwerp, de scène, de stijl en de initiële staat.
L1 (Identiteit & Ankers): Het behouden van actoren, objecten, materialen en achtergrondankers over de panelen heen.
L2 (Ruimtelijke Transitie): Het representeren van objectieve veranderingen in positie, bevatting en oriëntatie.
L3 (Object-toestand Transitie): Het volgen van staatveranderingen (bijv. vulniveaus, aantallen) en bron-doel conservering.
L4 (Interactie & Affordance): Het afbeelden van plausibele contacten, gereedschapsgebruik en biomechanica.
L5 (Causaal Proces): Het waarborgen dat staatveranderingen zichtbare triggers en tussenliggende stadia volgen (geen voortijdige eindstaten).
L6 (Restrictie/Counterfactual): Het gehoorzamen aan negaties, geblokkeerde acties en conditionele uitkomsten.

2.3 Gestructureerde VLM-als-Judge Evaluatie

Het paper maakt gebruik van een gestructureerde GPT-5.5 als rechter om gegenereerde afbeeldingen te scoren, waarbij verder wordt gegaan dan holistische voorkeursscores. Het evaluatieprotocol omvat:

Layout Validatie: Controleren of de output een geldige, leesbare $2 \times 2$ bewegingssheet is.
Duaal Scoringsysteem:
- Capaciteitsscores (C0–C9): Grofmazige scores die layout, entiteitsconsistentie, ruimtelijke view-stabiliteit, bewegingscontinuïteit, temporele ordening, causaal proces, interactie, restrictiegevoeligheid en visuele kwaliteit dekken.
- Diagnostische Subscores (D0–D14): Fijnmazige scores die visueel bewijs leveren voor fouten (bijv. paneel-parse integriteit, objectpermanentie, traject-pose koppeling, staat-transitie zichtbaarheid, restrictie-executie).
Aggregatie: Boomniveau-scores ( $T_L$ ) worden berekend als een gebalanceerd gemiddelde van gemapte C- en D-dimensies, waardoor wordt gewaarborgd dat claims op hoog niveau worden ondersteund door specifieke visuele bewijzen.

3. Belangrijkste Bijdragen

Een Gedragsmatige Probe voor Visuele Wereldmodellering: ImageTime introduceert een diagnostische benchmark die spatiotemporele consistentie over geordende sleeltoestanden gebruikt als een observeerbare probe. Het verschuift de evaluatie van enkelvoudige staat-correctheid naar geordende multi-staat consistentie, en biedt een concreet standaard met 750 gevallen.
Zevenstaps Capaciteitboom & Gestructureerde Evaluatie: De auteurs ontwerpen een L0–L6 hiërarchie en een gestructureerd VLM-als-judge protocol. Dit maakt zowel een analyse op boomniveau van progressieve capaciteitsdegradatie mogelijk als een fijnmazige lokalisatie van fouten via diagnostische subscores.
Systematische Multi-Model Benchmarking: Het paper evalueert acht diverse beeldgeneratiemodellen (inclusief GPT Image 2, Nano Banana 2, Seedream 5.0 Lite, FLUX.2 Pro, Qwen-Image-2512, Z-Image-Turbo, HunyuanImage-2.1, en SDXL) met behulp van de 750-gevallen benchmark, waarbij terugkerende foutmodi zoals identiteitsdrift, ontbrekende tussenstadia en causale precondition-schendingen aan het licht komen.

4. Experimentele Resultaten

Prestatiehiërarchie: GPT Image 2 behaalde de hoogste gemiddelde score (7.86), gevolgd door Nano Banana 2 (7.45) en Seedream 5.0 Lite (7.16). SDXL scoorde het laagst (1.57), voornamelijk door fouten in het genereren van de vereiste geordende vier-panel interface.
Capaciteitsverschillen: De sterkste systemen (GPT Image 2, Nano Banana 2) behouden brede enveloppen over entiteitsconsistentie, ruimtelijke view-stabiliteit en het causale proces. Echter, zelfs deze topmodellen vertonen significante dalingen in Causaal Proces (C6) en Restrictiegevoeligheid (C8) vergeleken met statische gronding.
Diagnostische Inzichten:
- Bewegingscontinuïteit (C4) en Temporele Ordening (C5) zijn belangrijke differentiators. Zwakkere modellen produceren vaak "voortijdige eindstaten" of slaan tussenliggende fasen over.
- Causale Precondition Schendingen: Veel modellen genereren fysiek onmogelijke interacties (bijv. een object dat in een hand verschijnt voordat een lade is geopend) of falen in het conserveren van hoeveelheden (bijv. vloeistofniveaus die niet veranderen tijdens het schenken).
- Degradatie op Boomniveau: Lager presterende modellen vertonen scherpe degradatie bij hogere capaciteitsniveaus (L4–L6), wat aangeeft dat hoewel ze statische scènes kunnen construeren, ze moeite hebben met het behouden van een coherent causaal proces over geordende toestanden.
Betrouwbaarheid: De distributieanalyse laat zien dat topmodellen niet alleen hoog scoren op gemiddelde, maar ook consistentie vertonen over diverse prompts, terwijl lagere modellen zware staarten van falen vertonen, vooral bij taken met veel restricties of focus op hoeveelheden.

5. Betekenis en Claims

Het paper positioneert ImageTime niet als een maatstaf voor een intern wereldmodel, maar als een gedragsmatige probe om te bepalen of beeldmodellen wereldmodel-achtig gedrag kunnen externaliseren.

Voorbij Statische Synthese: De resultaten demonstreren dat hoge visuele kwaliteit niet garandeert dat er een betrouwbare constructie van een temporeel proces plaatsvindt. Huidige modellen falen vaak in het behouden van de "verborgen variabelen" (bijv. bronhoeveelheden, causale triggers) die nodig zijn voor een coherent proces.
Opkomende Capaciteiten: De benchmark onthult dat zelfs open-weight en goedkopere systemen (bijv. Qwen-Image-2512, Z-Image-Turbo) in staat zijn om leesbare bewegingssheets te produceren en een niet-trivial entiteitsbehoud te vertonen, wat suggereert dat basis spatiotemporele procesgeneratie opkomt buiten gesloten frontier-modellen.
Beperkingen van Huidige Redenering: Hoewel redeneringsgerichte systemen (zoals GPT Image 2) uitblinken in plannen over panelen heen, worstelen ze nog steeds met object-toestand conservering, contactgeometrie en counterfactual redeneren.
Toekomstige Richting: De auteurs stellen dat vooruitgang in beeldgeneratie niet alleen gerapporteerd moet worden via visuele kwaliteit en prompt-following, maar ook via expliciete diagnostiek van staatspersistentie en causale coherentie. ImageTime dient als een brug tussen de evaluatie van statische beelden en de evaluatie van dichte video, en biedt een gecontroleerde interface om de evolutie van visuele wereldmodellering te volgen.

Het paper concludeert dat hoewel huidige modellen basis visuele wereldmodel-achtig gedrag vertonen, hun temporele toestand-tracking fragiel blijft onder langere, meer beperkte of causaal veeleisende processen.