Technische Samenvatting: YoCausal

Probleemstelling

Naarmate Video Diffusiemodellen (VDM's) vorderen in de richting van het doel om "wereldmodellen" te worden, blijft een kritieke vraag: begrijpen deze modellen causaliteit werkelijk, of passen ze zich uitsluitend aan statistische temporele patronen aan? Bestaande benchmarks voor het evalueren van "wereldkennis" in generatieve modellen vertrouwen grotendeels op synthetische data of gecontroleerde laboratoriumopnames om fysieke variabelen te isoleren. Deze afhankelijkheid creëert een aanzienlijke "sim-to-real"-kloof, wat de beoordeling van generalisatie in de echte wereld beperkt. Bovendien vermengen huidige evaluaties vaak de perceptie van de "tijdspijl" (de inherente richting van tijd) met echt causaal redeneren (het begrijpen dat gebeurtenis A gebeurtenis B veroorzaakt). Er ontbreekt een schaalbare, real-world benchmark die deze twee concepten kan ontwarren om te evalueren of VDM's causale structuren hebben geïnternaliseerd als onderdeel van hun geleerde priors.

Methodologie

De auteurs stellen YoCausal voor, een tweeledige benchmark geïnspireerd door het Violation of Expectation (VoE)-paradigma uit de cognitiewetenschap. De kernhypothese is dat een causaal bewust model "verrassing" (lagere waarschijnlijkheid/hogere loss) moet vertonen wanneer het wordt geconfronteerd met contrafactuele stimuli, zoals tijdelijk omgekeerde video's, in vergelijking met voorwaartse video's.

1. Datasetconstructie

In tegenstelling tot eerdere werken die synthetische rendering vereisen, maakt YoCausal gebruik van real-world video's uit diverse domeinen (Algemeen, Fysica, Menselijke Actie, Dierlijke Actie), afkomstig uit bestaande datasets (bijv. Moments in Time, Physics IQ, Kinetics, Animal Kingdom).

• Zero-Cost Contrafactuelen: De benchmark genereert natuurlijke contrafactuele steekproeven door real-world video's tijdelijk om te keren. Dit maakt een willekeurig uitbreidbare dataset mogelijk zonder de sim-to-real-kloof.
• Schaal: De initiële evaluatie bestrijkt 1.232 video's over vier thematische subsets.

2. Evaluatiekader

Het kader werkt op twee niveaus om temporele perceptie te scheiden van causale cognitie:

• Niveau 1: Reverse Surprise Index (RSI)

  • Mechanisme: Voor elke video berekent het model de denoising loss voor zowel de voorwaartse sequentie ($x_f$) als de omgekeerde sequentie ($x_r$), met gebruik van identiek bemonsterde ruis op dezelfde tijdstappen.
  • Maatstaf: RSI meet het aandeel video's waarbij het model een lagere denoising loss toekent aan de voorwaartse sequentie dan aan de omgekeerde ($L(x_f) < L(x_r)$).
  • Interpretatie: Een hoge RSI geeft aan dat het model de tijdspijl waarneemt. Dit bevestigt echter op zichzelf geen causaal begrip, aangezien dit kan voortkomen uit statistische temporele vertekeningen.

• Niveau 2: Causality Cognition Index (CCI)

  • Ontwarring: Om echt causaal redeneren te isoleren, wordt de dataset opgesplitst in een Causale Subset ($D_c$) (video's met expliciete oorzaak-en-gevolg-interacties) en een Niet-Causale Subset ($D_{nc}$) (video's zonder dergelijke interacties, bijv. een auto die cruist).
  • Mechanisme: Een Vision-Language Model (VLM) automatiseert deze opdeling op basis van de aanwezigheid van waarneembare oorzaak-en-gevolg-mechanismen.
  • Maatstaf: $CCI = RSI(D_c) - RSI(D_{nc})$.
  • Interpretatie: Een causaal bewust model zou aanzienlijk meer "verrast" moeten zijn door omgekeerde causale video's dan door omgekeerde niet-causale video's. Een hoge CCI geeft aan dat het model causale aanwijzingen vastlegt die verder gaan dan statistische temporele patronen.

3. Validatie

• Betrouwbaarheid VLM: De op VLM gebaseerde opdeling is gevalideerd tegen menselijke annotaties (Kendall's $\tau = 0.7613$) en optische flow-analyse, wat bevestigt dat de splitsing gebaseerd is op hoog-niveau semantiek in plaats van laag-niveau bewegingsaanwijzingen.
• Entropiecontrole: Experimenten op entropie-symmetrische subsets bevestigden dat RSI de temporele structuur op gebeurtenisniveau weerspiegelt in plaats van laag-niveau entropiedynamiek.

Belangrijkste Resultaten

De benchmark evalueerde 13 state-of-the-art open-source VDM's (waaronder de families Wan, CogVideoX, HunyuanVideo en LTX-Video) tegen een menselijke baseline.

1. Tijd versus Causaliteit: Er is een aanzienlijke kloof tussen het waarnemen van de tijdspijl en het begrijpen van causaliteit. Verschillende modellen behaalden een hoge RSI (waarnemen van tijdsrichting) maar een lage of negatieve CCI, wat aangeeft dat ze vertrouwen op temporele statistieken in plaats van causale logica.
2. Kloof Mens-Model: Zelfs de best presterende modellen vertonen een aanzienlijke kloof ten opzichte van menselijke causale cognitie. Mensen behaalden de hoogste RSI en CCI over alle subsets.
3. Schaalwetten: Causale cognitie correleert significant met modelparameters en release-data ($\tau \approx 0,69$ respectievelijk $0,60$). Grotere modellen en nieuwere architecturen (bijv. DiT-gebaseerd) tonen een verbeterd causaal begrip, wat suggereert dat schaalwetten zich uitstrekken tot dit hogere redeneren.
4. Onafhankelijkheid van Esthetiek: De benchmark toont geen correlatie met esthetische kwaliteitsmaten, wat bevestigt dat causaal begrip een onderscheidend vermogen is dat niet verward wordt met visuele fideliteit.
5. Correlatie met Fysica: Er is een matige positieve correlatie met intuïtieve fysica-benchmarks (LikePhys), wat suggereert dat fysieke wetten objectinteracties beperken, maar dat causale cognitie niet tot fysica alleen te herleiden is.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

• Eerste Causaliteitsbenchmark voor VDM's: YoCausal is de eerste benchmark die specifiek is ontworpen om causale cognitie in video-generatiemodellen te evalueren, met gebruik van een schaalbare real-world dataset vrij van sim-to-real-kloven.
• Kader Gebaseerd op Cognitiewetenschap: Het introduceert een tweeledig kader dat de perceptie van de "tijdspijl" succesvol scheidt van echte "causale cognitie", waarmee een beperking in eerdere op fysica gebaseerde benchmarks wordt aangepakt.
• Diagnostisch Bewijs: De evaluatie onthult dat huidige open-source VDM's geen robuust causaal begrip hebben, wat een kritieke kloof benadrukt tussen huidige generatieve modellen en het aspiratiele "wereldmodel".
• Richting voor Toekomstig Onderzoek: Door aan te tonen dat schaling en architecturale evolutie causale cognitie verbeteren, biedt het werk een kwantitatieve basis voor het sturen van de ontwikkeling van toekomstige wereldmodellen, met nadruk op causaal redeneren als een onderscheidend doel.

De auteurs wijzen op beperkingen, waaronder de moeilijkheid om tijdelijk symmetrische gebeurtenissen te evalueren (waarbij voorwaartse en omgekeerde video's visueel identiek zijn) en de afhankelijkheid van modelgewichten voor de berekening van de denoising loss, wat de evaluatie van closed-source modellen beperkt. Zij stellen echter dat de benchmark effectief de dominante regimes van visueel expliciete causaliteit dekt die relevant zijn voor robot-simulatie, game-engines en autonoom rijden.