💻 computer science

YoCausal: How Far is Video Generation from World Model? A Causality Perspective

Dieser Beitrag stellt YoCausal vor, einen neuartigen Benchmark, der zeitlich umgekehrte reale Videos nutzt, um Video-Diffusionsmodelle zu bewerten, und zeigt, dass diese zwar den Zeitpfeil wahrnehmen können, im Vergleich zur menschlichen Kognition jedoch immer noch echte kausale Schlussfolgerungsfähigkeiten vermissen lassen.

Ursprüngliche Autoren: You-Zhe Xie, Yu-Hsuan Li, Jie-Ying Lee, Kaipeng Zhang, Yu-Lun Liu, Zhixiang Wang

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: You-Zhe Xie, Yu-Hsuan Li, Jie-Ying Lee, Kaipeng Zhang, Yu-Lun Liu, Zhixiang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, zu verstehen, wie die Welt funktioniert. Sie zeigen ihm ein Video, in dem ein Glas zerbricht. Ein Mensch weiß sofort: Der Hammer traf das Glas, dann zerbrach das Glas. Wenn Sie dieses Video rückwärts abspielen würden, sodass die Scherben nach oben fliegen und sich zu einem ganzen Glas zusammensetzen, würden Sie sofort denken: „Das ist unmöglich!" Ihr Gehirn schreit: „Warte, das ist falsch!"

Diese Arbeit, YoCausal, stellt eine einfache, aber tiefgründige Frage: Wissen heutige fortschrittliche KI-Video-Generatoren tatsächlich, dass dies falsch ist, oder sind sie lediglich gut darin, den Look eines Videos zu imitieren, ohne die dahinterliegende Logik zu verstehen?

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einiger alltäglicher Analogien.

Das Problem: Der „Zauberkunststück"-Effekt vs. echtes Verständnis

Aktuelle KI-Video-Modelle sind wie unglaublich talentierte Zauberer. Sie können ein Video erstellen, in dem ein Glas zerbricht, das unglaublich realistisch aussieht. Aber wenn Sie sie fragen: „Ist das Glas wegen des Hammers zerbrochen, oder erschien der Hammer, weil das Glas zerbrochen ist?", haben sie vielleicht keine Ahnung. Sie könnten lediglich Muster auswendig gelernt haben: „Normalerweise sieht zerbrochenes Glas so aus."

Die Forscher wollten wissen, ob diese KIs tatsächlich Kausalität (Ursache und Wirkung) verstehen oder ob sie nur „statistische Papageien" sind, die wiederholen, was sie zuvor gesehen haben.

Die Lösung: Der „Rückwärts-Video"-Test

Um dies zu testen, entwickelte das Team einen neuen Benchmark namens YoCausal. Sie nutzten einen cleveren Trick, der von der Art inspiriert ist, wie wir Babys testen: Die Verletzung der Erwartung.

Der Baby-Test: Wenn Sie einem Baby ein Video zeigen, in dem ein Ball normal rollt, schauen sie ruhig zu. Wenn Sie es rückwärts abspielen (der Ball rollt von selbst bergauf), sieht das Baby überrascht aus. Diese Überraschung beweist, dass sie verstehen, wie Bälle sollten bewegen.
Der KI-Test: Die Forscher nahmen reale Videos (wie eine Person, die einen schmutzigen Teller abwäscht) und spielten sie rückwärts ab. Sie mussten keine gefälschten Videos erstellen; sie drückten einfach „Rückwärts" bei echtem Filmmaterial. Dies ist eine „kontrafaktische" Probe – ein Szenario, das die Gesetze von Zeit und Ursache verletzt.

Dann fragten sie die KI: „Welche Version dieses Videos fühlt sich für dich ‚normaler' an?"

Wie sie „Überraschung" maßen

KI-Video-Modelle arbeiten durch „Denoising" – sie nehmen ein unscharfes, statisches Bild und reinigen es schrittweise, um ein klares Video zu erstellen.

Die Analogie: Stellen Sie sich vor, die KI versucht, ein Puzzle zu lösen.
Das Vorwärts-Video: Die Puzzleteile passen logisch zusammen. Die KI löst es leicht (geringe „Anstrengung" oder Verlust).
Das Rückwärts-Video: Die Puzzleteile sind so durcheinandergebracht, dass sie der Logik widersprechen. Die KI hat Mühe, einen Sinn darin zu erkennen (hohe „Anstrengung" oder Verlust).

Wenn die KI Kausalität wirklich versteht, sollte sie sich mit dem Rückwärts-Video viel mehr abmühen als mit dem Vorwärts-Video. Diese Abmühung ist ihr Maß für „Überraschung".

Der Zwei-Ebenen-Test

Die Forscher erkannten, dass es nicht ausreicht, nur verwirrt über Rückwärts-Videos zu sein. Eine KI könnte einfach wissen, dass „die Zeit normalerweise vorwärts läuft", ohne zu verstehen, warum. Daher entwickelten sie einen Zwei-Ebenen-Test:

Ebene 1: Der „Zeitpfeil"-Test (RSI)
- Frage: Weiß die KI, dass die Zeit normalerweise vorwärts fließt?
- Ergebnis: Viele fortschrittliche KIs bestanden dies. Sie wussten, dass Rückwärts-Videos seltsam sind. Aber das ist wie zu wissen, dass ein Film von Anfang bis Ende angesehen werden sollte, nicht unbedingt, die Handlung zu verstehen.
Ebene 2: Der „Geschäftslogik"-Test (CCI)
- Frage: Versteht die KI die Geschichte?
- Der Trick: Sie teilten Videos in zwei Gruppen auf:
  - Kausale Videos: Dinge, bei denen A definitiv B verursacht (z. B. ein Hammer, der einen Nagel trifft).
  - Nicht-kausale Videos: Dinge, bei denen A B nicht wirklich verursacht, sondern nur zufällig dort ist (z. B. ein Auto, das eine Autobahn entlangfährt).
- Die Logik: Wenn Sie ein kausales Video rückwärts abspielen, ist es eine doppelte Verletzung (Zeit ist falsch + Physik ist falsch). Wenn Sie ein nicht-kauales Video rückwärts abspielen, ist es nur eine einzelne Verletzung (Zeit ist falsch).
- Das Ziel: Eine wirklich intelligente KI sollte vom umgekehrten kausalen Video viel mehr überrascht sein als vom umgekehrten nicht-kausalen Video.

Die große Enthüllung

Die Forscher testeten 13 der intelligentesten verfügbaren Video-KI-Modelle. Hier ist, was sie fanden:

Die Lücke zwischen „Zeit" und „Logik": Viele Modelle waren hervorragend darin, zu erkennen, dass ein Video rückwärts war (Ebene 1), scheiterten aber daran, zwischen einem Video zu unterscheiden, bei dem Ursache und Wirkung gebrochen waren, und einem, bei dem dies nicht der Fall war (Ebene 2).
- Analogie: Es ist wie ein Schüler, der das Alphabet kennt, aber keinen Satz lesen kann. Er weiß, dass die Buchstaben in der falschen Reihenfolge sind, versteht aber die Bedeutung nicht.
Immer noch nicht menschlich: Selbst die besten KI-Modelle lagen weit hinter der menschlichen Leistung zurück. Menschen sind von Natur aus darauf programmiert, Ursache und Wirkung zu verstehen; die KIs raten immer noch nur basierend auf Mustern.
Größer ist nicht immer klüger (noch): Während größere Modelle und neuere Architekturen im Allgemeinen besser abschnitten, verlieh die bloße Vergrößerung des Modells ihm nicht automatisch ein „menschähnliches" Verständnis dafür, warum Dinge geschehen.

Das Fazit

YoCausal beweist, dass nur weil eine KI ein schönes, realistisches Video generieren kann, dies nicht bedeutet, dass sie die Welt versteht. Sie mag ein Meister der „visuellen Imitation" sein, aber ein Anfänger im „logischen Schlussfolgern".

Die Arbeit kommt zu dem Schluss, dass wir noch weit davon entfernt sind, ein echtes „Weltmodell" zu bauen (eine KI, die versteht, wie das Universum funktioniert). Um dorthin zu gelangen, müssen wir diese Modelle nicht nur die Welt sehen lassen, sondern die Regeln verstehen lassen, die die Welt funktionieren lassen.

Technische Zusammenfassung: YoCausal

Problemstellung

Während sich Video-Diffusionsmodelle (VDMs) dem Ziel nähern, zu „Weltmodellen" zu werden, bleibt eine kritische Frage offen: Verstehen diese Modelle Kausalität tatsächlich, oder überanpassen sie sich lediglich statistischen zeitlichen Mustern? Bestehende Benchmarks zur Bewertung von „Weltwissen" in generativen Modellen stützen sich weitgehend auf synthetische Daten oder kontrollierte Laboraufnahmen, um physikalische Variablen zu isolieren. Diese Abhängigkeit erzeugt eine erhebliche „Sim-to-Real"-Lücke, die die Bewertung der Generalisierung auf reale Welten einschränkt. Darüber hinaus vermischen aktuelle Evaluierungen oft die Wahrnehmung des „Zeitpfeils" (die inhärente Richtung der Zeit) mit echtem kausalem Schlussfolgern (das Verständnis, dass Ereignis A Ereignis B verursacht). Es fehlt an skalierbaren Benchmarks für die reale Welt, die diese beiden Konzepte entkoppeln können, um zu bewerten, ob VDMs kausale Strukturen als Teil ihrer gelernten Priors internalisiert haben.

Methodik

Die Autoren schlagen YoCausal vor, einen zweistufigen Benchmark, der vom Paradigma der Verletzung der Erwartung (Violation of Expectation, VoE) aus der Kognitionswissenschaft inspiriert ist. Die Kernhypothese lautet, dass ein kausal bewusstes Modell „Überraschung" (niedrigere Wahrscheinlichkeit/höherer Verlust) zeigt, wenn es mit kontrafaktischen Stimuli konfrontiert wird, wie etwa zeitlich umgekehrten Videos, im Vergleich zu Vorwärtsvideos.

1. Datensatzkonstruktion

Im Gegensatz zu früheren Arbeiten, die synthetisches Rendering erfordern, nutzt YoCausal Videos aus der realen Welt aus verschiedenen Domänen (Allgemein, Physik, Menschliche Aktion, Tierische Aktion), die aus bestehenden Datensätzen stammen (z. B. Moments in Time, Physics IQ, Kinetics, Animal Kingdom).

Kostenfreie Kontrafaktika: Der Benchmark generiert natürliche kontrafaktische Stichproben durch zeitliches Umkehren von Videos aus der realen Welt. Dies ermöglicht einen beliebig erweiterbaren Datensatz ohne Sim-to-Real-Lücke.
Skalierung: Die initiale Evaluierung umfasst 1.232 Videos über vier thematische Teilbereiche.

2. Evaluierungsrahmen

Der Rahmen arbeitet auf zwei Ebenen, um die zeitliche Wahrnehmung von der kausalen Kognition zu trennen:

Ebene 1: Reverse Surprise Index (RSI)
- Mechanismus: Für jedes Video berechnet das Modell den Denoising-Verlust sowohl für die Vorwärtssequenz ( $x_f$ ) als auch für die rückwärts laufende Sequenz ( $x_r$ ) unter Verwendung identischer abgetasteter Rauschsignale zu denselben Zeitschritten.
- Metrik: Der RSI misst den Anteil der Videos, bei denen das Modell einen niedrigeren Denoising-Verlust für die Vorwärtssequenz als für die rückwärts laufende Sequenz zuweist ( $L(x_f) < L(x_r)$ ).
- Interpretation: Ein hoher RSI zeigt, dass das Modell den Zeitpfeil wahrnimmt. Dies allein bestätigt jedoch kein kausales Verständnis, da dies aus statistischen zeitlichen Verzerrungen resultieren könnte.
Ebene 2: Causality Cognition Index (CCI)
- Entkopplung: Um echtes kausales Schlussfolgern zu isolieren, wird der Datensatz in eine kausale Teilmenge ( $D_c$ ) (Videos mit expliziten Ursache-Wirkung-Interaktionen) und eine nicht-kausale Teilmenge ( $D_{nc}$ ) (Videos ohne solche Interaktionen, z. B. ein fahrendes Auto) unterteilt.
- Mechanismus: Ein Vision-Language-Modell (VLM) automatisiert diese Unterteilung basierend auf dem Vorhandensein beobachtbarer Ursache-Wirkung-Mechanismen.
- Metrik: $CCI = RSI(D_c) - RSI(D_{nc})$ .
- Interpretation: Ein kausal bewusstes Modell sollte von umgekehrten kausalen Videos signifikant stärker „überrascht" werden als von umgekehrten nicht-kausalen Videos. Ein hoher CCI zeigt, dass das Modell kausale Hinweise jenseits statistischer zeitlicher Muster erfasst.

3. Validierung

Zuverlässigkeit des VLM: Die VLM-basierte Unterteilung wurde gegen menschliche Annotationen (Kendall's $\tau = 0.7613$ ) und optische Flussanalysen validiert, was bestätigt, dass die Aufteilung auf hochrangiger Semantik und nicht auf niederwertigen Bewegungshinweisen basiert.
Entropiekontrolle: Experimente an entropiesymmetrischen Teilmengen bestätigten, dass der RSI die zeitliche Struktur auf Ereignisebene widerspiegelt und nicht niederwertige Entropiedynamiken.

Hauptergebnisse

Der Benchmark evaluierte 13 state-of-the-art Open-Source-VDMs (einschließlich der Familien Wan, CogVideoX, HunyuanVideo und LTX-Video) gegen eine menschliche Baseline.

Zeit vs. Kausalität: Es besteht eine erhebliche Lücke zwischen der Wahrnehmung des Zeitpfeils und dem Verständnis von Kausalität. Mehrere Modelle erreichten einen hohen RSI (Wahrnehmung der Zeitrichtung), aber einen niedrigen oder negativen CCI, was darauf hindeutet, dass sie sich auf zeitliche Statistiken und nicht auf kausale Logik stützen.
Lücke zwischen Mensch und Modell: Selbst die am besten performenden Modelle weisen eine erhebliche Lücke im Vergleich zur kausalen Kognition auf menschlichem Niveau auf. Menschen erzielten in allen Teilbereichen den höchsten RSI und CCI.
Skalierungsgesetze: Kausale Kognition korreliert signifikant mit Modellparametern und Veröffentlichungsdaten ( $\tau \approx 0.69$ bzw. $0.60$). Größere Modelle und neuere Architekturen (z. B. DiT-basiert) zeigen ein verbessertes kausales Verständnis, was darauf hindeutet, dass sich Skalierungsgesetze auf diese höherwertige Schlussfolgerung erstrecken.
Unabhängigkeit von Ästhetik: Der Benchmark zeigt keine Korrelation mit Metriken für ästhetische Qualität, was bestätigt, dass kausales Verständnis eine eigenständige Fähigkeit ist, die nicht durch visuelle Fidelität verfälscht wird.
Korrelation mit Physik: Es besteht eine moderate positive Korrelation mit Benchmarks für intuitive Physik (LikePhys), was darauf hindeutet, dass physikalische Gesetze Objektinteraktionen einschränken, kausale Kognition jedoch nicht allein auf Physik reduzierbar ist.

Bedeutung und Beiträge

Die Autoren beanspruchen folgende Beiträge:

Erster Kausalitäts-Benchmark für VDMs: YoCausal ist der erste Benchmark, der speziell entwickelt wurde, um kausale Kognition in Videogenerierungsmodellen zu evaluieren, und dabei einen skalierbaren Datensatz aus der realen Welt nutzt, der frei von Sim-to-Real-Lücken ist.
Kognitionswissenschaftlich fundierter Rahmen: Er führt einen zweistufigen Rahmen ein, der erfolgreich die Wahrnehmung des „Zeitpfeils" von echter „kausalen Kognition" entkoppelt und damit eine Einschränkung früherer physikbasierter Benchmarks adressiert.
Diagnostische Evidenz: Die Evaluierung zeigt, dass aktuelle Open-Source-VDMs kein robustes kausales Verständnis besitzen, und hebt eine kritische Lücke zwischen aktuellen generativen Modellen und dem angestrebten „Weltmodell" hervor.
Leitfaden für zukünftige Forschung: Indem gezeigt wird, dass Skalierung und architektonische Evolution die kausale Kognition verbessern, liefert die Arbeit eine quantitative Grundlage für die Steuerung der Entwicklung zukünftiger Weltmodelle, wobei kausales Schlussfolgern als eigenständiges Ziel betont wird.

Die Autoren weisen auf Einschränkungen hin, darunter die Schwierigkeit, zeitlich symmetrische Ereignisse zu evaluieren (bei denen Vorwärts- und Rückwärtsvideos visuell identisch sind), sowie die Abhängigkeit von Modellgewichten für die Berechnung des Denoising-Verlusts, was die Evaluierung von Closed-Source-Modellen einschränkt. Sie gehen jedoch davon aus, dass der Benchmark die dominanten Regime visuell expliziter Kausalität, die für Robotersimulation, Spiele-Engines und autonomes Fahren relevant sind, effektiv abdeckt.