💻 computer science

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

Dieser Beitrag stellt „What-If World" vor, einen neuen Benchmark, der aus 319 Prompt-Paaren besteht und Videogenerierungsmodelle hinsichtlich ihrer Fähigkeit bewertet, physikalisch konsistente, kausal divergente Ergebnisse als Reaktion auf Änderungen einzelner Variablen zu erzeugen, und dabei zeigt, dass aktuelle State-of-the-Art-Modelle es weitgehend versäumen, verkörperte Szenarien für Planung und Steuerung zuverlässig zu simulieren.

Ursprüngliche Autoren: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler, der unglaublich realistische Szenen malen kann. Wenn Sie ihn bitten, „ein Auto, das sanft bremst", zu malen, leistet er hervorragende Arbeit. Wenn Sie ihn bitten, „ein Auto, das hart bremst", zu malen, leistet er ebenfalls hervorragende Arbeit. Beide Gemälde sehen für sich genommen perfekt aus.

Aber hier liegt der Haken: What-If World stellt eine andere Frage. Es fragt: „Wenn Sie die Anweisung von 'sanft' auf 'hart' ändern, ändert sich das Ergebnis tatsächlich so, wie es die Physik vorsieht?"

In der realen Welt hält eine harte Bremsung ein Auto viel schneller an als eine sanfte. Aber in der Welt der aktuellen KI-Video-Generatoren könnte der Künstler zwei fast identische Bremswege malen, obwohl die Anweisungen völlig unterschiedlich waren. Die KI ist gut darin, das Aussehen eines Autos zu malen, aber schlecht darin, die Logik zu verstehen, wie sich das Auto bewegt.

Das Problem: Die „Look-Alike"-Falle

Aktuelle Tests für KI-Videomodelle sind wie das Benoten der Hausaufgaben eines Schülers, indem man jede Seite einzeln betrachtet.

Seite 1: „Zeichne ein Auto, das sanft bremst." (Die Zeichnung sieht gut aus. Bestanden.)
Seite 2: „Zeichne ein Auto, das hart bremst." (Die Zeichnung sieht gut aus. Bestanden.)

Der Lehrer vergleicht die beiden Seiten nie nebeneinander. So erhält die KI eine Eins, selbst wenn beide Zeichnungen zeigen, dass das Auto an exakt derselben Stelle zum Stillstand kommt und den Unterschied in den Anweisungen völlig ignoriert. Dies wird als Contrastive Bottleneck bezeichnet. Die KI kann Dinge realistisch aussehen lassen, aber sie kann sie nicht anders handeln lassen, wenn man die Regeln ändert.

Die Lösung: What-If World

Die Forscher haben einen neuen Test namens What-If World entwickelt. Anstatt ein Video nach dem anderen zu benoten, zwingen sie die KI, Paare von Videos zu generieren, die auf derselben Startszene basieren, aber eine winzige Änderung in den Anweisungen enthalten.

Stellen Sie es sich wie ein „Finde die Unterschiede"-Spiel vor, nur dass die KI die Unterschiede selbst basierend auf der Physik erstellen muss.

Das Setup:

Der Anker: Sie nehmen ein echtes Foto eines Autos oder eines Roboterarms kurz bevor es sich bewegt. Dies ist der „eingefrorene Moment", in dem für beide Videos alles gleich ist.
Der Twist: Sie geben der KI zwei Prompts, die identisch sind, außer an einer physikalischen Stelle.
- Prompt A: „Der Roboterarm schiebt den Block sanft."
- Prompt B: „Der Roboterarm schiebt den Block hart."
Der Test: Die KI muss zwei Videos generieren. Die Forscher (unter Verwendung eines superintelligenten KI-Richters) prüfen:
- Hat der Roboter tatsächlich geschoben? (Einhaltung)
- Hat sich der Block auf physikalisch mögliche Weise bewegt? (Physik)
- Ist der Hintergrund gleich geblieben? (Umgebung)
- Entscheidend: Zeigt das Video mit dem „harten Stoß", dass sich der Block weiter oder schneller bewegt als das Video mit dem „sanften Stoß"? (Ergebnis)

Die sechs Regeln des Spiels

Um den Test fair und wissenschaftlich zu gestalten, haben die Forscher die Änderungen in sechs spezifische „Regeln" der Physik unterteilt, die in zwei Kategorien aufgeteilt sind:

1. Die Umgebung (Die Bühne):

Oberflächenreibung: Ist die Straße vereist oder trocken? (Rutscht das Auto?)
Material/Medium: Ist der Gegenstand ein Schwamm oder ein Ziegelstein? (Quetscht er sich zusammen oder bleibt er hart?)
Hindernisse: Steht eine Kegel im Weg? (Fährt das Auto darauf zu oder fährt es herum?)

2. Die Aktion (Der Akteur):

Kraft/Grad: Wie stark ist der Stoß oder die Bremsung?
Räumliche Ausrichtung: Wo genau greift der Roboter?
Zeitliche Abfolge: Hat der Roboter vorher oder nachher gegriffen, bevor er sich bewegte?

Die Ergebnisse: Die KI ist immer noch ein Anfänger

Die Forscher testeten 9 der intelligentesten Video-KI-Modelle der Welt (sowohl Open-Source- als auch teure Closed-Source-Modelle). Die Ergebnisse waren ernüchternd:

Die Decke: Selbst das beste Modell bestand nur etwa 52 % der Tests. Das bedeutet, es scheiterte fast die Hälfte der Zeit.
Die Lücke: Die Open-Source-Modelle waren noch schlechter und gruppierten sich um 28 %.
Die Illusion: Die meisten Modelle schnitten bei „Single-Video"-Tests gut ab (die Videos sahen großartig aus), scheiterten aber bei den „gepaarten" Tests (die Videos unterschieden sich nicht genug). Sie fälschten die Physik.
Visuelle Verzerrung: Die KI schneidet besser ab, wenn die Änderung für das Auge offensichtlich ist (wie ein Auto, das schnell vs. langsam zoomt), scheitert aber kläglich, wenn die Änderung subtil oder unsichtbar ist (wie rutschig die Straße ist).

Die große Erkenntnis

Die Studie kommt zu dem Schluss, dass diese KI-Modelle zwar erstaunlich im Rendering sind (hübsche Bilder zu erstellen), aber noch keine zuverlässigen Simulatoren sind (zu verstehen, wie die Welt funktioniert).

Wenn Sie eine KI nutzen wollen, um die Bewegungen eines Roboters zu planen oder ein autonomes Fahrzeug zu simulieren, müssen Sie, dass „hart bremsen" einen „kürzeren Stopp" bedeutet. Derzeit rät die KI nur, wie eine harte Bremsung aussieht, nicht was sie bewirkt. Solange sie den What-If World-Test nicht bestehen können, können wir ihnen nicht vollständig vertrauen, Entscheidungen in der realen Welt zu treffen.

Technische Zusammenfassung: What-If World: Ein kausaler Benchmark für allgemeine Weltmodelle in embodied Szenarien

Problemstellung

Video-Generierungsmodelle werden zunehmend als universelle Weltsimulatoren für embodied Anwendungen wie autonomes Fahren und robotische Manipulation vorgeschlagen. Allerdings versagen bestehende Evaluierungsparadigmen darin, eine für diese Settings kritische Fähigkeit zu bewerten: kausale Sensitivität. Aktuelle Benchmarks (z. B. VBench, EvalCrafter, VideoPhy) bewerten generierte Videos isoliert und bewerten sie hinsichtlich visueller Realismus oder physikalischer Plausibilität relativ zu einem einzelnen Prompt. Dieser Ansatz kann einen fundamentalen Fehlermodus nicht erkennen, bei dem ein Modell zwei visuell plausible Videos erzeugt, die nahezu identisch sind, obwohl sie Prompts erhalten, die unterschiedliche physikalische Interventionen beschreiben (z. B. „sanft bremsen" vs. „hart bremsen").

Für actions-konditionierte Simulatoren und modellbasierte Planer ist ein System, das Änderungen der gesteuerten Eingabe nicht verfolgt, unbrauchbar, da Rollouts, die sich gemäß der Intervention nicht unterscheiden, nicht zum Vergleich alternativer Aktionen herangezogen werden können. Bestehende kausale Benchmarks (z. B. CLEVRER, NExT-QA) testen die Fähigkeit eines Modells, kausale Strukturen in einem gegebenen Video zu wahrnehmen, nicht aber seine Fähigkeit, physikalisch korrekte kausale Dynamiken von Grund auf basierend auf Eingabevariationen zu generieren.

Methodik

1. Der What-If World Benchmark

Die Autoren stellen What-If World vor, den ersten Benchmark, der speziell für kontrastive Interventionen in Video-Weltmodellen entwickelt wurde. Der Benchmark wird durch eine dreistufige Pipeline konstruiert:

Definition der Taxonomie (Was zu testen): Zwei Domänenexperten (autonomes Fahren und robotische Manipulation) analysierten 1.000 reale Videos aus nuScenes und DROID. Sie identifizierten physikalische Variablen, die Ergebnisse steuern, und führten sie zu einer einheitlichen Taxonomie aus sechs Primitiven zusammen, die zwei Domänen abdecken:
- Umgebungsdomäne ( $D_{env}$ ): Oberflächenreibung, Material & Medium, Hinderniskonfiguration.
- Interaktionsdomäne ( $D_{int}$ ): Räumliche Ausrichtung, Kraft/Grad, zeitliche Sequenzierung.
  Diese Primitiven wurden ausgewählt, weil sie physikalisch fundamental, über Embodiments hinweg geteilt und operationell isolierbar sind.
Datensatzkonstruktion (Wie zu testen): Der Benchmark besteht aus 319 gepaarten Testinstanzen. Jede Instanz wird wie folgt aufgebaut:
1. Auswahl eines realen Videoclips und Extraktion eines Frames $x_0$ am kausalen Verzweigungspunkt (dem Moment unmittelbar vor Beginn der Aktion), um den Anfangszustand festzulegen.
2. Konstruktion eines kontrastiven Prompt-Paars $(p^+, p^-)$ , das die Kameraperspektive und den Anfangsszenenzustand teilt, sich jedoch in genau einer semantischen Variable (der Intervention) unterscheidet.
3. Zurückhalten des physikalischen Ergebnisses im Prompt, um das Modell zu zwingen, die Konsequenz zu simulieren, anstatt sie aus Textpriors zu extrahieren.
  Der Datensatz umfasst 18 Unterkategorien im Bereich des autonomen Fahrens und der Manipulation durch Roboterarme.
Evaluierungsprotokoll (Wie zu bewerten): Die Autoren schlagen das APEO-Framework vor, das Videopaare in vier Dimensionen bewertet:
- Einhaltung (Adherence, A): Führt das Video die promptierte Aktion aus?
- Physik (Physics, P): Respektiert die Bewegung physikalische Constraints?
- Umgebung (Environment, E): Ist der Hintergrund und die Nicht-Ziel-Szene stabil?
- Ergebnis (Outcome, O): Divergieren die beiden Videos in der durch die Intervention vorhergesagten Richtung?
Entscheidend ist, dass A, P und E sowohl im Single-Video-Modus (unabhängige Plausibilität) als auch im gepaarten Modus (vergleichende Konsistenz) bewertet werden. Outcome (O) ist ausschließlich gepaart. Dieses Design trennt die pro-Video-Plausibilität von der kausalen Korrektheit. Ein VLM-Richter (Gemini 3.1-Pro), der gegen menschliche Annotation validiert wurde (82,3 % Übereinstimmung), führt die Bewertung durch.

Wichtige Ergebnisse

Der Benchmark wurde auf neun state-of-the-art Video-Generierungsmodelle angewendet (vier Open-Source, fünf Closed-Source). Die Ergebnisse zeigen signifikante Einschränkungen aktueller Weltmodelle auf:

Geringe kausale Sensitivität: Kein Modell überschreitet 52 % beim primären gepaarten Metrik (pAvg). Das am besten abschneidende Modell, Grok Imagine, erreicht 51,7 %, während Open-Source-Modelle nahe bei 28 % liegen.
Die kontrastive Engstelle: Es besteht eine erhebliche Lücke zwischen Single-Video-Werten und gepaarten Werten. Beispielsweise erzielt HunyuanVideo-1.5 einen Single-Video-Physikwert ( $P_s$ ) von 64,4 %, fällt aber auf 12,2 % beim gepaarten Physikwert ( $P_p$ ). Dies zeigt, dass Modelle individuell überzeugende Videos generieren können, die jedoch keine Unterscheidung basierend auf Eingabeänderungen vornehmen.
Visuelle Prominenz vs. physikalische Handhabbarkeit: Die Leistung korreliert stärker mit der visuellen Prominenz der Konsequenzen der Intervention als mit der zugrundeliegenden Physik.
- Kraft/Grad (Erzeugung dramatischer Bewegungsunterschiede) erreicht mit 40,4 % die höchste Bewertung.
- Oberflächenreibung (Erzeugung subtiler Trajektorienunterschiede bei latenten Variablen) erreicht mit 14,2 % die niedrigste Bewertung.
- Zeitliche Sequenzierung zeigt einen komprimierten Leistungsbereich über alle Modelle hinweg, was darauf hindeutet, dass es sich um eine fundamentale Herausforderung handelt, die durch Skalierung noch nicht gelöst wurde.
Versteckte Fehlermodi: In 13,1 % der Fälle, in denen jede Single-Video-Prüfung bestanden wurde, scheiterte die gepaarte Physikprüfung. Diese „versteckten Fehler" stellen ein hohes Risiko für nachgelagerte Anwendungen wie kontrafaktische Planung dar, da die Simulation zwar gültig erscheint, aber keine kausale Unterscheidung bietet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass What-If World den ersten einheitlichen und reproduzierbaren Rahmen bietet, um zu diagnostizieren, wo aktuelle generative Videosysteme als Weltmodelle scheitern. Ihre Bedeutung liegt in:

Aufdecken einer Blindstelle: Sie zeigt, dass bestehende Single-Video-Evaluierungsmetriken für embodied Anwendungen unzureichend sind, da sie die „kontrastive Engstelle" nicht erkennen können – das Versagen, kontrollierte Eingabeänderungen zu verfolgen.
Definition eines Standards: Sie etabliert eine Taxonomie aus sechs Primitiven, die physikalische Interventionsvariablen über autonomes Fahren und robotische Manipulation hinweg vereinheitlicht und über ad-hoc-Testfälle hinausgeht.
Quantifizierung der Lücke: Sie liefert quantitative Belege dafür, dass aktuelle Modelle, selbst die fortschrittlichsten Closed-Source-Systeme, noch nicht zuverlässig für actions-konditionierte Simulation oder modellbasierte Planung sind, da sie bei einem großen Anteil kausaler Interventionen versagen.

Die Autoren schließen, dass Modelle zwar in visuell offensichtlichen Szenarien einige Fähigkeiten zeigen, ihnen jedoch eine generalisierbare physikalische Sensitivität fehlt, insbesondere für latente Variablen (wie Reibung oder Masse) und relationales Schlussfolgern (wie zeitliche Sequenzierung). Die Arbeit hebt eine kritische Fähigkeitslücke hervor, die behoben werden muss, bevor diese Modelle sicher in sicherheitskritischen embodied Systemen eingesetzt werden können.