🤖 machine learning

How Should World Models Be Evaluated? A Decision-Making-Centric Position

Dieses Paper argumentiert, dass Weltmodelle für körpergebundene Entscheidungsfindung durch ein entscheidungszentriertes Framework unter Verwendung einer L0–L7-Leiter evaluiert werden sollten, wobei der Fokus auf Belegen für kontrafaktisches Denken, Planung und Richtlinienoptimierung statt auf oberflächlichen Metriken wie visueller Realismus liegen sollte, um die gängige Diskrepanz zwischen Modellansprüchen und Evaluationsfähigkeiten zu adressieren.

Ursprüngliche Autoren: Yang Yu, Shiyuan Zhang, Yifei Sheng, Haoxiang Ren, Haoxin Lin

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yang Yu, Shiyuan Zhang, Yifei Sheng, Haoxiang Ren, Haoxin Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Weltmodelle“ tragen zu viele Hüte

Stellen Sie sich eine neue Art von KI vor, ein „Weltmodell“. Der Name klingt so, als wüsste sie alles über die Funktionsweise der Welt. Aber im Moment verwenden Wissenschaftler denselben Namen für sechs sehr unterschiedliche Dinge:

Ein Videogenerator, der Fake-Zukunftsvideos realistisch aussehen lässt.
Ein Simulator, der Robotern hilft, ihre Bewegungen zu planen.
Ein Werkzeug, das vorhersagt, was als Nächstt passiert, wenn man ein Spiel spielt.
Ein System, das Fake-Daten erstellt, um andere Roboter zu trainieren.
Ein „Gehirn“, das abstrakte Konzepte versteht, ohne Bilder zu zeigen.
Ein Planer, der herausfindet, wie man von Punkt A nach Punkt B kommt.

Das Problem: Weil alle sie alle „Weltmodelle“ nennen, werden sie nach den falschen Regeln beurteilt.

Wenn Sie einen Videogenerator bauen, sollten Sie danach beurteilt werden, wie schön das Video aussieht.
Wenn Sie einen Roboter-Planer bauen, sollten Sie danach beurteilt werden, ob der Roboter die Aufgabe tatsächlich erfolgreich abschließt.

Die Arbeit argumenttiert, dass viele Forscher einen Fehler machen: Sie bauen einen Roboter-Planer, zeigen ein wunderschönes Video, das er generiert hat (welches großartig aussieht), und behaupten dann: „Schaut her! Unser Roboter-Planer ist fantastisch!“ Aber das Video mag perfekt aussehen, während der Plan des Roboters in Wirklichs eigentlich schrecklich ist. Sie nutzen Beweise für einen Film, um zu beweisen, dass eine Maschine funktioniert.

Die Lösung: Die „L0 bis L7“-Leiter

Um diese Verwirrung zu lösen, haben die Autoren eine „Bewertungsskala“ (Ladder of Evaluation) erstellt. Stellen Sie sich das wie ein Videospiel mit verschiedenen Levels vor. Man kann nicht behaupten, das Spiel gewonnen zu haben, nur weil man durch das Tutorial gelaufen ist (Level 1); man muss den Endboss besiegen (Level 7).

Hier ist die Bedeutung jedes Levels in einfachem Deutsch:

Levels 0–3 (Die „Kunstkritiker“-Levels):
- L0 (Visuelle Plausibilität): Sieht das Video echt aus? (z. B. Ist die Beleuchtung gut? Sehen die Charaktere menschlich aus?)
- L1 (Logische Zukunfts-Vorhersage): Wenn der Roboter das tut, was er normalerweise tut, passt das Video zu dem, was tatsächlich passiert ist?
- L2 (Semantische Übereinstimmung): Hat das Video den Anweisungen gefolgt? (z. B. Wenn Sie sagten „Hebe den roten Becher auf“, hat er dann den roten Becher aufgehoben?)
- L3 (Physikalische Plausibilität): Befolgt das Video die Gesetze der Physik? (z. B. Fällt der Becher zu Boden, wenn man ihn fallen lässt, oder schwebt er?)
- Die Sicht der Arbeit: Diese sind gut, um zu prüfen, ob die KI halluziniert oder schlechte Kunst macht. Aber sie beweisen nicht, dass die KI gute Entscheidungen treffen kann. Ein Video kann perfekt aussehen, aber dennoch ein schlechter Wegweiser für einen Roboter sein.
Level 4 (Das „Was wäre wenn?“-Level):
- Aktionskontrollierbarkeit: Wenn ich die Aktion des Roboters ändere, ändert sich das Video dann korrekt?
- Analogie: Stellen Sie sich einen Film vor. Wenn der Held sich entscheidet, nach links statt nach rechts abzubiegen, ändert sich dann die Geschichte? Wenn die KI das gleiche Video generiert, egal was man dem Roboter befiehlt, ist sie nutzlos für die Planung. Dies ist der erste echte Test für ein „Entscheidungsmodell“.
Levels 5–7 (Die „Entscheider“-Levels):
- L5 (Belohnungs-/Ergebnis-Treue): Sagt die KI korrekt voraus, ob der Roboter Erfolg haben wird oder scheitert?
- L6 (Policy-Ranking): Wenn Sie zwei verschiedene Roboter-Strategien haben, kann die KI Ihnen sagen, welche davon besser ist?
- L7 (Policy-Optimierung): Wenn Sie diese KI nutzen, um einen Roboter zu trainieren, wird der Roboter die reale Aufgabe tatsächlich besser bewältigen?
- Die Sicht der Arbeit: Dies sind die einzigen Levels, die wirklich zählen, wenn Sie behaupten, Ihr Modell sei für die Entscheidungsfindung gedacht.

Das Kernargument: Beurteile ein Buch nicht nach seinem Einband

Die Autoren sagen: „Wenn Sie behaupten, Ihr Modell hilft Robotern bei Entscheidungen, müssen Sie beweisen, dass es ihnen bei Entscheidungen hilft.“

Der Fehler: Ein wunderschönes Video (Level 0) zu zeigen, um zu beweisen, dass Ihr Roboter ein Rätsel lösen kann (Level 7).
Die Realität: Ein Roboter könnte ein atemberaubendes Video generieren, in dem ein Becher aufgehoben wird, aber wenn der Roboter dies in der Realität versucht, könnte er den Becher umstoßen, weil das Video das spezifische Gewicht des Bechers nicht berücksichtigt hat.

Der „Kontrafaktische“ Test:
Der wichtigste Test ist der „Was wäre wenn?“-Test.

Schlechtes Modell: „Wenn du den Block drückst, bewegt er sich.“ (Wahr, aber nur, wenn man ihn sanft drückt).
Gutes Modell: „Wenn du den Block fest drückst, bricht er. Wenn du ihn sanft drückst, gleitet er.“
Ein wahres Weltmodell für die Entscheidungsfindung muss verstehen, wie eine Änderung der Aktion das Ergebnis verändert.

Der vorgeschlagene Fix: Ein neues „Zeugnis“

Die Arbeit schlägt vor, dass jedes Mal, wenn jemand ein neues Weltmodell veröffentlicht, ein spezifisches „Zeugnis“ (Evaluation Card) ausfüllen sollte. Anstatt nur ein schönes Video zu zeigen, müssen sie angeben:

Wofür ist das da? (Ist es für Filme oder für die Steuerung von Robotern?)
Welches Level wurde getestet? (Haben Sie nur geprüft, ob das Video echt aussah, oder haben Sie getestet, ob der Roboter besser wird?)
Wurde der „Was wäre wenn?“-Test durchgeführt? (Haben Sie die Aktionen geändert, um zu sehen, ob das Modell korrekt reagiert?)

Die Goldene Regel:
Wenn ein Modell behauptet, ein Entscheidungs-Weltmodell zu sein, muss es die Tests der Level 4, 5, 6 und 7 bestehen.

Man kann den Test nicht bestehen, nur weil das Video wunderschön aussieht (Levels 0–3).
Wenn das Modell den „Was wäre wenn?“-Test (Level 4) nicht besteht, spielt es keine Rolle, wie schön das Video ist – es ist kein nützliches Werkzeug für die Entscheidungsfindung.

Zusammenfassung

Die Arbeit ist ein Aufruf, damit aufhören, schöne Bilder mit intelligenten Entscheidungen zu verwechseln.

Videogeneratoren sollten danach beurteilt werden, wie real sie aussehen.
Entscheidungsmodelle sollten danach beurteilt werden, ob sie einem Agenten (wie einem Roboter) helfen, bessere Entscheidungen zu treffen, unerwartete Änderungen zu bewältigen und Aufgaben tatsächlich erfolgreich abzuschließen.

Wenn Sie wissen wollen, ob ein Weltmodell wirklich „intelligent“ ist, fragen Sie nicht: „Sieht es echt aus?“ Fragen Sie: „Wenn ich meine Meinung ändere, weiß es dann, was als Nächstes passiert?“

Technisches Resümee: „How Should World Models Be Evaluated? A Decision-Making-Centric Position“

1. Problemstellung

Der Begriff „Weltmodell“ (World Model) hat sich in der modernen KI massiv verbreitet und bezieht sich nun auf eine heterogene Menge von Objekten, darunter aktionsbedingte Umweltmodelle, latente Imaginationsmodelle, Zukunfts-Video-Prädiktoren, interaktive neuronale Simulatoren, latente prädiktive Repräsentationen und Synthese-Daten-Engines. Während diese Vielfalt wissenschaftlich produktiv ist, hat sie zu einer erheblichen Ambiguität in der Evaluierung geführt.

Das identifizierte Kernproblem ist ein wiederkehrender Mismatch zwischen Anspruch und Evidenz (Claim/Evidence Mismatch). Arbeiten stellen häufig starke Behauptungen über den Nutzen eines Modells für das verkörperte Entscheidungsnehmen (z. B. Planung, Policy-Optimierung, Sicherheitstests) auf, liefern jedoch Evidenz, die primär auf niederschwelligeren generativen Artefakten basiert (z. B. visuelle Realität von Videos, perzeptuelle Ähnlichkeit, Befolgung von Instruktionen). Die Autoren argumentieren, dass Metriken, die zur Evaluierung eines Videogenerators geeignet sind (visuelle Plässibilität), oft unzureichend oder irreführend sind, wenn das erklärte Ziel ein Entscheidungsunterstützungswerkzeug (zuverlässiges kontrafaktisches Denken) ist. Ein Modell kann visuell überzeugende Zukünfte generieren, die jedoch nicht in der Lage sind, eine zuverlässige Policy-Evaluierung oder -Optimierung unter Intervention und Verteilungsverschiebung (Distribution Shift) zu unterstützen.

2. Methodik und Framework

Die Arbeit nutzt eine umfassende Literaturrecherche und schlägt ein strukturiertes Evaluierungsframework vor, das auf dem intendierten Verwendungszweck des Modells basiert.

2.1 Die L0–L7 Evaluierungsleiter

Die Autoren ordnen die Literatur und die Evaluierungsziele in einer hierarchischen Leiter an, die von visueller Plässibilität bis hin zum Nutzen für die Policy-Optimierung reicht. Diese Leiter dient als diagnostisches Werkzeug, um zwischen verschiedenen Arten von Weltmodellen und der Stärke der Evidenz zu unterscheiden, die sie für Entscheidungsansprüche liefern.

L0 (Visuelle Plässibilität): Sieht das Ergebnis realistisch aus? (Metriken: FID, FVD, Ästhetik).
L1 (Log-Future-Prediction): Entspricht die Vorhersage den gehaltenen Trajektorien aus der Behavior-Distribution? (Metriken: MSE, PSNR, SSIM, LPIPS).
L2 (Semantische Ausrichtung): Entspricht der Rollout den Instruktionen und der Szenensemantik? (Metriken: CLIPScore, VLM-Judges).
L3 (Physikalische Plässibilität): Befolgt der Rollout intuitive Physik und geometrische Constraints? (Metriken: Physics QA, Tiefenkonsistenz).
L4 (Aktionskontrollierbarkeit / Kontrafaktische Treue): Produziert eine Änderung der Aktion die korrekten aufgabenrelevanten Änderungen? Dies wird als der erste echte interventionelle Test identifiziert, der ein Entscheidungs-Weltmodell von einem bloßen Zukunfts-Video-Prior unterscheidet.
L5 (Reward-, Value- und Outcome-Treue): Sagt das Modell Erfolg, Reward oder Value präzise genug für Entscheidungsfindungen voraus?
L6 (Policy-Evaluierung und Ranking): Stimmt die modellbasierte Evaluierung mit der Performance der realen/Simulator-Policy überein? (Metriken: Korrelation, Ranking-Genauigkeit).
L7 (Policy-Optimierung / Planungsnutzen): Verbessert die Nutzung des Modells tatsächlich Entscheidungen in der realen Umgebung oder im vertrauenswürdigen Simulator?

Die Autoren postulieren, dass L0–L3 am besten als Diagnostika generierter Artefakte zu interpretieren sind, L4 die Schwelle für echte interventionelle Tests markiert und L5–L7 die direkteste Evidenz für den Nutzen bei Entscheidungen liefern.

2.2 Entscheidungszentriertes Evaluierungsframework

Das Papier schlägt ein Framework vor, bei dem die Evaluierung an einen deklarierten „Decision Contract“ (Aufgabenfamilie, Policy-Klasse, Aktions-Interface, Horizont, Entscheidungsnutzen) gebunden ist. Zu den Kernkomponenten dieses Frameworks gehören:

Kontrafaktische Aktions-Treue (Counterfactual Action Fidelity): Evaluierung der Fähigkeit des Modells, $P(o_{t+1:H} | h_t)$ von $P(o_{t+1:H} | h_t, do(a_{t:t+H-1}))$ zu unterscheiden. Dies beinhaltet die Messung des interventionalen Vorhersagefehlers (Interventional Prediction Error, IPE) und der Übereinstimmung von Aktion und Effekt.
Policy-induzierte Verteilungsverschiebung (Policy-Induced Distribution Shift): Testen des Modells unter Ziel-Policies, die von der für die Trainingsdaten verwendeten Behavior-Policy abweichen, anstatt sich nur auf Open-Loop-Rollouts der Behavior-Policy zu verlassen.
Vollständige Horizont-Outcome-Treue (Full-Horizon Outcome Fidelity): Priorisierung von aufgabenrelevanten Ergebnissen (Rewards, Success Predicates) gegenüber kurzfristiger Pixel-Rekonstruktion, da kleine lokale Fehler kumulieren oder für das Endziel irrelevant sein können.
Closed-Loop-Rollout-Validität: Evaluierung des Modells, wenn die Policy auf modellgenerierten Historien agiert, anstatt nur auf Teacher-Forced Ground-Truth-Präfixen.
Ausnutzbarkeit und Unsicherheit: Testen, ob ein Optimierer Trajektorien finden kann, die für das Modell gut aussehen, aber in der Realität scheitern (Exploitability Gap), und ob die Unsicherheitsschätzungen des Modells kalibriert sind.

2.3 Benchmark-Protokoll

Die Autoren schlagen ein operationales Benchmark-Protokoll (Schritte 0–8) vor, das Folgendes umfasst:

Deklaration des Decision Contracts.
Konstruktion von Policy-Splits (Behavior, Anchor, Shift, Optimization).
Berichterstattung von L0–L3 als Hilfsdiagnostika.
Evaluierung der interventionalen Aktions-Treue (L4).
Evaluierung von Closed-Loop Fixed-Policy Rollouts (L5–L6).
Evaluierung der Policy-Optimierung unter festem Budget (L7).
Testen der adversariellen Ausnutzbarkeit und der Kalibrierung der Unsicherheit.
Berichterstattung eines „Decision-Utility-Profils“ (ein Vektor von Scores über die Ebenen hinweg) anstatt eines einzelnen Skalars, potenziell unter Verwendung von Gates (z. B. das Erfordern von Pass/Fail bei L4–L6), um zu verhindern, dass niedrigere Metriken Fehler auf höheren Ebenen kompensieren.

3. Kernbeiträge

Literaturrecherche und Diagnose: Eine papierweise Untersuchung der aktuellen Weltmodell-Literatur, organisiert nach dem, was tatsächlich evaluiert wird, wobei das durchgängige Problem des Mismatch zwischen Anspruch und Evidenz identifiziert wird, bei dem niedrigere Evidenz genutzt wird, um stärkere Entscheidungsansprüche zu stützen.
Die L0–L7 Leiter: Ein konzeptionelles Framework zur Organisation von Evaluierungszielen von visueller Plässibilität bis hin zum Nutzen der Policy-Optimierung, wobei argumentiert wird, dass für Entscheidungsansprüche L4 die minimale interventionelle Anforderung ist und L5–L7 die stärkste Evidenz liefern.
Entscheidungszentriertes Evaluierungsframework: Ein Vorschlag für ein neues Evaluierungsparadigma, das die kontrafaktische Aktions-Treue, die Closed-Loop-Rollout-Validität, die Reward-/Value-Vorhersage, die Policy-Ranking-Übereinstimmung, den Optimierungs-Lift, die Ausnutzbarkeit des Modells und die Kalibrierung der Unsicherheit in den Vordergrund stellt.
Benchmark-Protokoll: Ein modulares, operationales Protokoll zur Evaluierung von Weltmodellen, die für das verkörperte Entscheidungsnehmen bestimmt sind, einschließlich spezifischer Empfehlungen für Policy-Splits, Interventions-Tests und Berichterstattungsstandards (z. B. die „World-Model Evaluation Card“).

4. Ergebnisse und Erkenntnisse

Das Papier präsentiert keine neuen experimentellen Ergebnisse oder ein neues Modell. Stattdessen sind seine „Ergebnisse“ analytische Erkenntnisse, die aus der Untersuchung der bestehenden Literatur abgeleitet wurden:

Divergierende Evaluierungskulturen: Die Literatur enthält mehrere Evaluierungskulturen (Benchmark/Diagnostik, Environment-Model/Policy-Optimierung, Policy-Evaluierung/Executability, Latent/Foundation), die oft unter dem einzelnen Begriff „Weltmodell-Evaluierung“ zusammengefasst werden.
Prävalenz von Mismatches: Viele Arbeiten evaluieren Eigenschaften niedrigerer Ebene (L0–L3), diskutieren diese jedoch so, als würden sie stärkere Entscheidungsansprüche (L6–L7) begründen. Umgekehrt können einige latente Modelle (z. B. V-JEPA) für die Planung nützlich sein, ohne fotorealistische Pixel zu erzeugen, was die Notwendigkeit hoher visueller Metriken infrage stellt.
Unzulänglichkeit aktueller Metriken: Metriken wie FVD, PSNR und VLM-basierte Physical QA sind nützlich für das Debugging und die Schnittstellen, aber oft schlechte Proxys für den Nutzen für die Policy, das Ranking oder den Optimierungs-Lift. Ein Modell kann visuell stark erscheinen, während es ein schlechtes Umweltmodell für die Steuerung ist.
Notwendigkeit der Intervention: Für das verkörperte Entscheidungsnehmen sind observationale Metriken (L1–L3) unzureichend; interventionelle Metriken (L4+) sind erforderlich, um zu verifizieren, dass das Modell die Konsequenzen von Aktionen korrekt modelliert.

5. Bedeutung und Ansprüche

Die Bedeutung des Papers liegt in seinem Aufruf zu einem Wandel in der Art und Weise, wie Weltmodelle evaluiert werden, insbesondere für jene, die behaupten, das verkörperte Entscheidungsnehmen zu unterstützen.

Bedingter Anspruch: Die Autoren behaupten nicht, dass jedes System, das als „Weltmodell“ bezeichnet wird, nach der Policy-Optimierung beurteilt werden muss. Wenn der Verwendungszweck die Zukunfts-Video-Generierung ist, ist die visuelle Qualität das primäre Ziel. Wenn ein Modell jedoch als Werkzeug für das verkörperte Entscheidungsnehmen (Planung, Policy-Optimierung, Sicherheit) präsentiert wird, ändert sich die erforderliche Evidenz grundlegend.
Primäres Argument: Für Entscheidungsansprüche liefern Aktions-, Outcome- und Policy-Level-Evaluierungen (L4–L7) stärkere Evidenz als die Qualität der Artefakte allein (L0–L3). Niedrigere Metriken sollten nicht dazu führen, dass Fehler auf höheren Ebenen kompensiert werden.
Praktische Auswirkungen: Das vorgeschlagene Framework zielt darauf ab, die Optimierung von „schönen, aber strategisch unzuverlässigen“ Modellen zu verhindern. Es ermutigt die Community, klare Decision Contracts zu deklarieren und die Evidenz für kontrafaktisches Denken, Policy-Ranking und Optimierungs-Lift gegenüber der visuellen Treue zu priorisieren.
Bescheidenheit: Die Autoren räumen ein, dass eine vollständige interventionelle Evaluierung (z. B. exakt Reset-matched Branches) bei realen Robotern schwierig ist und dass niedrigere Metriken in einigen Domänen mit höherem Nutzen korrelieren können. Ihr Vorschlag wird als modulares, aspiratives Protokoll präsentiert, um die Evidenz zu klären, statt als ein starres Set universeller Axiome.

Zusammenfassend argumentiert das Paper, dass das Feld verschiedene Objekte unter einem einzigen Namen evaluiert hat. Die L0–L7 Leiter und das vorgeschlagene entscheidungszentrierte Framework dienen dazu, diese Objekte zu trennen und die spezifische Evidenz zu definieren, die zur Validierung der Nützlichkeit eines Modells für Entscheidungsfindungen erforderlich ist.