💻 computer science

World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

Dieser Beitrag stellt \wmw vor, ein Evaluierungsframework und den \tracebank-Datensatz, die Vision-Language-Modelle auditieren, indem sie von ihnen die Generierung typisierter physikalischer Zustandsübergangsspuren verlangen, wodurch verborgene Schlussfolgerungsfehler aufgedeckt und Verbesserungen der physikalischen Konsistenz ermöglicht werden, die traditionelle reine Antwort-Benchmarks übersehen.

Ursprüngliche Autoren: Emmanuelle Bourigault

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Emmanuelle Bourigault

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Studenten ein, um ein Physikproblem zu lösen. Auf die alte Art des Testens haben Sie nur die endgültige Antwort betrachtet, die er auf den Papier geschrieben hat. Wenn er die richtige Zahl erhielt, gab es eine Eins. Wenn er sie falsch hatte, gab es eine Fünf.

Das Problem ist, dass ein Student die richtige Antwort durch puren Zufall, durch Raten oder durch eine völlig falsche Logik erhalten könnte, die zufällig auf die korrekte Zahl führt. Sie würden nicht wissen, wie er dorthin gelangt ist, sondern nur, was er erhalten hat.

Dieser Artikel stellt eine neue Art vor, KI-Modelle (speziell Vision-Language-Modelle) zu testen, die als World Models in Words (WMW) bezeichnet wird. Anstatt nur die endgültige Antwort zu überprüfen, zwingen die Forscher die KI, ihre Arbeit Schritt für Schritt zu zeigen, wie ein detailliertes Tagebuch ihrer Gedanken.

Der neue „Zeige deine Arbeit"-Test

Die Forscher bitten die KI, eine Trace (Spur) zu erstellen, die eine vierteilige Geschichte ist:

Die Startszene ( $s_0$ ): Was sieht die KI gerade? (z. B. „Ein Ball sitzt auf einer Rampe.")
Die Aktion ( $\Delta s$ ): Welche Regel wirkt? (z. B. „Die Schwerkraft zieht den Ball nach unten.")
Das Ergebnis ( $s_1$ ): Was passiert als Nächstes? (z. B. „Der Ball rollt die Rampe hinunter.")
Die Antwort ( $a$ ): Die endgültige Schlussfolgerung.

Die KI muss diese Geschichte in einem sehr spezifischen, strukturierten Format (wie einem JSON-Codeblock) schreiben, damit ein Computer sie überprüfen kann.

Der „Hybrid Verifier" (Der strenge Lehrer)

Sobald die KI ihre Geschichte geschrieben hat, liest ein spezielles Computerprogramm namens Hybrid Verifier sie. Dies ist nicht nur ein einfacher Rechtschreibprüfer. Er agiert wie ein strenger Physiklehrer, der prüft:

Hast du die richtigen Objekte gesehen? (Ist das ein Ball oder eine Kiste?)
Ist die Physik real? (Zieht die Schwerkraft nach oben oder nach unten?)
Macht die Geschichte Sinn? (Wenn der Ball die Rampe hinunterrollt, landet er dann unten?)
Stimmt die Antwort mit der Geschichte überein? (Wenn die Geschichte sagt, der Ball rollt nach links, die Antwort aber „Rechts" sagt, lügt die KI.)

Wenn die KI die richtige Antwort gibt, aber eine gefälschte Geschichte erzählt (z. B. „Der Ball rollte nach links wegen Magie"), fängt der Verifier sie auf. Der Artikel nennt dies eine „versteckte Inkonsistenz".

Die große Entdeckung: „Die Glücklichen Rater"

Die Forscher testeten 7 verschiedene KI-Modelle. Sie stellten etwas Überraschendes fest:

Viele Modelle erhielten die richtige endgültige Antwort.
Aber bei etwa 18 % bis 42 % dieser „korrekten" Antworten war die Geschichte, die die KI erzählte, um dorthin zu gelangen, physikalisch unmöglich.

Es ist wie ein Schüler, der die richtige Antwort auf einem Mathtest rät, aber eine Lösung aufschreibt, die durch Null teilt. Der alte Test hätte ihm eine Eins gegeben; dieser neue Test zeigt, dass er die Mathematik eigentlich nicht versteht.

Die „Weltbank" der Physikgeschichten

Um diesen Test zu ermöglichen, schufen die Autoren eine massive Bibliothek namens WMW-TRACEBANK.

Sie enthält 200 sorgfältig gestaltete Physik-Szenarien (wie Rampen, Federn und Kollisionen).
Sie verfügt über 3.200 Paare aus „Guten Geschichten" vs. „Schlechten Geschichten". In einer „Schlechten Geschichte" änderten sie nur eine winzige Sache (wie das Umkehren einer Kraftrichtung), um zu sehen, ob die KI den Fehler erkennen konnte.
Diese Bibliothek hilft dabei, KI zu trainieren, aufzuhören zu raten und anzufangen, die Wahrheit darüber zu erzählen, wie die physische Welt funktioniert.

Die KI reparieren

Der Artikel testete auch Wege, um diese „Lügner" zu reparieren.

Reranking: Sie ließen die KI 8 verschiedene Geschichten generieren und wählten diejenige aus, die die Prüfung des Verifiers bestand. Dies verbesserte die Qualität der Geschichten, ohne die endgültigen Antworten zu ändern.
Preference Training: Sie lehrten die KI, „Gute Geschichten" gegenüber „Schlechten Geschichten" zu bevorzugen, unter Verwendung der 3.200 Paare. Dies reduzierte die Anzahl der versteckten Lügen um 41 %.

Das Fazit

Der Hauptpunkt dieses Artikels ist nicht, einen besseren Physikrechner zu bauen. Es geht darum, einen Wahrheitsdetektor zu bauen.

Bevor wir KI vertrauen, uns bei realen Aufgaben zu helfen (wie der Planung für Roboter oder dem Unterrichten von Schülern), müssen wir wissen, ob ihre innere Geschichte der Welt mit der Realität übereinstimmt. Dieser Artikel gibt uns ein Werkzeug, um diese Geschichte zu prüfen und sicherzustellen, dass, wenn eine KI sagt „Der Ball rollt nach unten", sie tatsächlich versteht, warum und wie, und nicht nur das richtige Wort rät.

Technisches Fazit: Weltmodelle in Worten

Problemstellung
Vision-Language-Modelle (VLMs) werden zunehmend eingesetzt, um Fragen zu physikalischen Szenen zu beantworten, doch stützen sich die herkömmlichen Evaluierungsmetriken ausschließlich auf die Genauigkeit der Endantwort ( $I, q \mapsto a$ ). Dieser Ansatz fasst Zwischenfehler im reasoning – wie etwa das Fehlwahrnehmen von Objekten, das Falschdarstellen physikalischer Zustände oder das Vorhersagen unmöglicher Übergänge – zu einem einzigen binären Score zusammen. Folglich kann ein Modell die richtige Multiple-Choice-Option auswählen, während es einen physikalisch ungültigen Weltzustand behauptet (z. B. ein Objekt, das entgegen der resultierenden Kraft beschleunigt). Diese „versteckte Inkonsistenz" ist besonders problematisch, wenn VLMs als Schnittstellen für Planung, Robotik oder wissenschaftliches Schließen dienen, da nachgelagerte Werkzeuge auf diesen inkonsistenten Verpflichtungen handeln könnten.

Methodik: WORLD MODELS IN WORDS (WMW)
Die Autoren stellen WORLD MODELS IN WORDS vor, ein Framework, das die Evaluierung von der reinen Antwortbewertung hin zur Prüfung der in Sprache ausgedrückten physikalischen Verpflichtungen von VLMs verschiebt.

Trace-Formalismus: Anstelle einer direkten Antwort werden Modelle aufgefordert, einen getypten Trace $\tau = (s_0, \Delta s, s_1, a)$ $τ = (s_{0}, Δ s, s_{1}, a)$ zu generieren:
- $s_0$ : Initialer physikalischer Zustand (Entitäten, Attribute, Kräfte, Relationen).
- $\Delta s$ : Vorhergesagter Übergang oder physikalische Regel.
- $s_1$ : Resultierender Zustand.
- $a$ : Endantwort.
- Der Trace ist als JSON strukturiert, um Parsing und Verifikation zu ermöglichen.
Hybrider Verifizierer: Ein deterministischer, überprüfbarer Verifizierer prüft den Trace anhand vier Kriterien:
1. Schema-Validität: Korrekte JSON-Struktur und Typen.
2. Zustandsverankerung: Konsistenz mit visuellen Beweisen und Metadaten.
3. Übergangskonsistenz: Einhaltung physikalischer Gesetze (z. B. Ausrichtung von Kraft und Beschleunigung, zeitliche Reihenfolge).
4. Antwort-Trace-Treue: Kompatibilität zwischen dem abgeleiteten Zustand und der Endantwort.
Fehler-Taxonomie: Das System kategorisiert Fehler in getypte Labels: Objekt, Zustand, Relation, Kraft, Übergang, Intervention, Zeitlich, Einheit/Skala und Treue.
WMW-TRACEBANK: Eine kontrollierte Ressource, die mit dem Paper veröffentlicht wurde und enthält:
- 200 synthetische Szenarien über 17 Physik-Familien hinweg (Mechanik, Fluide, Schaltkreise, Optik usw.).
- 3.200 kontrastive Präferenzpaare (gültige Traces vs. minimal gestörte ungültige Traces).
- Verifizierer-Code, Audit-Richtlinien und Modelloutputs.

Hauptbeiträge

Trace-Formalismus: Ein Protokoll zur Evaluierung des physikalischen Reasonings von VLMs als überprüfbare Zustands-Übergangs-Verpflichtungen anstelle von Antwortstrings.
Verifizierer-Verträge & Metriken: Definitionen zur Trennung von Zustandsextraktionsfehlern, Übergangsfehlern und versteckten Inkonsistenzen (wo die Antwort korrekt, der Trace jedoch ungültig ist).
Datensatz-Veröffentlichung: WMW-TRACEBANK, das validierte synthetische Traces und Präferenzpaare für Training und Evaluierung bereitstellt.
Fehler-Taxonomie & Audit: Eine vom Menschen überprüfte Evaluierung des Verifizierers an 400 stratifizierten Traces mit Berichterstattung über Präzision, Recall und Inter-Annotator-Übereinstimmung.
Interventionsprotokoll: Demonstration, dass verifizierer-gesteuertes Reranking und Trace-Level-Präferenz-Tuning die physikalische Konsistenz verbessern können, ohne die Antwortgenauigkeit zu beeinträchtigen.

Experimentelle Ergebnisse
Die Autoren evaluierten 7 VLMs (darunter Claude Opus 4.7, GPT-5.5, GPT-4o und Open-Source-Modelle wie Qwen2.5-VL und InternVL3) sowohl an kontrollierten als auch an externen Beispielen.

Versteckte Inkonsistenz (RQ1): Die Genauigkeit der Endantwort verschleiert signifikante physikalische Fehler. Über alle Modelle hinweg basierten 18 % bis 42 % der korrekten Antworten auf physikalisch ungültigen Traces. Bei Modellen mittlerer Leistung stützten sich über 30 % der „korrekten" Antworten auf ungültiges physikalisches Reasoning.
Bottleneck-Analyse (RQ2): Der Übergangsschritt ( $\Delta s$ ) ist das Hauptbottleneck für die meisten Modelle. Selbst bei Bereitstellung goldener Initialzustände verloren Modelle wie GPT-4o 19 Prozentpunkte an Genauigkeit bei der Vorhersage der physikalischen Veränderung. Stärkere geschlossene Modelle (z. B. Claude Opus 4.7) zeigten einen Kalibrierungseffekt, bei dem goldene Zustände ihre internen Konsistenzprüfungen störten.
Verifizierer-Zuverlässigkeit (RQ3): Der hybride Verifizierer erzielte eine hohe Übereinstimmung mit menschlichen Audits für die Labels Zustand (F1=0,82), Übergang (F1=0,78) und Treue (F1=0,91).
Interventionswirksamkeit (RQ4):
- Reranking: Die Auswahl des besten Traces aus $k=8$ Stichproben verbesserte die Trace-Validität um 4–7 Prozentpunkte.
- Präferenz-Tuning: Das Training von Qwen2.5-VL-7B mit Direct Preference Optimization (DPO) auf den Präferenzpaaren reduzierte die versteckte Inkonsistenz um 41 % relativ (von 42 % auf 25 %), bei gleichzeitiger leichter Verbesserung der Antwortgenauigkeit (+2 pp).

Bedeutung und Behauptungen
Das Paper argumentiert, dass WORLD MODELS IN WORDS nicht nur ein weiteres Physik-Benchmark ist, sondern ein wiederverwendbares Protokoll zur Auditierung, ob die vom VLM dargelegte physikalische Welt kohärent ist. Die Autoren behaupten:

Korrekte Antworten mit ungültigen Traces sind keine harmlosen Formatierungsfehler; sie repräsentieren inkonsistente Verpflichtungen, die Bildungs-, Planungs- oder wissenschaftliche Systeme irreführen können.
Das Framework zeigt, dass die Vorhersage von Übergängen eine dominante Fehlermode ist, die sich von der visuellen Wahrnehmung unterscheidet.
Verifizierer-gesteuerte Interventionen (Reranking und Präferenz-Tuning) können versteckte Inkonsistenzen effektiv reduzieren und deuten auf einen Weg hin zu zuverlässigeren Modulen für physikalisches Schließen.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen Einschränkungen an, wie etwa die Beobachtbarkeit von Traces (die benutzerseitige Verpflichtungen sind, keine direkten Einblicke in latente Kognition), die Abdeckung des Verifizierers (der für reale Mehrdeutigkeiten auf explizite Annahmen angewiesen ist) und die Möglichkeit, dass Modelle sich an Perturbationsvorlagen überanpassen. Sie stellen ausdrücklich klar, dass der Datensatz kein Sicherheitszertifikat für hochriskante Anwendungen darstellt.