World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

Technische Samenvatting: Wereldmodellen in Woorden

Probleemstelling
Visueel-taalmodellen (VLMs) worden steeds vaker ingezet om vragen te beantwoorden over fysieke scènes, maar standaard evaluatiemetrics vertrouwen uitsluitend op de nauwkeurigheid van het eindantwoord ($I, q \mapsto a$). Deze aanpak reduceert tussentijdse redeneerfouten – zoals het verkeerd waarnemen van objecten, het verkeerd voorstellen van fysieke toestanden of het voorspellen van onmogelijke overgangen – tot één enkel binair cijfer. Bijgevolg kan een model de juiste meerkeuze-optie selecteren terwijl het een fysiek ongeldige wereldtoestand bevestigt (bijvoorbeeld een object dat versnelt tegen de netto-kracht in). Deze "verborgen inconsistentie" is bijzonder problematisch wanneer VLMs fungeren als interfaces voor planning, robotica of wetenschappelijk redeneren, waarbij downstream-tools kunnen handelen op basis van deze inconsistente toezeggingen.

Methodologie: WORLD MODELS IN WORDS (WMW)
De auteurs introduceren WORLD MODELS IN WORDS, een raamwerk dat de evaluatie verschuift van enkel antwoordscoring naar het auditen van de in taal uitgedrukte fysieke toezeggingen van VLMs.

• Trace-formalisme: In plaats van een direct antwoord worden modellen gevraagd een getypeerde trace te genereren $\tau = (s_0, \Delta s, s_1, a)$:
  • $s_0$: Initiële fysieke toestand (entiteiten, attributen, krachten, relaties).
  • $\Delta s$: Voorspelde overgang of fysieke regel.
  • $s_1$: Resultante toestand.
  • $a$: Eindantwoord.
  • De trace is gestructureerd als JSON om parsing en verificatie mogelijk te maken.
• Hybride Verifier: Een deterministische, inspecteerbare verifier controleert de trace tegen vier criteria:
  1. Schema-validiteit: Correcte JSON-structuur en typen.
  2. State-grounding: Consistentie met visueel bewijs en metadata.
  3. Overgangsconsistentie: Inachtneming van natuurwetten (bijvoorbeeld uitlijning van kracht-versnelling, temporele orde).
  4. Antwoord-Trace-trouw: Compatibiliteit tussen de afgeleide toestand en het eindantwoord.
• Foutentaxonomie: Het systeem categoriseert fouten in getypeerde labels: Object, Toestand, Relatie, Kracht, Overgang, Interventie, Temporeel, Eenheid/Schaal en Trouw.
• WMW-TRACEBANK: Een gecontroleerde resource die met het paper wordt vrijgegeven en bevat:
  • 200 synthetische scenario's verspreid over 17 fysica-families (mechanica, vloeistoffen, circuits, optica, enz.).
  • 3.200 contrastieve voorkeursparen (geldige traces versus minimaal verstoord ongeldige traces).
  • Verifier-code, auditrichtlijnen en modeloutput.

Belangrijkste Bijdragen

1. Trace-formalisme: Een protocol voor het evalueren van fysiek redeneren van VLMs als controleerbare toestand-overgang-toezeggingen in plaats van antwoordstrings.
2. Verifier-contracten en Metrics: Definities voor het scheiden van fouten bij toestandsextractie, overgangsfouten en verborgen inconsistenties (waarbij het antwoord correct is maar de trace ongeldig).
3. Dataset-vrijgave: WMW-TRACEBANK, die gevalideerde synthetische traces en voorkeursparen biedt voor training en evaluatie.
4. Foutentaxonomie en Audit: Een door mensen geauditeerde evaluatie van de verifier op 400 gestratificeerde traces, met rapportage van precisie, recall en onderlinge overeenstemming tussen annotatoren.
5. Interventieprotocol: Demonstratie dat door de verifier geleide herordening en op trace-niveau voorkeurs-tuning de fysieke consistentie kan verbeteren zonder de nauwkeurigheid van het antwoord te schaden.

Experimentele Resultaten
De auteurs evalueerden 7 VLMs (waaronder Claude Opus 4.7, GPT-5.5, GPT-4o en open-source modellen zoals Qwen2.5-VL en InternVL3) op zowel gecontroleerde als externe voorbeelden.

• Verborgen Inconsistentie (RQ1): De nauwkeurigheid van het eindantwoord maskeert aanzienlijke fysieke fouten. Bij alle modellen waren 18% tot 42% van de correcte antwoorden ondersteund door fysiek ongeldige traces. Voor modellen van het middensegment rustte meer dan 30% van de "correcte" antwoorden op ongeldig fysiek redeneren.
• Bottleneck-analyse (RQ2): De overgangsstap ($\Delta s$) is de primaire bottleneck voor de meeste modellen. Zelfs wanneer ze werden voorzien van gouden initiële toestanden, verloren modellen zoals GPT-4o 19 procentpunten aan nauwkeurigheid bij het voorspellen van de fysieke verandering. Sterkere gesloten modellen (bijvoorbeeld Claude Opus 4.7) vertoonden een kalibratie-effect waarbij gouden toestanden hun interne consistentiecontroles verstoorden.
• Betrouwbaarheid Verifier (RQ3): De hybride verifier behaalde hoge overeenstemming met menselijke audits voor labels Toestand (F1=0,82), Overgang (F1=0,78) en Trouw (F1=0,91).
• Efficacy Interventie (RQ4):
  • Herordening: Het selecteren van de beste trace uit $k=8$ samples verbeterde de trace-validiteit met 4–7 procentpunten.
  • Voorkeurstuning: Het trainen van Qwen2.5-VL-7B met Direct Preference Optimization (DPO) op de voorkeursparen verminderde de verborgen inconsistentie met 41% relatief (van 42% naar 25%) terwijl de nauwkeurigheid van het antwoord licht verbeterde (+2pp).

Betekenis en Claims
Het paper betoogt dat WORLD MODELS IN WORDS niet slechts een andere fysicabenchmark is, maar een herbruikbaar protocol voor het auditen of de verwoorde fysieke wereld van een VLM coherent is. De auteurs claimen dat:

• Correcte antwoorden met ongeldige traces geen onschadelijke opmaakfouten zijn; ze vertegenwoordigen inconsistente toezeggingen die educatieve, plannings- of wetenschappelijke systemen kunnen misleiden.
• Het raamwerk aantoont dat overgangsvoorspelling een dominante faalmodus is die verschilt van visuele waarneming.
• Door de verifier geleide interventies (herordening en voorkeurstuning) verborgen inconsistenties effectief kunnen verminderen, wat wijst op een weg naar betrouwbaardere fysieke redeneermodules.

De auteurs houden een bescheiden standpunt, waarbij ze beperkingen erkennen zoals de waarneembaarheid van traces (die gebruikersgerichte toezeggingen zijn, geen directe lezingen van latente cognitie), de dekking van de verifier (die berust op expliciete aannames voor real-world ambiguïteit) en het potentieel voor modellen om te overfitten op verstoringssjablonen. Zij stellen expliciet dat de dataset geen veiligheidscertificaat is voor toepassingen met hoge risico's.