World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

Riepilogo Tecnico: Modelli del Mondo in Parole

Enunciato del Problema
I Modelli Vision-Language (VLM) sono sempre più impiegati per rispondere a domande su scene fisiche, tuttavia le metriche di valutazione standard si basano esclusivamente sull'accuratezza della risposta finale ($I, q \mapsto a$). Questo approccio collassa gli errori di ragionamento intermedi — come la percezione errata di oggetti, la rappresentazione inaccurata di stati fisici o la previsione di transizioni impossibili — in un singolo punteggio binario. Di conseguenza, un modello potrebbe selezionare l'opzione a scelta multipla corretta mentre asserisce uno stato del mondo fisicamente invalido (ad esempio, un oggetto che accelera contro la forza netta). Questa "inconsistenza nascosta" è particolarmente problematica quando i VLM fungono da interfacce per la pianificazione, la robotica o il ragionamento scientifico, dove strumenti a valle potrebbero agire su questi impegni incoerenti.

Metodologia: WORLD MODELS IN WORDS (WMW)
Gli autori introducono WORLD MODELS IN WORDS, un framework che sposta la valutazione dalla sola punteggio della risposta all'audit degli impegni fisici espressi linguisticamente dai VLM.

• Formalismo della Traccia: Invece di una risposta diretta, i modelli sono invitati a generare una traccia tipizzata $\tau = (s_0, \Delta s, s_1, a)$:
  • $s_0$: Stato fisico iniziale (entità, attributi, forze, relazioni).
  • $\Delta s$: Transizione prevista o regola fisica.
  • $s_1$: Stato risultante.
  • $a$: Risposta finale.
  • La traccia è strutturata come JSON per abilitare il parsing e la verifica.
• Verificatore Ibrido: Un verificatore deterministico e ispezionabile controlla la traccia rispetto a quattro criteri:
  1. Validità dello Schema: Struttura e tipi JSON corretti.
  2. Ancoraggio dello Stato: Coerenza con l'evidenza visiva e i metadati.
  3. Coerenza della Transizione: Aderenza alle leggi fisiche (ad esempio, allineamento forza-accelerazione, ordine temporale).
  4. Fedeltà Risposta-Traccia: Compatibilità tra lo stato derivato e la risposta finale.
• Tassonomia degli Errori: Il sistema categorizza gli errori in etichette tipizzate: Oggetto, Stato, Relazione, Forza, Transizione, Intervento, Temporale, Unità/Scala e Fedeltà.
• WMW-TRACEBANK: Una risorsa controllata rilasciata con il documento contenente:
  • 200 scenari sintetici attraverso 17 famiglie di fisica (meccanica, fluidi, circuiti, ottica, ecc.).
  • 3.200 coppie di preferenze contrastive (tracce valide vs. tracce invalide perturbate minimamente).
  • Codice del verificatore, linee guida per l'audit e output dei modelli.

Principali Contributi

1. Formalismo della Traccia: Un protocollo per valutare il ragionamento fisico dei VLM come impegni di transizione di stato verificabili anziché stringhe di risposta.
2. Contratti del Verificatore e Metriche: Definizioni per separare errori di estrazione dello stato, errori di transizione e inconsistenze nascoste (dove la risposta è corretta ma la traccia è invalida).
3. Rilascio del Dataset: WMW-TRACEBANK, che fornisce tracce sintetiche validate e coppie di preferenze per l'addestramento e la valutazione.
4. Tassonomia degli Errori e Audit: Una valutazione umana dell'audit del verificatore su 400 tracce stratificate, riportando precisione, richiamo e accordo inter-annotatore.
5. Protocollo di Intervento: Dimostrazione che il riordinamento guidato dal verificatore e l'ottimizzazione delle preferenze a livello di traccia possono migliorare la coerenza fisica senza sacrificare l'accuratezza della risposta.

Risultati Sperimentali
Gli autori hanno valutato 7 VLM (inclusi Claude Opus 4.7, GPT-5.5, GPT-4o e modelli open-source come Qwen2.5-VL e InternVL3) su esempi controllati ed esterni.

• Inconsistenza Nascosta (RQ1): L'accuratezza della risposta finale maschera errori fisici significativi. In tutti i modelli, dal 18% al 42% delle risposte corrette era supportata da tracce fisicamente invalide. Per i modelli di fascia media, oltre il 30% delle risposte "corrette" si basava su ragionamenti fisici invalidi.
• Analisi del Collo di Bottiglia (RQ2): Il passo di transizione ($\Delta s$) è il principale collo di bottiglia per la maggior parte dei modelli. Anche quando forniti con stati iniziali gold, modelli come GPT-4o hanno perso 19 punti percentuali di accuratezza nella previsione del cambiamento fisico. Modelli chiusi più potenti (ad esempio Claude Opus 4.7) hanno mostrato un effetto di calibrazione in cui gli stati gold hanno disturbato i loro controlli di coerenza interna.
• Affidabilità del Verificatore (RQ3): Il verificatore ibrido ha raggiunto un alto accordo con gli audit umani per le etichette Stato (F1=0,82), Transizione (F1=0,78) e Fedeltà (F1=0,91).
• Efficacia dell'Intervento (RQ4):
  • Riordinamento: La selezione della migliore traccia da $k=8$ campioni ha migliorato la validità della traccia di 4-7 punti percentuali.
  • Ottimizzazione delle Preferenze: L'addestramento di Qwen2.5-VL-7B con Direct Preference Optimization (DPO) sulle coppie di preferenze ha ridotto l'inconsistenza nascosta del 41% relativo (dal 42% al 25%) migliorando leggermente l'accuratezza della risposta (+2pp).

Significato e Affermazioni
Il documento sostiene che WORLD MODELS IN WORDS non è semplicemente un altro benchmark di fisica, ma un protocollo riutilizzabile per verificare se il mondo fisico dichiarato da un VLM è coerente. Gli autori affermano che:

• Risposte corrette con tracce invalide non sono errori di formattazione innocui; rappresentano impegni incoerenti che possono fuorviare sistemi educativi, di pianificazione o scientifici.
• Il framework rivela che la previsione della transizione è una modalità di fallimento dominante distinta dalla percezione visiva.
• Gli interventi guidati dal verificatore (riordinamento e ottimizzazione delle preferenze) possono ridurre efficacemente le inconsistenze nascoste, suggerendo una strada verso moduli di ragionamento fisico più affidabili.

Gli autori mantengono una posizione modesta, riconoscendo limitazioni quali l'osservabilità delle tracce (che sono impegni rivolti all'utente, non letture dirette della cognizione latente), la copertura del verificatore (che si basa su assunzioni esplicite per l'ambiguità del mondo reale) e il potenziale per i modelli di sovrapporsi ai template di perturbazione. Affermano esplicitamente che il dataset non è un certificato di sicurezza per applicazioni ad alto rischio.