Vision Language Models Cannot Reason About Physical Transformation

Il paper introduce ConservationBench, un benchmark che dimostra come i modelli visione-linguaggio attuali falliscano sistematicamente nel ragionare sulle trasformazioni fisiche, mostrando prestazioni vicine al caso e una dipendenza da priors testuali piuttosto che dalla comprensione visiva delle invarianti fisiche.

L'essenziale

Immagina di avere un bambino molto intelligente che ha letto tutti i libri del mondo e sa rispondere a qualsiasi domanda, ma che non ha mai davvero giocato con la realtà. Questo è il problema che gli autori di questo studio hanno scoperto nei moderni Modelli Linguistici Visivi (VLM), ovvero le intelligenze artificiali che "vedono" immagini e video e ne parlano.

Ecco la spiegazione semplice di cosa hanno scoperto, usando delle metafore quotidiane.

1. Il Test della "Pasticceria Magica" (Il Concetto di Conservazione)

Per capire se un bambino è davvero intelligente o sta solo indovinando, i psicologi usano un test classico chiamato test della conservazione.

• L'esperimento: Prendi una pallina di pasta di zucchero e la schiacci per farla diventare una "pizza" piatta. Chiedi al bambino: "C'è più pasta ora o prima?".
• La risposta corretta: Un bambino che ha capito la fisica dice: "È la stessa quantità, è solo cambiata la forma".
• La risposta sbagliata: Un bambino che si fida solo degli occhi dice: "C'è più pasta perché ora è più larga!".

Gli autori hanno creato un banco di prova digitale chiamato ConservationBench per vedere se le intelligenze artificiali passano questo test. Hanno mostrato a 112 diversi modelli di AI video di:

• Versare acqua da un bicchiere alto e stretto a uno basso e largo (l'acqua sembra cambiare volume, ma non cambia).
• Allungare una fila di monete (sembrano di più, ma sono le stesse).
• Schiacciare un pallone di argilla (cambia forma, ma non peso).

2. Il Risultato: L'AI è come un "Truffatore"

Il risultato è stato sconvolgente. L'intelligenza artificiale non riesce a capire la fisica di base.

• Il trucco: Quando l'AI vedeva l'acqua versata in un bicchiere largo, spesso rispondeva: "C'è meno acqua!" perché l'acqua sembrava più bassa. Non capiva che la quantità era la stessa.
• La statistica: La maggior parte dei modelli rispondeva giusto solo il 20-40% delle volte, che è quasi come tirare a caso (come lanciare una moneta). Gli umani, anche i bambini piccoli, riescono a farlo quasi sempre al 100%.

3. Il Paradosso: "Legge meglio di quanto vede"

Qui la cosa diventa strana e affascinante. Gli scienziati hanno fatto un esperimento per capire perché fallivano.

Hanno tolto le immagini e hanno dato all'AI solo il testo della domanda (es. "Se versiamo l'acqua, la quantità cambia?").

• Risultato: L'AI ha iniziato a rispondere meglio!
• Perché? Perché nei libri e nei testi che ha letto, c'è scritto che "la quantità si conserva". Quindi, l'AI sta indovinando basandosi su quello che ha letto, non su quello che sta "vedendo".

È come se avessi un lettore che ha studiato la teoria del volo, ma se lo metti davanti a un aereo che cade, non capisce che sta cadendo perché è troppo impegnato a ripetere la definizione di "portanza" che ha letto su un manuale.

Il paradosso è questo:

1. Quando l'AI vede l'immagine reale, si fida dei suoi "occhi" (che sono confusi) e sbaglia.
2. Quando togli l'immagine e le chiedi solo di ragionare sul testo, si fida della sua "memoria" (che è corretta) e indovina meglio.
3. Conclusione: L'AI non sta "ragionando" sulla trasformazione fisica. Sta solo applicando regole a memoria che spesso vengono distrutte dalla confusione visiva.

4. Non serve più tempo o più dettagli

Gli scienziati hanno provato a dare all'AI:

• Più fotogrammi: Invece di 3 immagini, ne hanno dati 16 (come un video più fluido).
• Domande più guidate: Hanno chiesto all'AI di spiegare passo dopo passo cosa stava succedendo.
• Immagini "migliori": Hanno provato a selezionare i momenti chiave del video.

Niente ha funzionato. Anche con più tempo e più dettagli, l'AI non è riuscita a capire che la quantità di monete o di acqua rimaneva la stessa. È come dare a qualcuno un microscopio per guardare un quadro, ma lui continua a non capire il disegno perché non ha il concetto di "disegno".

5. Cosa significa per il futuro?

Questo studio ci dice che le attuali intelligenze artificiali sono bravissime a imitare il linguaggio, ma pessime a capire il mondo fisico.

• L'analogia finale: Immagina un attore che recita la parte di un medico. Può parlare di chirurgia con parole perfette, ma se gli metti in mano un bisturi e un paziente, non sa come muoversi.
• Il rischio: Se vogliamo usare queste AI per guidare robot, fare chirurgia o gestire situazioni di emergenza nel mondo reale, dobbiamo stare attenti. Se un robot non capisce che versare dell'acqua non la fa sparire, potrebbe fare danni enormi.

In sintesi: Le AI attuali sono come bambini che hanno imparato a memoria le regole della fisica, ma non hanno mai davvero giocato con la sabbia e l'acqua. Non hanno ancora sviluppato quella "intuizione fisica" che noi umani abbiamo imparato da piccoli.

Sommario tecnico

1. Il Problema

Nonostante i recenti progressi nei Vision Language Models (VLM) nelle capacità percettive e di ragionamento, rimane incerto se questi modelli possiedano una comprensione genuina dei principi fisici fondamentali necessari per operare in ambienti dinamici e "incarnati" (embodied).
In particolare, la capacità di comprendere le trasformazioni fisiche e il concetto di conservazione (il principio secondo cui certe quantità fisiche rimangono invariate nonostante i cambiamenti nell'aspetto o nella posizione) è un pilastro dell'intelligenza umana (basato sul lavoro di Piaget). I modelli attuali sembrano eccellere nella generazione di video fisicamente plausibili o nel ragionamento su scene statiche, ma falliscono nel tracciare le proprietà invarianti attraverso trasformazioni dinamiche nel tempo. Non è chiaro se i VLMs possano integrare prove sequenziali visive per mantenere rappresentazioni stabili delle proprietà fisiche sottostanti.

2. Metodologia: ConservationBench

Per colmare questa lacuna, gli autori introducono ConservationBench, un benchmark cognitivamente fondato progettato per valutare la capacità dei VLMs di ragionare sulle trasformazioni fisiche.

• Struttura del Dataset: Il benchmark comprende 23.040 trial generati su 112 VLMs diversi.
• Compiti di Conservazione: Sono stati creati 192 compiti basati su video che coprono quattro proprietà quantitative fondamentali:
  1. Numero: Distribuzione di oggetti (es. monete) senza aggiunta o rimozione.
  2. Lunghezza: Riorientamento di oggetti (es. cannucce) senza alterazione della lunghezza.
  3. Volume: Trasferimento di liquidi tra contenitori di forma diversa.
  4. Dimensione (Massa): Modifica della forma di un oggetto (es. pasta di modellazione) senza perdita di materiale.
     Ogni compito richiede al modello di determinare se la quantità è rimasta invariata dopo una trasformazione visiva.
• Controlli Non-Conservanti: Per evitare che i modelli risolvano i compiti basandosi su bias linguistici o heuristics superficiali (es. rispondere sempre "sì, è uguale"), sono stati creati 192 compiti di controllo non conservanti. In questi scenari, la quantità target cambia effettivamente durante la trasformazione, mentre le caratteristiche irrilevanti rimangono costanti.
• Variabili Sperimentali: Lo studio ha sistematicamente variato:
  • Risoluzione Temporale: Numero di frame estratti (3, 5, 7, 9, 16 frame).
  • Strategia di Campionamento: Uniforme, basata su annotatori umani, o basata su modelli (SeViLA).
  • Strategie di Prompting: Domande dirette, sequenziali, Chain-of-Thought (CoT) e prompt che enfatizzano la continuità del processo.
• Valutazione: È stata utilizzata una metrica "Strict Pairwise", dove un modello è considerato corretto solo se risponde correttamente sia al compito di conservazione che al suo controllo non conservante corrispondente.

3. Risultati Chiave

L'analisi su 112 modelli (inclusi modelli proprietari come GPT-5, Claude, Gemini e modelli open-source come Qwen e InternVL) rivela fallimenti sistematici:

• Prestazioni Generali: La maggior parte dei modelli performa appena sopra il livello di caso (33,3%), con una precisione media che oscilla tra il 20% e il 69%. In netto contrasto, gli esseri umani raggiungono il 98,35% di accuratezza.
• Bias Sistematico e Correlazione Negativa: Esiste una forte correlazione negativa ($r = -0.51$) tra le prestazioni sui compiti di conservazione e sui controlli non conservanti. I modelli che ottengono punteggi alti sulla conservazione tendono a fallire miseramente sui controlli non conservanti. Questo indica che i modelli non stanno ragionando sulla trasformazione, ma stanno applicando un euristica predefinita di "invarianza" (rispondono "è uguale" per impostazione predefinita).
• Fallimento del Ragionamento Visivo:
  • Controllo con Immagini Vuote: Quando il contenuto visivo viene rimosso (immagini bianche) ma il prompt testuale rimane, i modelli rispondono "Conserva" nell'85,7% dei casi, anche quando la risposta corretta sarebbe "Non conserva". Questo dimostra che i priors testuali favoriscono fortemente l'invarianza.
  • Interferenza Visiva: Paradossalmente, i modelli performano peggio sui compiti reali con contenuto visivo rispetto alle immagini vuote. Il contenuto visivo sembra interferire con il loro bias testuale corretto, portando a errori di elaborazione visiva.
• Inefficacia delle Migliorie Tecniche:
  • Aumentare la risoluzione temporale (più frame) non migliora le prestazioni.
  • L'uso di prompting avanzato (CoT, istruzioni per la continuità) non aiuta; anzi, il CoT peggiora le prestazioni sui compiti di conservazione.
  • Le strategie di campionamento dei frame (umani vs algoritmi) non inducono un ragionamento robusto.
• Scaling Law: Non è stata trovata alcuna relazione significativa tra la dimensione del modello (parametri) e la capacità di ragionamento sulla conservazione ($R^2 = 0.019$). Aumentare le dimensioni non fa emergere questa capacità.

4. Contributi Principali

1. ConservationBench: Un nuovo benchmark rigoroso e su larga scala che valuta specificamente la capacità di ragionamento sulle trasformazioni fisiche, distinguendo tra conoscenza linguistica e comprensione visiva dinamica.
2. Dimostrazione del Fallimento Sistematico: Evidenzia che i VLMs attuali non possiedono rappresentazioni invarianti alla trasformazione delle proprietà fisiche, fallendo nel tracciare oggetti e quantità attraverso il tempo.
3. Analisi dei Bias: Svela che le apparenti capacità di conservazione sono spesso guidate da bias testuali (priors) piuttosto che da un vero ragionamento fisico, e che il contenuto visivo può effettivamente degradare le prestazioni quando il modello non sa integrarlo correttamente.
4. Implicazioni per l'AI Incarnata: Mette in discussione l'affidabilità dei VLMs per compiti di robotica e interazione fisica reale, dove la comprensione delle trasformazioni dinamiche è cruciale.

5. Significato e Conclusioni

Il paper conclude che i modelli VLM attuali mancano di una comprensione fisica strutturata e di una capacità di ragionamento temporale coerente. Non riescono a costruire rappresentazioni mentali stabili degli oggetti che resistono alle trasformazioni visive, un requisito fondamentale per l'intelligenza incarnata.

Le implicazioni sono profonde:

• Le attuali strategie di scaling (più dati, più parametri) non risolvono questo deficit cognitivo fondamentale.
• È necessario sviluppare nuovi approcci architetturali che integrino meccanismi di ragionamento fisico e rappresentazioni spazio-temporali robuste, piuttosto che affidarsi a correlazioni statistiche superficiali.
• ConservationBench serve come test diagnostico essenziale ("sanity check") per valutare i futuri progressi nell'AI fisica e multimodale, andando oltre i benchmark statici esistenti.

In sintesi, i modelli attuali "vedono" le trasformazioni ma non le "comprendono" nel senso fisico del termine, fallendo nel mantenere la coerenza delle proprietà fondamentali attraverso il tempo.