CVT-Bench: Counterfactual Viewpoint Transformations Reveal Unstable Spatial Representations in Multimodal LLMs

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno dimostrato eccellenti capacità nel ragionamento spaziale quando valutati su una singola vista fissa (ad esempio, descrivere la relazione tra oggetti in un'immagine statica). Tuttavia, rimane incerto se questi modelli possiedano rappresentazioni spaziali stabili che permettano loro di inferire come tali relazioni cambierebbero sotto trasformazioni di punto di vista ipotetiche (controfattuali).

In scenari reali (come robotica o guida autonoma), un agente deve mantenere uno stato spaziale coerente mentre l'osservatore si muove o cambia prospettiva. Il problema centrale è: gli MLLM attuali sono in grado di trasformare le relazioni spaziali in base a un nuovo punto di vista ipotetico senza ricevere nuove osservazioni visive, oppure si basano su indizi dipendenti dalla vista specifica?

2. Metodologia: CVT-Bench

Per indagare questo problema, gli autori introducono CVT-Bench, un benchmark diagnostico controllato progettato per valutare la coerenza relazionale sotto trasformazioni di punto di vista controfattuali.

• Generazione dei Dati: Il benchmark utilizza 100 scene sintetiche generate proceduralmente basate sull'ambiente CLEVR, contenenti oggetti geometrici (cilindri, sfere, cubi) con etichette semantiche uniche. Le scene variano in densità (sparse: 3-5 oggetti; dense: 7-10 oggetti) e includono condizioni di occlusione parziale.
• Protocollo di Query:
  • Vista Osservata ($0^\circ$): Il modello riceve l'immagine o la descrizione della scena da una vista iniziale.
  • Vista Controfattuale: Il modello viene interrogato sulle relazioni spaziali tra oggetti dopo una rotazione ipotetica della telecamera (da $45^\circ$ a $360^\circ$) o una vista dall'alto, senza fornire nuove immagini.
  • Sequenzialità: Oltre alla valutazione episodica (singola scena), viene introdotta una modalità sequenziale in cui multiple scene e query sono concatenate in un unico contesto lungo, per testare la stabilità dello stato spaziale nel tempo.
• Rappresentazioni di Input: Per isolare il ruolo della struttura dei dati, il benchmark valuta tre modalità di input:
  1. Visivo: Immagini renderizzate con etichette.
  2. Testuale: Descrizioni strutturate con coordinate dei bounding box.
  3. Grafo della Scena (Scene Graph): Rappresentazione esplicita delle relazioni spaziali tra nodi (oggetti) e archi (relazioni).
• Metriche di Valutazione:
  • F1 Score: Per la precisione e il richiamo nelle relazioni multi-etichetta (es. "a sinistra e davanti").
  • Spatial Survival Rate: Una metrica nuova che misura per quanto tempo le relazioni corrette persistono man mano che aumenta la profondità dell'interazione sequenziale.
  • Coerenza del Ciclo ($0^\circ$ vs $360^\circ$): Verifica se il modello fornisce la stessa risposta quando la vista ritorna al punto di partenza.

3. Contributi Chiave

1. Introduzione di CVT-Bench: Un benchmark su larga scala (6.000 query) specifico per il ragionamento spaziale controfattuale e l'assunzione di prospettiva visiva.
2. Protocollo Unificato Episodico vs. Sequenziale: Una distinzione metodologica che permette di analizzare separatamente la capacità di ragionamento istantaneo e la stabilità del mantenimento dello stato spaziale su contesti estesi.
3. Valutazione Controllata della Rappresentazione: Un'analisi sistematica che isola l'impatto della struttura dell'input (immagine vs testo vs grafo) sulla capacità di ragionamento spaziale.
4. Scoperta di Instabilità Sistematica: Dimostrazione che l'alta accuratezza su singole viste non garantisce robustezza nelle trasformazioni spaziali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli SOTA (GPT-5.2, Gemini 3.1 Pro, Qwen 3.5, Kimi K2.5) e hanno rivelato diverse criticità:

• Degradazione sotto Rotazione: Sebbene i modelli ottengano punteggi F1 elevati (>90%) sulla vista originale ($0^\circ$), le prestazioni crollano sistematicamente sotto rotazioni controfattuali, specialmente ad angoli ortogonali ($90^\circ$ e $270^\circ$). Questo suggerisce strategie di trasformazione fragili o euristica piuttosto che una rotazione interna stabile dello stato spaziale.
• Instabilità Sequenziale: Nella modalità sequenziale (BS=20), le prestazioni decadono drasticamente rispetto alla modalità episodica. La "Spatial Survival Rate" mostra che le relazioni corrette non persistono man mano che il contesto si allunga, indicando un'erosione dello stato spaziale interno.
• Incoerenza Ciclica: Anche quando la vista fisica ritorna a $360^\circ$ (identica a $0^\circ$), i modelli spesso forniscono risposte diverse in contesti sequenziali, evidenziando una mancanza di auto-coerenza.
• Impatto della Rappresentazione:
  • L'input testuale (con bounding box) tende a essere più stabile dell'input visivo puro, suggerendo che parte dell'instabilità deriva dal grounding multimodale piuttosto che dal ragionamento geometrico.
  • I Grai della Scena migliorano la stabilità in alcuni modelli, ma non risolvono completamente il problema, indicando che la struttura dell'input è cruciale ma non sufficiente da sola.
• Pattern di Errore: Le errori più comuni includono l'inversione di sinistra/destra o davanti/dietro, specialmente ad angoli di $90^\circ$, e l'associazione errata delle relazioni a coppie di oggetti sbagliate nei grafi.

5. Significato e Conclusioni

Il lavoro di CVT-Bench dimostra che l'attuale valutazione degli MLLM basata su singole viste sovrastima la robustezza delle loro rappresentazioni spaziali.

• Rappresentazioni Dipendenti dalla Vista: I modelli sembrano affidarsi a rappresentazioni spaziali legate alla vista corrente (view-dependent) piuttosto che costruire una mappa mentale interna stabile e trasformabile.
• Sfida per l'Embodiment: Per applicazioni reali come la robotica e la guida autonoma, dove gli agenti devono inferire relazioni da prospettive diverse senza vedere tutto, le capacità attuali sono insufficienti.
• Direzione Futura: Il miglioramento del ragionamento spaziale richiederà meccanismi espliciti per la rappresentazione dello stato relazionale e strategie di ragionamento che siano invarianti al punto di vista, piuttosto che semplici pattern recognition visivi.

In sintesi, CVT-Bench rivela che, nonostante i progressi nella percezione, gli MLLM faticano a mantenere una "teoria della mente" spaziale coerente quando il punto di vista cambia, un requisito fondamentale per l'intelligenza artificiale autonoma e collaborativa.