🤖 AI

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

Questo articolo introduce il Visual Dependency Gap (VDG) per dimostrare che l'elevata accuratezza nei benchmark dei modelli linguistici di grandi dimensioni per video deriva spesso da prior linguistici piuttosto che da una genuina comprensione visiva, rivelando che l'ordine temporale contribuisce minimamente alle prestazioni mentre la diversità dei fotogrammi guida la maggior parte dei guadagni.

Autori originali: Jae Joong Lee

Pubblicato 2026-07-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jae Joong Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot a comprendere il mondo. Gli dai una telecamera e un cervello, e gli poni delle domande su ciò che vede. Per molto tempo, gli scienziati hanno misurato quanto questi robot fossero "intelligenti" sottoponendoli a un test: mostra loro un video, fai una domanda e vedi se ottengono la risposta corretta. Se il robot ottiene un punteggio alto, assumiamo che stia davvero "vedendo" e comprendendo il video. Ma ecco il trucco: il fatto che un robot ottenga la risposta giusta non significa che abbia guardato l'immagine. Potrebbe aver semplicemente indovinato basandosi sulle parole della domanda, proprio come uno studente che sa che l'insegnante chiede sempre di "gatti" il martedì e risponde semplicemente "gatto" senza guardare la lavagna. Questo articolo si addentra nel mondo disordinato e confuso dei "Video Large Language Models" — computer super intelligenti che possono leggere il testo e guardare i video — per porre una domanda inquietante: questi robot stanno davvero guardando i film, o sono solo bravissimi a indovinare le risposte usando solo il testo?

I ricercatori hanno deciso di fare un piccolo trucco su venti diversi robot che guardano video, che vanno da quelli minuscoli a quelli massicci con cervelli enormi. Hanno preso un test standard chiamato MVBench, che contiene centinaia di domande sui video, e hanno eseguito il test due volte per ogni singola domanda. La prima volta, hanno mostrato al robot il video reale. La seconda volta, hanno mostrato al robot esattamente la stessa domanda, ma il video era stato sostituito con uno schermo nero uniforme. Se il robot stesse davvero "vedendo", il suo punteggio dovrebbe scendere vicino allo zero quando il video scompare. Se il robot continuava a dare le rishette giuste anche con uno schermo nero, significava che non stava guardando affatto; stava solo usando trucchi linguistici per indovinare.

I risultati sono stati un po' uno shock. Il team ha scoperto che per molte domande, i robot si comportavano quasi esattamente allo stesso modo, che stessero guardando un video o fissando un vuoto nero. Hanno introdotto un nuovo modo per misurare questo, chiamato "Visual Dependency Gap" (VDG), che è essenzialmente la differenza tra quanto un robot performa con un video rispetto a senza. Hanno scoperto che per alcuni tipi di domande, come "Di che colore è l'auto?" (Percezione degli Attributi), i robot avevano davvero bisogno del video per rispondere correttamente. Ma per altri tipi, come "Cosa succede dopo?" (Ragionamento Temporale), i robot davano le risheste giuste anche quando lo schermo era nero. Ciò significa che le domande del test non stavano affatto testando se i robot comprendessero il tempo o la sequenza; stavano solo testando se i robot potevano indovinare la risposta basandosi sulla formulazione della domanda.

I ricercatori hanno anche cercato di capire perché i robot ottenessero queste risposte. Hanno scomposto il video in diverse parti: un singolo fotogramma, un gruppo di fotogrammi mescolati fuori ordine e il video completo con il tempo che scorre in avanti. Hanno scoperto che ai robot non importava affatto l'ordine degli eventi. Che il video venisse riprodotto in avanti, all'indietro o fosse un ammasso disordinato di immagini, i robot ottenevano lo stesso punteggio. L'unica cosa che sembrava aiutare era vedere immagini diverse (diversità dei fotogrammi), non vedere le immagini nell'ordine corretto. Infatti, per alcuni dei modelli più recenti e avanzati, l'input video sembrava addirittura confonderli, facendoli performare leggermente peggio rispetto a se avessero semplicemente ignorato il video e avessero indovinato basandosi sul testo.

Una delle scoperte più interessanti riguardava il modo in cui questi robot gestiscono la compressione. Di solito, se si schiaccia un file video per renderlo più piccolo, la qualità peggiora. I ricercatori si aspettavano che, se un robot stesse davvero "vedendo", un video sfocato e compresso lo avrebbe portato a fallire. Ma i punteggi dei robot sono rimasti piatti e costanti anche quando il video era pesantemente compresso. Il team si è reso conto che questo non era dovuto al fatto che i robot fossero super robusti; era perché le domande erano così facili da indovinare dal testo che i robot non avevano affatto bisogno dei dettagli visivi. La "robustezza" era un'illusione creata da cattive domande di test.

Infine, hanno osservato come questi robot cambiassero man mano che diventavano più grandi e intelligenti. Hanno scoperto che, sebbene i modelli più grandi generalmente diventassero più bravi a usare il video, alcuni dei modelli più recenti sono diventati in realtà meno capaci di fare affidamento sulle informazioni visive. Un modello, Qwen3-VL, sembrava aver dimenticato come usare efficacemente i fotogrammi del video, affidandosi quasi interamente all'indovinare dal testo, anche se i suoi punteggi complessivi nel test sembravano buoni. L'articolo conclude che non possiamo più fidarci ciecamente dei punteggi in classifica. Un punteggio alto non significa che un robot sia un grande osservatore; potrebbe solo significare che è un grande indovinatore. Per sapere se un robot sta davvero vedendo, dobbiamo controllare se fallisce quando lo schermo diventa nero. Se non fallisce, non stava guardando affatto.

Sintesi Tecnica: Accuratezza Senza Grounding

Problematica

L'assunto prevalente nella valutazione dei modelli linguistici di grandi dimensioni (LLM) per i video è che una maggiore accuratezza nei benchmark equivalga a una più forte comprensione visiva. Questo articolo mette in discussione tale assunto, sostenendo che l'accuratezza nei benchmark spesso confonda il reale grounding visivo con lo sfruttamento di prior linguistici (solvibilità basata solo sul testo). Sebbene studi precedenti abbiano identificato che alcune domande sui video possono essere risolte senza visione, tali studi non hanno quantificato questo fenomeno per singola domanda né hanno dimostrato statisticamente che l'accuratezza e la dipendenza visiva siano assi separabili. Di conseguenza, i miglioramenti nelle classifiche (leaderboard) potrebbero segnalare un migliore modellazione del linguaggio piuttosto che un reale progresso nel ragionamento spazio-temporale.

Metodologia

Gli autori introducono il Visual Dependency Gap (VDG), una metrica diagnostica per singola domanda definita come la differenza nella correttezza tra una condizione video originale e una condizione a schermo nero (dove tutti i fotogrammi sono sostituiti da immagini nere solide, preservando testo e opzioni).
$VDG(q) = \mathbb{1}[\text{corretto}_{\text{originale}}] - \mathbb{1}[\text{corretto}_{\text{schermo\_nero}}]$
Lo studio valuta 20 video LLM che spaziano da 2 a 78 miliardi di parametri e 10 famiglie di architetture (inclusi modelli open-weight come Qwen, InternVL, LLaVA e modelli API proprietari come GPT-4o e Gemini) attraverso tre benchmark: Video-MME, MVBench ed EgoSchema.

I protocolli sperimentali chiave includono:

Test di Dissociazione di McNemar: Test di McNemar accoppiati vengono applicati agli esiti di correttezza binaria per determinare se i modelli differiscano nella dipendenza visiva indipendentemente dall'accuratezza complessiva.
Scala Diagnostica a Quattro Condizioni: Per decomporre la dipendenza visiva, gli autori testano i modelli sotto quattro condizioni: (1) Schermo nero, (2) Singolo fotogramma (ripetuto), (3) Fotogrammi rimescolati (contenuto diversificato, nessun ordine temporale) e (4) Video originale. Ciò isola i contributi dalla ricezione spaziale, dalla diversità dei fotogrammi e dall'ordine temporale.
Analisi della Robustezza alla Compressione: I video vengono ricodificati con H.264 a vari livelli di CRF (18–38) per testare se la stabilità dell'accuratezza aggregata mascheri i flip bidirezionali delle risposte.
Ablazione FPS: I frame rate vengono variati da 0,5 a 24 FPS per escludere che la scarsità di fotogrammi sia la causa di bassi punteggi di ragionamento temporale.

Contributi Chiave

Dissociazione Statistica tra Accuratezza e Grounding: Utilizzando i test di McNemar accoppiati, il paper dimostra che l'accuratezza e il grounding visivo sono statisticamente separabili. Ad esempio, su MVBench, InternVL2-8B supera significativamente Qwen2-VL-7B sul video originale ( $p=0.0003$ ) ma è statisticamente indistinguibile sugli schermi neri ( $p=0.53$ ).
Spettro VDG per Tipo di Task: Gli autori stabiliscono una gerarchia stabile di dipendenza visiva attraverso i tipi di task. La Percezione degli Attributi è la categoria più visivamente fondata (VDG $\approx$ 0,41), mentre il Ragionamento Temporale si avvicina al baseline basato solo sul linguaggio (VDG $\approx$ 0,06). Questa classificazione si mantiene coerentemente attraverso 20 modelli e tre benchmark distinti.
Decomposizione dei Segnali Visivi: La scala diagnostica rivela che la diversità dei fotogrammi (osservare più fotogrammi distinti) fornisce la stragrande maggioranza del beneficio visivo, mentre l'ordine temporale contribuisce quasi a zero l'accuratezza in 16 modelli open-weight.
Illusione della Robustezza alla Compressione: Lo studio dimostra che le curve di accuratezza piatte sotto la compressione H.264 sono artefatti di un cancelletto bidirezionale (le domande che passano da corrette a errate si annullano con quelle che passano da errate a corrette), piuttosto che una vera robustezza del modello. Le domande sensibili alla compressione sono sproporzionatamente fondate sul visivo.

Risultati Chiave

Dissociazione: I modelli che performano meglio sul video originale non necessariamente performano meglio sugli schermi neri, indicando che le classificazioni nelle leaderboard spesso riflettono l'exploitation dei prior linguistici piuttosto che la capacità visiva.
Fallimento del Ragionamento Temporale: In tutti i modelli, l'ordine temporale fornisce guadagni di accuratezza trascurabili. Il VDG per i task di ragionamento temporale è vicino allo zero, suggerendo che gli attuali benchmark non testano efficacemente la comprensione temporale.
Dominanza della Diversità dei Fotogrammi: Il "delta di diversità" (guadagno di accuratezza dai fotogrammi rimescolati rispetto al singolo fotogramma) è il segnale visivo dominante (variando da +0,075 a +0,185), mentre il "delta temporale" (originale vs rimescolato) è vicino allo zero.
Regressione Generazionale: Sebbene lo scaling generalmente migliori il VDG (ad esempio, lo scaling di Qwen2.5-VL da 3B a 7B aumenta il VDG da 0,210 a 0,297), la nuova serie Qwen3-VL mostra una regressione nel VDG (ad esempio, Qwen3-VL-8B con VDG di 0,107 rispetto allo 0,297 di Qwen2.5-VL-7B). Ciò è attribuito a un collasso nell'estrazione della diversità dei fotogrammi ( $\Delta_{diversity} \approx 0,034$ ), nonostante una maggiore accuratezza sugli schermi neri (più forti prior linguistici).
Artefatti di Quantizzazione: Modelli grandi (es. InternVL2.5-78B) sotto quantizzazione a 4 bit possono esibire un VDG negativo o nullo, indicando che la loro accuratezza nei benchmark è interamente guidata dai prior linguistici.
Generalizzazione Cross-Benchmark: La tassonomia dei livelli VDG (Percezione > Azione > Temporale/Linguistico) predice con successo la performance per tipo di task su EgoSchema, un benchmark con zero sovrapposizione di sorgenti video con i dati di addestramento, confermando la generalizzabilità del metrica.

Significato e Rivendicazioni

Il paper sostiene che l'accuratezza nei benchmark sia un cattivo proxy per il grounding visivo. Gli autori sostengono che il campo rischi di ottimizzare l'exploitation dei prior linguistici invece della reale comprensione visiva. Introducendo il VDG come strumento di audit standard, il paper mira a:

Distinguere tra modelli che si affidano realmente all'input visivo e quelli che risolvono i task tramite il testo.
Rivelare che gli attuali benchmark di "Ragionamento Temporale" falliscono ampiamente nel testare la comprensione temporale, poiché l'ordine temporale contribuisce quasi a zero l'accuratezza.
Evidenziare che la "robustezza" alla compressione è spesso un'illusione causata dalla composizione del benchmark piuttosto che dalla capacità del modello.

Gli autori posizionano il VDG non come una misura della capacità del modello, ma come un diagnostico per la validità del benchmark. Concludono che, affinché i benchmark video misurino una capacità visivamente fondata, devono andare oltre l'accuratezza aggregata e incorporare diagnostici come il VDG per garantire che le domande richiedano l'input visivo. Il codice e le annotazioni sono resi pubblici per facilitare questo audit.