💻 computer science

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

Questo articolo introduce un framework meccanicistico incentrato sulle operazioni per analizzare i fallimenti dei modelli Vision-Language nel VQA compositivo, rivelando quattro modalità di fallimento distinte e dimostrando che esse si propagano attraverso percorsi computazionali specifici e dissociati, stabilendo così una base per miglioramenti mirati della affidabilità.

Autori originali: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Pubblicato 2026-07-20

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Detective, la Mappa e il Cervello Glitchato

Immaginate di cercare di insegnare a un robot come essere un detective. Gli date l'immagine di una stanza disordinata e una domanda come: "Il gatto rosso è seduto sulla sedia blu?". Per rispondere, il robot non può limitarsi a indovinare; deve eseguire una serie di passaggi mentali. Prima, deve trovare il gatto (selezione dell'oggetto). Poi, deve verificare se il gatto è rosso (verifica dell'attributo). Infine, deve guardare la sedia e capire la relazione spaziale tra loro (ragionamento). Questo campo di studio è chiamato Vision-Language Modeling (Modellazione Visione-Linguaggio), dove i computer cercano di comprendere contemporaneamente sia le immagini che il testo.

Per molto tempo, questi robot sono diventati molto bravi a rispondere alle domande in generale. Ma c'era un problema: a volte "baravano". Invece di guardare davvero l'immagine, potevano semplicemente indovinare la risposta basandosi su come le parole solitamente si combinano nel linguaggio umano. Ad esempio, se si chiede: "Il cielo è di solito blu?", il robot potrebbe rispondere "sì" senza nemmeno guardare l'immagine. Gli scienziati volevano sapere: quando questi robot sbaglano, perché falliscono? È perché non riescono a vedere l'oggetto? È perché non riescono a capire la relazione? O stanno semplicemente ignorando l'immagine? Capire questo è fondamentale perché, se vogliamo che questi robot siano aiutanti affidabili nel mondo reale, dobbiamo sapere esattamente quale parte del loro cervello sta avendo un glitch, così da poterlo riparare.

L'Autopsia Centrata sull'Operazione

In questo articolo, i ricercatori hanno deciso di smettere di guardare solo il punteggio finale e di iniziare a eseguire una "autopsia meccanicistica" sul cervello del robot. Hanno utilizzato un dataset specifico chiamato GQA, che contiene domande che richiedono l'unione di più passaggi, come una ricetta. Si sono concentrati su un modello chiamato Qwen2.5-VL-3B, un grande modello linguistico con una componente visiva. Invece di chiedere solo: "Ci è riuscito?", hanno chiesto: "Come ci è arrivato, e dove si è interrotto il segnale?".

Hanno sviluppato un modo intelligente per testare il cablaggio interno del robot. Immaginate il cervello del robot come una fabbrica con due linee di assemblaggio principali: una è la Linea di Attenzione (Attention Line), dove gli "occhi" del robot scansionano l'immagine e decidono quali parti osservare, e l'altra è la Linea MLP (Feedforward Network), dove il robot elabora e trasforma quell'informazione in un pensiero finale. I ricercatori hanno utilizzato "interventi causali", che è un modo elegante per dire che hanno temporaneamente interrotto parti specifiche del cervello del robot per vedere cosa succedeva. Bloccavano la capacità del robot di guardare un oggetto specifico, o impedivano al robot di elaborare i dettagli di quell'oggetto, e poi vedevano se la risposta cambiava.

I Quattro Modi in cui i Robot Falliscono

Rompendo il cervello del robot in modi molto specifici, gli autori hanno scoperto che non esistono solo risposte "giuste" o "sbagliate". Esistono in realtà quattro modi distinti in cui il robot può fallire, e ogni fallimento avviene in una parte diversa della fabbrica:

Il Fallimento del "Punto Cieco" (Fallimento di Grounding):
Questo accade quando il robot semplicemente non riesce a trovare l'oggetto nell'immagine. È come cercare una specifica auto rossa in un parcheggio, ma con gli occhi del robot chiusi. I ricercatori hanno scoperto che quando il robot sbaglia in questo modo, è perché non ha mai agganciato i dettagli visivi dell'oggetto. Questo fallimento è gestito dalla Linea MLP (la fabbrica di elaborazione). Se bloccate l'MLP dall'elaborare l'oggetto, il robot fallisce completamente. Ciò suggerisce che il robot stia facendo fatica a trasformare i dati grezzi dell'immagine in un "oggetto" riconoscibile nella sua mente.
Il Fallimento dell' "Eccessiva Focalizzazione" (Fallimento di Ragionamento):
Questo è il più interessante e controintuitivo. Qui, il robot vede l'oggetto perfettamente, ma rimane incastrato a fissarlo. Immaginate che il robot veda un gatto e una sedia, ma invece di pensare: "Il gatto è sulla sedia", si ostini a osservare la consistenza del pelo del gatto e dimentichi di confrontarlo con la sedia. Il robot è "sovra-ancorato" (over-grounded). Lo studio ha scoperto che questo specifico fallimento viaggia attraverso la Linea di Attenzione (il meccanismo di scansione), specificamente negli strati successivi del cervello. Il robot sta guardando la cosa giusta, ma non riesce a usare quello sguardo per creare una connessione logica.
Il Fallimento della "Proprietà Errata" (Fallimento di Estrazione degli Attributi):
In questo scenario, il robot trova l'oggetto e sa esattamente dove si trova, ma sbaglia i dettagli. Vede un carrello dorato ma lo chiama argento. Il robot ha il segnale visivo, ma l'ultimo passaggio di conversione di quel segnale in una parola fallisce. Anche questo accade nella Linea MLP, ma specificamente alla fine, dove viene generata la risposta. È come se la fabbrica avesse la materia prima corretta, ma la macchina che stampa l'etichetta finale fosse rotta.
Il Fallimento del "Baratore" (Dominanza del Prior Linguistico):
A volte, il robot non guarda nemmeno l'immagine. Se la domanda è "La catena è nera o gialla?" e il robot sa dal suo addestramento che le catene sono solitamente nere, indovina semplicemente "nera" senza controllare l'immagine. I ricercatori hanno scoperto che per questi tipi di domande, il cervello visivo del robot è quasi del tutto inattivo. Si affida interamente al suo "cervello linguistico" per indovinare la risposta. Questo è un bypass completo del sistema visivo.

La Grande Scissione dei Percorsi

La scoperta più significativa dell'articolo è una "dissociazione dei percorsi". I ricercatori hanno dimostrato che diversi tipi di errori viaggiano attraverso cavi diversi nel cervello del robot.

Se il robot fallisce nel trovare l'oggetto (Grounding) o fallisce nello descriverlo correttamente (Estrazione degli Attributi), il problema è nella linea di elaborazione MLP.
Se il robot fallisce nel ragionare sulla relazione tra gli oggetti (Ragionamento), il problema è nella linea di scansione dell'Attenzione.

Questa è una grande scoperta perché significa che non si possono risolvere tutti gli errori del robot con un unico strumento. Se si cerca di correggere un errore di "ragionamento" modificando la linea di elaborazione degli oggetti, non si avrà successo. Bisogna colpire il filo specifico dove sta avvenendo l'errore.

Questo Accade a Tutti i Robot?

I ricercatori hanno anche controllato se questo fosse vero per un altro robot, LLaVA-1.5. Hanno scoperto che i fallimenti del "Baratore" e della "Proprietà Errata" si verificano in entrambi i robot, suggerendo che si tratti di problemi fondamentali legati a come il robot genera le risposte. Tuttavia, i fallimenti del "Punto Cieco" e dell' "Eccessiva Focalizzazione" sono comparsi solo nel primo robot (Qwen2.5-VL). Perché? Perché il primo robot ha un encoder visivo che mantiene informazioni molto dettagliate e pixel-perfette su dove si trovano gli oggetti. Il secondo robot (LLaVA) utilizza un encoder visivo che riassume l'immagine in modo più ampio, perdendo parte di quel dettaglio spaziale fine. Poiché il secondo robot non ha lo stesso livello di "mappa" dettagliata, non soffre degli stessi tipi specifici di errori di "Punto Cieco" o "Eccessiva Focalizzazione". Ciò suggerisce che alcuni errori accadono solo quando il robot possiede una mappa ad alta risoluzione in cui potersi perdere.

In Breve

L'articolo conclude che non possiamo più trattare i Modelli Vision-Language come una singola scatola nera che funziona o non funziona. Sono macchine complesse con diverse linee di assemblaggio per lavori diversi. Quando falliscono, falliscono in modi specifici e prevedibili: a volte non riescono a vedere, a volte non riescono a pensare e a volte si limitano a indovinare. Identificando esattamente quale "filo" è rotto per ogni tipo di domanda, gli autori forniscono una tabella di marcia per costruire robot migliori e più affidabili che guardino davvero l'immagine prima di parlare.

Riepilogo Tecnico: Come falliscono i VLM? Disallineamento Visione-Operazione nel VQA Composizionale

Definizione del Problema

Il Visual Question Answering (VQA) composizionale richiede che i modelli Vision-Language (VLM) eseguano operazioni di ragionamento a catena — come la selezione di oggetti, la risoluzione di relazioni spaziali e la verifica di attributi — basandosi su prove visive radicate. Sebbene i moderni VLM riportino un'elevata accuratezza aggregata su benchmark come GQA, queste prestazioni mascherano pattern di fallimento sistematici. I modelli spesso hanno successo tramite scorciatoie linguistiche su operazioni semplici, fallendo però in compiti che richiedono un reale radicamento visivo (visual grounding) e inferenza multi-step.

Le analisi esistenti si concentrano ampiamente su tipi di fallimento generici (es. allucinazione di oggetti) o sul flusso di informazioni cross-modali, ma mancano di una comprensione meccanicistica di come e dove avvengano i fallimenti. Nello specifico, non è chiaro se diverse operazioni compositive falliscano attraverso percorsi computazionali interni distinti (ad esempio, meccanismi di attenzione vs. reti feedforward) e come questi fallimenti siano correlati alle specifiche operazioni di ragionamento eseguite.

Metodologia

Gli autori propongono un framework meccanicistico incentrato sull'operazione per decomporre i fallimenti dei VLM in base alla specifica operazione di ragionamento e al percorso computazionale interno coinvolto. Lo studio utilizza il dataset GQA, che fornisce annotazioni di programmi funzionali e grafi di scena, permettendo agli autori di identificare i token visivi causalmente rilevanti per ogni step di ragionamento, anziché ablare uniformemente tutti i token visivi.

La metodologia impiega tre interventi causali complementari applicati attraverso tutti i 36 layer del modello Qwen2.5-VL-3B-Instruct:

Ablazione della Media Causale (Causal Mean Ablation): Sostituisce gli stati latenti di specifici token di grounding (associati a un oggetto target) con un baseline neutro (la media delle attivazioni di tutti i token visivi). Questo misura la dipendenza causale totale dalla rappresentazione visiva dell'oggetto.
Knockout dell'Attenzione (Attention Knockout): Imposta a zero i pesi di attenzione dai token della risposta ai token dell'oggetto di grounding in layer specifici, isolando il percorso di attenzione cross-token.
Knockout dell'MLP (MLP Knockout): Azzera l'output della rete feed-forward (MLP) in specifiche posizioni di token (sia nella posizione dell'oggetto che in quella della risposta), isolando il percorso feedforward within-token.

Gli autori definiscono la Forza di Grounding (Grounding Strength) come la degradazione massima della log-probabilità della risposta corretta sotto l'ablazione della media. Calcolano inoltre lo Spostamento della Specificità di Grounding (GSS) (Cohen's d) per quantificare la differenza di degradazione tra predizioni corrette e errate, che funge da metrica primaria per classificare le modalità di fallimento.

Contributi Chiave

1. Tassonomia dei Fallimenti Consapevole dell'Operazione

Il paper identifica quattro modalità di fallimento meccanicamente distinte, ognuna caratterizzata da una relazione unica tra forza di grounding e correttezza della risposta:

Fallimento di Grounding (Grounding Failure): Si verifica quando le risposte corrette mostrano una forza di grounding sostanzialmente più alta rispetto a quelle errate. Il modello fallisce perché non sviluppa mai una dipendenza causale dalla regione visiva dell'oggetto target (es. l'operazione di select).
Fallimento di Ragionamento (Reasoning Failure): Si verifica quando la relazione si inverte; le risposte errate esibiscono una forza di grounding maggiore rispetto a quelle corrette. Il modello localizza l'oggetto ma si ancora eccessivamente alla sua rappresentazione visiva durante le fasi in cui dovrebbe dominare l'inferenza relazionale astratta (es. l'operazione di relate).
Fallimento di Estrazione Attributi (Attribute Extraction Failure): Si verifica quando la forza di grounding è elevata indipendentemente dalla correttezza. Il modello ancora correttamente l'oggetto, ma il calcolo finale che converte la rappresentazione radicata in una risposta fallisce (es. verify, query, exist).
Fallimento per Dominanza del Prior Linguistico (Language Prior Dominance Failure): Si verifica quando la forza di grounding è bassa per entrambe le risposte, corrette o errate. Il modello si affida a pattern linguistici e conoscenza del mondo piuttosto che alla computazione visiva (es. choose, filter).

2. Dissociazione dei Percorsi

Un risultato centrale è la dissociazione dei percorsi computazionali tra le modalità di fallimento:

I fallimenti di Grounding e di Estrazione Attributi passano principalmente attraverso la Rete Feedforward (MLP). Per select, il fallimento risiede nell'elaborazione della rappresentazione dell'oggetto; per verify e query, il fallimento risiede nella capacità dell'MLP in posizione di risposta di estrarre l'attributo corretto da una rappresentazione ben radicata.
I fallimenti di Ragionamento passano principalmente attraverso l'Attenzione nei Layer Tardivi (Late-Layer Attention). Per relate, gli errori sono guidati dal token della risposta che attende ai token visivi dell'oggetto nei layer tardivi (28–35), indicando un eccessivo affidamento sul contenuto visivo piuttosto che sul ragionamento astratto.

3. Validazione Cross-Architettura e Cross-Benchmark

Benchmark VSR: La validazione sul benchmark Visual Spatial Reasoning (VSR) conferma che gli errori di ragionamento spaziale sono mediati dall'MLP durante la fase di codifica dell'oggetto (specificamente nell'elaborazione dei token della bounding box), e non durante la fase di decodifica della risposta. Ciò distingue i fallimenti del ragionamento spaziale dai fallimenti di estrazione degli attributi.
Analisi LLaVA-1.5-7B: Applicando l'analisi a LLaVA-1.5 (che utilizza un encoder CLIP congelato), le modalità di fallimento di Estrazione Attributi e Prior Linguistico rimangono coerenti (indipendenti dall'architettura). Tuttavia, i fallimenti di Grounding e Ragionamento scompaiono. Ciò suggerisce che queste modalità siano dipendenti dall'encoder, emergendo solo quando l'encoder visivo preserva una granularità spaziale sufficiente affinché il modello linguistico possa fallire nel processarla.

Risultati

Fallimento di Grounding (select): Mostra un forte associazione positiva tra forza di grounding e correttezza ( $d = +0.75$ ). Il fallimento è localizzato nell'MLP in posizione di risposta, indicando che il riconoscimento dell'oggetto dipende dalle trasformazioni within-token piuttosto che dal routing dell'attenzione.
Fallimento di Ragionamento (relate): Mostra un'associazione negativa ( $d = -0.17$ ), dove le risposte errate sono più dipendenti dai token visivi dell'oggetto. Il knockout dell'attenzione amplifica questo effetto, con errori concentrati nei layer tardivi, confermando che il modello "si ancora eccessivamente" (over-grounds) sul contenuto visivo quando dovrebbe ragionare astrattamente.
Estrazione Attributi (verify, query, exist): Mostra un'elevata forza di grounding assoluta ma nessuna discriminazione significativa della correttezza nel knockout dell'attenzione, indicando una rottura nella conversione delle rappresentazioni radicate in attributi specifici.
Prior Linguistico (choose, filter): Mostra una forza di grounding trascurabile e nessun effetto significativo sui percorsi, confermando che queste operazioni bypassano la computazione visiva.

Significato

Il paper rivendica di fornire una base principesca per miglioramenti mirati alla affidabilità dei VLM nel ragionamento multimediale. Dimostrando che diversi tipi di fallimento richiedono strategie correttive fondamentalmente diverse, il lavoro sostiene che le soluzioni "one-size-fits-all" non sono adeguate. Nello specifico:

Interventi mirati alla elaborazione feedforward sono necessari per gli errori di grounding ed estrazione attributi.
Interventi mirati al routing dell'attenzione (specialmente nei layer tardivi) sono necessari per gli errori di ragionamento.
La distinzione tra modalità di fallimento di livello di task (indipendenti dall'architettura) e dipendenti dall'encoder offre un framework diagnostico per comprendere i limiti del modello basati sulle capacità di codifica visiva.

Gli autori sottolineano che il loro contributo è diagnostico, offrendo una mappa meccanicistica di come i VLM falliscono, piuttosto che proporre un intervento correttivo specifico. Questa comprensione granulare è presentata come un prerequisito per lo sviluppo di VLM più robusti e affidabili.