💬 NLP

Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models

Questo articolo propone un framework unificato che utilizza segnali di pre-generazione derivanti dalle rappresentazioni dei token visivi e dagli stati latenti condizionati dal prompt per prevedere e disgiungere se gli errori dei modelli visione-linguaggio derivino da colli di bottiglia di percezione/riconoscimento o da fallimenti nel recupero della conoscenza, consentendo interventi mirati prima della generazione della risposta.

Autori originali: Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

Pubblicato 2026-07-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un amico robot super intelligente che può guardare una foto e rispondere a qualsiasi domanda su di essa. Se gli mostri una foto nitida di una famosa star del cinema e gli chiedi: "Chi è questo?", di solito non sbaglia un colpo. Ma se gli chiedi: "Dove è nato questo attore?" o "Qual è l'habitat naturale di questo strano insetto?", il robot a volte inciampa. Potrebbe indovinare il paese sbagliato o dire che l'insetto vive nell'oceano quando invece vive in una foresta.

Per molto tempo, i ricercatori hanno trattato queste risposte errate come un unico, disordinato ammasso di fallimenti. Dicevano semplicemente: "Ops, il robot ha sbagliato", e andavano avanti. Ma questo nuovo articolo suggerisce che è come dire che un'auto si è guastata senza controllare se il problema sia il motore, le gomme o il carburante. Gli autori, un team di scienziati, volevano capire esattamente dove il robot inciampa prima ancora che finisca la sua frase.

I due grandi errori: "Non riesco a vederlo" vs. "Non lo conosco"

I ricercatori hanno costruito un albero diagnostico speciale per classificare gli errori in quattro distinti contenitori. Immaginalo come un detective che cerca di risolvere un mistero prima ancora che il sospettato parli.

L'oscurità visiva: A volte la foto è semplicemente troppo sfocata, buia o danneggiata. Il robot letteralmente non riesce a vedere i dettagli.
Lo sconosciuto: La foto è chiara, ma il robot non ha mai incontrato la persona o l'animale nella foto. È come guardare una celebrità di una cultura di cui il robot non è mai stato istruito.
Il fatto dimenticato: Il robot riconosce perfettamente la persona (ad esempio, "Quello è Tom Cruise!"), ma dimentica il fatto specifico che hai chiesto (ad esempio, "Non ricordo l'anno della sua nascita").
La biblioteca mancante: Il robot sa chi è la persona, ma il fatto che hai chiesto non esiste proprio nel suo cervello.

L'articolo sostiene che non tutti questi errori siano uguali. Dimostrano esplicitamente che non si può usare un unico "misuratore di incertezza" generico per catturarli tutti. Un misuratore generico potrebbe dirti che il robot è "insicuro", ma non ti dirà il perché.

La magia dei segnali di "Pre-Generazione"

Ecco la parte più interessante: gli autori hanno scoperto che potevano prevedere quale tipo di errore stava per arrivare prima che il robot iniziasse a scrivere la sua risposta. Non avevano bisogno di aspettare che il robot dicesse qualcosa di sbagliato; avevano solo bisogno di dare un'occhiata ai suoi "pensieri" interni subito dopo aver guardato l'immagine e letto la domanda, ma prima di generare una singola parola.

Hanno scoperto una divisione affascinante nel modo in cui il robot pensa:

Per gli errori visivi e di riconoscimento: Se il robot fatica a vedere l'immagine o a identificare l'oggetto, l'indizio è nascosto nei token visivi. Immagina questi come gli "occhi" del robot. Se gli occhi sono confusi, il segnale è più forte proprio lì, nella parte visiva del cervello. L'articolo mostra che osservare questi segnali visivi è incredibilmente efficace, con punte di accuratezza che raggiungono il 97,0 (su una scala dove 100 è la perfezione) per individuare i fallimenti dell'evidenza visiva.
Per gli errori fattuali: Una volta che il robot ha identificato correttamente l'oggetto, gli indizi per gli errori fattuali si spostano in una parte diversa del cervello: gli stati nascosti condizionati dal prompt. Pensa a questo come al "centro della memoria" del robot, dove tiene insieme la domanda e il nome dell'entità. Se il robot conosce l'insetto ma non ne conosce l'habitat, il segnale di errore vive qui. L'articolo ha scoperto che osservare gli ultimi otto token del prompt (un pezzo specifico del processo di pensiero interno del robot) era il modo migliore per catturare questi errori, superando altri metodi.

L'articolo esclude esplicitamente l'idea che aspettare la generazione della risposta aiuti molto. Hanno testato metodi che analizzano il testo dopo che il robot ha parlato, e quelli sono stati generalmente più deboli rispetto al controllo dei segnali interni prima che il robot parli.

L'esperimento "Riparalo"

Per dimostrare che questa idea funziona, il team ha allestito un "officina di riparazione". Hanno usato i loro segnali di pre-generazione per diagnosticare il problema e poi hanno mandato il robot dal meccanico giusto:

Se il segnale indicava "Fallimento dell'evidenza visiva", hanno usato uno strumento per "riparare" l'immagine sfocata, rendendola più chiara, e hanno chiesto al robot di riprovare.
Se il segnale indicava "Entità Sconosciuta", hanno dato al robot un indizio su chi fosse la persona o l'animale.
Se il segnale indicava "Fatto Mancante", hanno fornito al robot una rapida scheda informativa sull'entità.
Se il segnale indicava "Fatto Irrecuperabile", hanno riscritto la domanda per rendere il nome dell'entità super chiaro, aiutando il robot a recuperare la memoria.

I risultati sono stati impressionanti. Per il dataset iNaturalist (domande su piante e animali), i robot partivano da un'accuratezza molto bassa, tra il 4,8% e il 12,1%. Dopo questo processo di riparazione mirata, l'accuratezza è balzata al 39,6% - 46,6%. Si tratta di un miglioramento enorme, che suggerisce che sapere perché un robot fallisce ci permette di ripararlo molto meglio rispetto al semplice sperare che abbia fortuna la prossima volta.

Cosa significa questo (e cosa non significa)

L'articolo suggerisce che il modo in cui questi modelli Vision-Language falliscono è strutturato e prevedibile. Non è un caos casuale; è un breakdown specifico tra gli occhi, il riconoscimento o la memoria.

Tuttavia, gli autori sono cauti nel non affermare che questo sia un problema risolto perfettamente. Notano che il loro esperimento di "riparazione" è stato una prova di concetto utilizzando uno strumento potente (GPT-5) per effettuare la riparazione. Ammettono che ciò introduce costi aggiuntivi e potenziali errori degli strumenti, e che un sistema del mondo reale avrebbe bisogno di strumenti più economici e specializzati per fare lo stesso lavoro. Inoltre, le loro etichette per il "fallimento" si basano su test specifici che hanno progettato, non necessariamente su una comprensione umana perfetta di ogni possibile errore.

Ma il messaggio centrale è chiaro ed eccitante: non dobbiamo aspettare che un robot dia una risposta sbagliata per sapere che è nei guai. Ascoltando i suoi segnali interni prima che parli, possiamo capire se sta socchiudendo gli occhi davanti a una foto sfocata, se sta fissando uno sconosciuto o se ha semplicemente un vuoto di memoria su un fatto. E una volta che conosciamo la causa, possiamo mandarlo nell'officina giusta per ottenere la risposta corretta.

Sintesi Tecnica: Fallisce nel Vedere o Fallisce nel Sapere? Attribuire gli Errori nei Modelli Vision-Language

Definizione del Problema

I modelli Vision-Language (VLM) dimostrano un'elevata competenza nel rispondere a domande basate su immagini di alta qualità, ma incontrano spesso difficoltà quando le query richiedono conoscenze che vanno oltre la percezione visiva immediata. In questi sceni di Visual Question Answering (VQA) ad alta intensità di conoscenza, un singolo errore può derivare da modalità di fallimento distinte: evidenza visiva degradata, entità non riconosciute, fatti parametrici mancanti o fallimento del richiamo fattuale nonostante il riconoscimento dell'entità.

La ricerca precedente ha ampiamente trattato questi errori come fallimenti monolitici o ha investigato singoli modi di fallimento (ad esempio, degradazione dell'immagine o bias culturali) in isolamento. Di conseguenza, gli attuali metodi di quantificazione dell'incertezza forniscono tipicamente un segnale binario di "probabile fallimento" senza diagnosticare la fonte specifica dell'incertezza. Questa mancanza di granularità impedisce interventi mirati, come distinguere tra un'immagine che necessita di riparazione e una query che richiede il recupero di fatti esterni.

Metodologia

Tassonomia dell'Attribuzione

Gli autori propongono un framework unificato che decompone gli errori VQA in quattro componenti di incertezza mutuamente esclusive, formando un albero di attribuzione:

Fallimento dell'Evidenza Visiva ( $Z_d$ ): L'immagine è troppo degradata (ad esempio, rumore, sfocatura) per supportare il riconoscimento.
Entità Sconosciuta ( $Z_u$ ): L'entità è visivamente riconoscibile ma sconosciuta al modello (fuori distribuzione o sotto-rappresentata).
Fatto Sconosciuto ( $Z_f$ ): L'entità è riconosciuta, ma il fatto richiesto è assente dalla conoscenza parametrica del modello.
Fatto Irrecuperabile ( $Z_r$ ): L'entità è riconosciuta e si assume che il fatto sia disponibile, ma il modello fallisce nel recuperarlo o nell'utilizzarlo correttamente.

Curatela e Etichettatura dei Dati

Per addestrare i probe per questi specifici modi di fallimento, gli autori hanno costruito un dataset partendo da PopVQA (celebrità, monumenti, loghi, dipinti) e iNaturalist (specie di piante e animali). Hanno applicato una procedura di etichettatura scalabile e specifica per il modello:

Entità Sconosciute vs. Degradate: Hanno utilizzato un "probe di riconoscimento verbalizzato" con prompt distrattori per distinguere tra entità che il modello non può riconoscere a causa della degradazione visiva (indotta tramite sfocatura gaussiana, rumore, compressione JPEG) rispetto a entità che semplicemente non conosce.
Accesso ai Fatti: Per separare "Fatto Sconosciuto" da "Fatto Irrecuperabile", hanno impiegato un test a due passaggi (two-hop). Se un modello fallisce la domanda originale basata sull'immagine ma ha successo quando il nome dell'entità viene fornito esplicitamente nel prompt, il fallimento è attribuito a Fatto Irrecuperabile (fallimento di accesso cross-modale). Se fallisce in entrambi i casi, il fatto è considerato Sconosciuto.

Estrazione delle Caratteristiche Pre-Generazione

L'indagine principale si concentra su se gli stati interni del modello prima della decodifica possano predire queste fonti di fallimento. Gli autori hanno estratto le caratteristiche dopo che il prompt immagine-domanda è stato elaborato ma prima che iniziasse la generazione della risposta:

VIS: Stati nascosti dell'ultimo token dell'immagine (caratteristiche del prompt visivo).
EOP: Stato nascosto dell'ultimo token del prompt.
LAST8: Stati nascosti concatenati degli ultimi otto token del prompt.
ATTN: Pesi di attenzione appiattiti dagli ultimi otto token verso una finestra di lookback.
ATTN+LAST8: Una combinazione dei precedenti.

Queste caratteristiche sono state fornite a probe leggeri (testine lineari o piccoli transformer) addestrati per predire il ramo di fallimento specifico nell'albero di attribuzione.

Contributi Chiave

Tassonomia dell'Albero di Attribuzione: Il paper introduce una decomposizione strutturata dei fallimenti VQA ad alta intensità di conoscenza in evidenza visiva, riconoscimento dell'entità, richiamo fattuale e disponibilità della conoscenza, andando oltre il rilevamento binario dell'errore.
Procedura di Etichettatura Scalabile: Un metodo per assegnare specifici modi di fallimento agli esempi VQA utilizzando probe controllati (distrattori, riscritture con entità esplicite e degradazione sintetica dell'immagine) anziché fare affidamento su costose annotazioni umane.
Predizione del Fallimento Pre-Generazione: La dimostrazione che le rappresentazioni interne dei VLM possono predire le fonti di fallimento prima che venga generata una risposta. Fondamentalmente, il paper identifica che segnali diversi sono ottimali per diversi tipi di fallimento:
- Le caratteristiche del token visivo (VIS) sono i predittori più forti per il riconoscimento e i fallimenti dell'evidenza visiva.
- Gli stati nascosti condizionati dal prompt (LAST8) sono superiori per predire i fallimenti fattuali (fatto sconosciuto vs. irrecuperabile) una volta che l'entità è stata riconosciuta.

Risultati Sperimentali

Lo studio ha valutato quattro famiglie di VLM (Gemma-3, Llama-3.2, Qwen2.5-VL, Qwen3-VL) su PopVQA e iNaturalist.

Distribuzione dei Fallimenti: "Fatto Sconosciuto" è stato il modo di fallimento dominante (36–64% degli errori), seguito da "Entità Sconosciuta" e "Fatto Irrecuperabile". Ciò conferma che molti errori si verificano anche dopo il successo del riconoscimento dell'entità.
Performance delle Caratteristiche:
- Per l'Evidenza Visiva e il Riconoscimento dell'Entità, le caratteristiche VIS hanno ottenuto il PR-AUC più alto (ad esempio, 97.0 per l'evidenza visiva), superando significativamente le caratteristiche basate sul prompt.
- Per il Successo della Risposta e l'Accesso ai Fatti, le caratteristiche LAST8 (particolarmente con una testina Transformer) hanno superato VIS ed EOP, raggiungendo PR-AUC medi rispettivamente di 62.7 e 53.5.
- Classificazione ad Albero vs. Flat: Un approccio composto ad albero (utilizzando probe specializzati per ogni decisione binaria) ha costantemente superato un classificatore diretto a 5 etichette (49.2 vs. 41.2 macro PR-AUC), suggerendo che separare le decisioni lato immagine e lato fattuale sia necessario.
Generalizzazione Cross-Dataset: I probe addestrati su PopVQA si sono trasferiti bene su iNaturalist per i compiti visivi e di riconoscimento (alto PR-AUC), ma hanno mostrato prestazioni inferiori per i compiti fattuali, indicando che i segnali fattuali sono più specifici del dominio.
Mitigazione Guidata dai Probe: L'uso dell'albero di attribuzione per instradare gli esempi verso interventi mirati (riparazione dell'immagine, identificazione dell'entità, riscrittura della domanda o fornitura di fatti esterni) ha migliorato l'accuratezza finale della risposta di 30.8–39.3 punti percentuali. Notevolmente, "Fatto Sconosciuto" è stato il maggior contributore a questi guadagni, validando l'utilità di identificare precocemente la conoscenza mancante.

Significato e Rivendicazioni

Il paper sostiene che i fallimenti dei VLM nella VQA ad alta intensità di conoscenza sono strutturati piuttosto che casuali. Analizzando gli stati interni pre-generazione, è possibile diagnosticare perché un modello è incerto prima che generi una risposta.

Gli autori affermano che questa capacità diagnostica consente interventi efficienti e mirati. Inveve di una decisione binaria "astenersi o rispondere", i sistemi possono instradare i casi incerti verso meccanismi di riparazione specifici:

Se il segnale indica degradazione visiva, l'immagine può essere riparata.
Se il segnale indica entità sconosciuta, il sistema può cercare supporto per il riconoscimento dell'entità.
Se il segnale indica conoscenza mancante, il sistema può attivare il recupero esterno.

Il lavoro suggerisce che la natura "a due passaggi" (two-hop) della VQA ad alta intensità di conoscenza (riconoscimento visivo seguito dal recupero di fatti) è riflessa nelle rappresentazioni interne del modello, con i token visivi che codificano il primo passaggio e gli stati nascosti condizionati dal prompt che codificano il secondo. Questa scoperta supporta lo sviluppo di sistemi multimodali più robusti e autocorrettivi in grado di identificare e affrontare i propri limiti specifici.