Riepilogo Tecnico: Dove Risiede l'Affidabilità nei Modelli Vision-Language

Enunciato del Problema

I Modelli Vision-Language (VLM) producono frequentemente risposte fluide ma errate (allucinazioni) non supportate dall'input visivo. In scenari di deployment ad alto rischio (ad esempio, triage medico, analisi scientifica), vi è un bisogno critico di segnali di affidabilità che siano sia predittivi della correttezza sia meccanicisticamente interpretabili.

Un'intuizione pervasiva, denominata Assunzione Attenzione-Confidenza, postula che l'affidabilità di un VLM sia direttamente leggibile dalle sue mappe di attenzione: se il modello concentra la sua attenzione visiva in modo netto sulla regione interrogata, la risposta dovrebbe essere affidabile; un'attenzione diffusa dovrebbe segnalare una minore affidabilità. Questo lavoro sfida tale assunzione, chiedendosi se la struttura dell'attenzione (nitidezza, frammentazione, entropia) sia effettivamente calibrata alla probabilità del modello di essere corretto, o se l'informazione sull'affidabilità risieda altrove nel calcolo.

Metodologia: Il Sonda di Affidabilità VLM (VRP)

Gli autori introducono la Sonda di Affidabilità VLM (VRP), una pipeline meccanicistica unificata progettata per confrontare tre classi distinte di segnali contro un'unica etichetta di correttezza su tre famiglie di VLM a pesi aperti (LLaVA-1.5, PaliGemma, Qwen2-VL; 3–7B parametri) e quattro benchmark (POPE, LLaVA-Bench, una suite personalizzata di conteggio/spaziale, VQAv2, TextVQA).

La pipeline opera in tre fasi:

1. Metriche Strutturali (Attenzione): I tensori di cross-attenzione sono ridotti a vettori spaziali per livello. Vengono estratte due quantità strutturali: Entropia Spaziale ($H_s$) e Conteggio dei Componenti Secondari ($C_k$), quest'ultimo misurando la frammentazione dell'attenzione in componenti connesse.
2. Letture Meccanicistiche (Stati Nascosti):
   • Logit Lens: Il flusso residuo è proiettato attraverso la matrice di unembedding a ogni livello per calcolare un margine di verità ($\Delta M_\ell$), misurando la separazione tra il token corretto e i concorrenti.
   • Sonde Sparse: Vengono addestrati sonde lineari regolarizzate L1 sugli stati nascosti per identificare circuiti causali sparsi associati alla correttezza.
   • Analisi Residuale: Il contributo degli strati MLP rispetto agli strati di attenzione alla crescita del margine di verità viene decomposto.
3. Metriche Comportamentali: La coerenza interna è misurata campionando $K=10$ output e calcolando il supporto della risposta maggioritaria, fungendo da baseline comportamentale ad alto costo.

Lo studio impiega interventi causali per validare i risultati, inclusi masking delle patch top-30% (per testare la necessità dell'attenzione) e ablazione dei neuroni (per testare il ruolo causale di specifiche unità nascoste).

Risultati Chiave

1. La Struttura dell'Attenzione non è un Predittore di Correttezza

Contrariamente all'Assunzione Attenzione-Confidenza, la struttura dell'attenzione è un predittore di correttezza vicino allo zero.

• Evidenza Statistica: Su un dataset aggregato di $n=3.090$, la correlazione punto-biseriale tra il conteggio dei componenti secondari ($C_k$) e la correttezza è $R_{pb} = 0,001$, e l'entropia spaziale ($H_s$) è $R_{pb} = -0,012$. Entrambe sono statisticamente indistinguibili da zero.
• Test di Stress Supervisionato: Anche un ensemble XGBoost–Random Forest addestrato su 11 feature derivate dall'attenzione con accesso completo alle etichette raggiunge solo una precisione del 52–55% (vicino al caso).
• Necessità Causale vs. Sufficienza: Sebbene l'attenzione sia causalmente necessaria per l'estrazione delle caratteristiche (mascherare le patch con attenzione top-30% riduce la precisione di 8,2–11,3 punti percentuali), la sua struttura (nitidezza o frammentazione) non codifica un'incertezza calibrata. Un modello può prestare attenzione perfettamente all'oggetto giusto e tuttavia allucinare.

2. L'Affidabilità Emerge Tardi ed è Guidata dagli MLP

L'affidabilità diventa leggibile solo nelle fasi successive del flusso residuo.

• Dinamiche del Logit Lens: Il margine di verità cresce monotonicamente con la profondità. Per LLaVA, una "fase silenziosa" dura fino al livello 21, con un picco al livello 24. PaliGemma si integra prima (picco al livello 14), mentre Qwen2-VL mostra una ri-separazione ciclica.
• Dominio degli MLP: La crescita del margine di verità è guidata principalmente dalle scritture MLP (dal 47,6% all'82,1% della crescita del margine), non dalle scritture di attenzione. Ciò suggerisce che l'affidabilità dipende dalla promozione di concetti latenti nello spazio del vocabolario piuttosto che dalla coerenza spaziale nella mappa di attenzione.
• Potere Predittivo: Una singola sonda lineare sugli stati nascosti raggiunge un AUROC > 0,95 su POPE per LLaVA e Qwen2-VL, superando significativamente le metriche basate sull'attenzione (AUROC $\approx$ 0,50).

3. Asimmetria nella Robustezza Architettonica

La posizione e la distribuzione dei circuiti di affidabilità differiscono nettamente in base all'architettura:

• Fusione Tardiva (LLaVA): L'affidabilità è concentrata in un collo di bottiglia fragile tardivo. L'ablazione dei top-5 neuroni selezionati dalla sonda nell'ultimo livello causa un calo di 8,3 punti percentuali nella precisione di identificazione degli oggetti. Il segnale è sparso e localizzato.
• Fusione Precoce/Ciclica (PaliGemma, Qwen2-VL): L'affidabilità è ampiamente distribuita. Questi modelli assorbono la distruzione di ~50% della loro dimensione nascosta del livello di picco con un degrado $\le$ 1 punto percentuale. L'integrazione più precoce di PaliGemma e la raffinazione ciclica di Qwen2-VL distribuiscono il segnale su molti livelli, rendendoli robusti al danno di singole unità ma più opachi all'interpretazione a livello di neurone.

4. Confronto dei Predittori

• Sonde sugli Stati Nascosti: Il segnale interno singolo più forte (AUROC > 0,95 per LLaVA/Qwen2-VL).
• Coerenza Interna: Il predittore comportamentale più forte ($R_{pb}=0,43$) ma richiede un costo di inferenza 10× superiore.
• Mappe di Attenzione: Statisticamente non informative (AUROC $\approx$ 0,50).

Significato e Affermazioni

Il lavoro afferma di falsificare l'Assunzione Attenzione-Confidenza, dimostrando che la nitidezza dell'attenzione è epistemicamente fuorviante come segnale di fiducia. Gli autori sostengono che:

1. L'attenzione risponde a una domanda diversa rispetto all'affidabilità: Indica quali caratteristiche sono state recuperate, non se quelle caratteristiche verranno interpretate correttamente.
2. L'affidabilità è un fenomeno tardivo, guidato dagli MLP: Il calcolo che distingue le risposte corrette da quelle errate avviene tardi nel flusso residuo ed è dominato dalle operazioni MLP.
3. Implicazioni per la Progettazione dei Monitor:
   • Sostituire le Mappe di Calore dell'Attenzione: Per deployment sensibili alla sicurezza, le sonde sugli stati nascosti dovrebbero sostituire le mappe di attenzione come segnale primario di fiducia.
   • Specificità Architettonica: I monitor devono essere adattati all'architettura del modello. Gli stack a fusione tardiva (come LLaVA) si affidano a circuiti tardivi sparsi e fragili, mentre gli stack a fusione precoce distribuiscono l'affidabilità, richiedendo letture dense.
   • Trade-off Costo-Beneficio: Sebbene la coerenza interna sia un predittore forte, il suo costo di inferenza rende le sonde sugli stati nascosti la soluzione preferita per applicazioni a bassa latenza.

Gli autori concludono che la "comoda ma empiricamente falsificata metafora dell'attenzione come fiducia" dovrebbe essere ritirata a favore di monitor di affidabilità basati sugli stati nascosti e sulla coerenza.