Sintesi Tecnica: Mirage Probes: Come i Modelli di Visione Simulano la Comprensione Visiva

Definizione del Problema

I modelli vision-language (VLM) vengono sempre più impiegati in domini ad alto rischio come l'imaging medico, l'analisi di documenti e il ragionamento scientifico, dove le risposte devono essere ancorate all'input visivo. Tuttavia, recenti osservazioni sul "comportamento miraggio" (mirage behavior) mettono in discussia l'assunto che il successo nei benchmark equivalga a un fedele ragionamento visivo. Il comportamento miraggio si verifica quando i VLM rispondono con sicurezza a domande basate su immagini anche quando l'immagine è assente. Ciò suggerisce che le prestazioni sui benchmark multimodali (es. MMMU, VQA-RAD) possano riflettere prior testuali, regolarità del dataset o scorciatoie, piuttosto che un uso di evidenze visive autentiche.

Il lavoro precedente tratta ampiamente il comportamento miraggio come un singolo modo di fallimento. Gli autori sostengono che questa sia una semplificazione eccessiva, proponendo che lo stesso comportamento a livello di output possa derivare da due distinti meccanismi interni:

1. Bias Testuali: Il modello risponde direttamente dai prior linguistici senza coinvolgere le rappresentazioni visive.
2. Immagini Spurie: Il modello costruisce contenuti visivi falsi nel proprio spazio latente e risponde come se fossero ancorati alla realtà, simulando efficacemente un'immagine per supportare la risposta.

Distinguere tra questi meccanismi è critico perché le strategie di mitigazione differiscono: la pulizia della distribuzione testuale affronta il primo, ma non può raggiungere il secondo, che risiede nelle rappresentazioni visive del modello.

Metodologia

Framework Mirage Probes

Gli autori introducono Mirage Probes, un framework di probing contrastivo progettato per rilevare e analizzare il comportamento miraggio a livello di rappresentazione.

1. Costruzione del Dataset:

   • Gli autori generano dataset confrontando le risposte del modello con un'immagine ($r_{img}$) e senza un'immagine ($r_{\emptyset}$).
   • Euristica di Etichettatura: Una risposta con immagine è etichettata come "simile al miraggio" ($y=1$) se la generazione senza immagine produce la stessa risposta con un'alta similarità semantica (similarità del coseno bag-of-words > 0.7). È etichettata come "non simile al miraggio" ($y=0$) se la generazione senza immagine esprime esplicitamente incertezza o dichiara che il compito è impossibile senza l'immagine.
   • Coppie Contrastive: Per ridurre i confondimenti testuali superficiali (es. parole tematiche, stile della domanda), gli autori utilizzano GPT-4o-mini per generare quattro varianti parafrasate di ogni domanda base. Costruiscono coppie contrastive dove l'immagine e l'intento sottostante rimangono fissi, ma la formulazione della domanda varia, risultando in diversi label di miraggio. Ciò assicura che i probe apprendano il meccanismo del miraggio piuttosto che caratteristiche lessicali superficiali.

2. Estrazione delle Attivazioni:

   • Lo studio sonda tre VLM open-source: Ovis2.5-2B, GLM-4.6-flash e Qwen3-32B-VL-Instruct.
   • Le attivazioni sono estratte da quattro siti all'interno dell'architettura transformer:
     • Stati dello stream residuo
     • Output dei MLP
     • Output post-attenzione
     • Output dei singoli head di attenzione
   • Le attivazioni sono aggregate utilizzando tre strategie di pooling: text-nonspecial-mean, vision-tail e vision-text-mean.

3. Addestramento dei Probe:

   • Quattro famiglie di probe vengono addestrate per predire il label del miraggio dalle attivazioni interne:
     • Regressione Logistica (Lineare): Testa se il miraggio è codificato come una singola direzione lineare.
     • MLP a due strati: Testa la codifica non lineare.
     • Probe Concatenati: Si addestra sulle attivazioni di tutti i layer simultaneamente.
     • Difference Probes: Si addestra sulla differenza elemento per elemento tra le attivazioni con immagine e senza immagine ($\Delta h = h_{img} - h_{\emptyset}$).
   • Baseline: Un classificatore Naive Bayes addestrato sul testo della risposta viene utilizzato per escludere confondimenti lessicali superficiali.
   • Metrica: Viene introdotto un nuovo Prior Harnessing Index (PHI) per misurare quanta informazione un modello può estrarre riguardo a una risposta corretta dal solo testo ($PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$).

Risultati Chiave

1. Decodificabilità Lineare del Comportamento Miraggio

Lo studio dimostra che il comportamento miraggio è linearmente decodificabile dalle attivazioni interne dei VLM in presenza di immagini attraverso tutti e quattro i siti di attivazione (stream residuo, MLP, post-attenzione, head di attenzione).

• Accuratezza: In contesti contrastivi, i probe lineari hanno raggiunto accuratezze fino al 75% (Ovis) e al 72% (Qwen) sugli stream residui, e fino all'85% sugli head di attenzione.
• Linearità: I probe MLP a due strati non hanno superato significativamente i probe lineari, suggerendo che l'informazione del miraggio sia codificata lungo direzioni lineari recuperabili piuttosto che richiedere un'estrazione non lineare complessa.
• Superiorità Contrastiva: I difference probe (addestrati sulle differenze di attivazione) hanno ottenuto l'accuratezza più elevata (fino al 98% in alcuni casi), indicando che lo spostamento rappresentazionale causato dall'aggiunta di un'immagine separa nettamente il miraggio dalle risposte non-miraggio.

2. Riduzione dei Confondimenti Superficiali

Il confronto con la baseline testuale Naive Bayes conferma che i probe non stanno semplicemente rilevando caratteristiche lessicali superficiali.

• Nei contesti contrastivi, l'accuratezza del probe ha superato significativamente la baseline Naive Bayes (es. 61.88% vs 57.67% per Ovis su VQA-RAD).
• Nei contesti "all-examples" (senza accoppiamento contrastivo), l'accuratezza del probe era più alta ma correlata a una maggiore separabilità superficiale, suggerendo che questi probe stessero probabilmente cogliendo indizi testuali piuttosto che meccanismi profondi. Ciò valida la necessità del framework contrastivo.

3. Due Distinti Regimi di Miraggio

I pattern di separabilità tra i benchmark rivelano che il comportamento miraggio non è un fenomeno monolitico, ma probabilmente consiste in due distinti regimi:

• Immagini Spurie: Dominanti in VQA-RAD, dove le domande sono altamente dipendenti dall'immagine (gli umani non possono rispondere senza l'immagine) e i prior testuali sono deboli (basso PHI). Qui, il modello costruisce un contenuto visivo falso.
• Bias Testuali: Più prevalenti in MMMU-Pro e MedXpertQA, dove le domande contengono spesso un contesto testuale sufficiente per rispondere senza l'immagine (alto PHI).
• Evidenza: VQA-RAD ha mostrato la più alta separabilità dei probe. Quando si addestravano i probe solo su esempi "percepiti come dipendenti dall'immagine dagli umani" da altri benchmark, la separabilità non migliorava. Tuttavia, l'uso della metrica PHI ha rivelato che le domande di VQA-RAD aumentano unicamente l'incertezza del modello in assenza di immagini, correlandosi fortemente con il comportamento miraggio. Ciò suggerisce che quando i prior testuali sono insufficienti, il modello ricorre alla costruzione di immagini spurie; quando sono sufficienti, si affida al bias testuale.

Significato e Rivendicazioni

L'articolo sostiene che la fedele ancoraggio visivo richiede interventi a livello rappresentazionale, non solo a livello testuale.

• Insight Meccanicistico: Gli autori forniscono la prima evidenza a livello di rappresentazione che il comportamento miraggio è codificato linearmente e scomponibile in due meccanismi.
• Implicazioni per la Mitigazione: La distinzione ha conseguenze dirette per la sicurezza e l'allineamento. La pulizia delle distribuzioni testuali (es. rimozione delle scorciatoie del dataset) può ridurre i miraggi da bias testuale, ma probabilmente fallirà nel caso dei miraggi da immagini spurie, poiché questi ultimi sono radicati nelle rappresentazioni visive interne del modello.
• Valutazione: Il framework Mirage Probes offre uno strumento diagnostico per valutare se un VLM stia realmente ancorando le sue risposte a evidenze visive o se stia simulando tramite allucinazioni nello spazio latente o scorciatoie testuali.

Gli autori mantengono una posizione modesta, notando che la loro ipotesi dei due meccanismi è empiricamente motivata dai pattern di separabilità e richiede una validazione causale (es. tramite steering o ablazione) in lavori futuri. Sottolineano che i loro label si basano su euristiche e che la rivendicazione centrale rimane correlazionale, sebbene l'esclusione dei confondimenti superficiali tramite il probing contrastivo rafforzi la validità dei risultati.