Tinted Frames: Question Framing Blinds Vision-Language Models

1. Il Problema: L'Accecamento Selettivo dei VLM

I modelli Vision-Language (VLM) hanno mostrato prestazioni impressionanti su benchmark semplici, ma ricerche recenti suggeriscono che la loro capacità visiva è spesso sovrastimata. Invece di ragionare realmente sull'immagine, questi modelli tendono a fare affidamento su priors linguistici (bias testuali) per generare risposte plausibili.

Il paper identifica un fenomeno specifico e dinamico: i VLM non sono semplicemente "ciechi" in modo statico, ma sono selettivamente ciechi. La quantità di attenzione che un modello dedica all'input visivo dipende drasticamente dalla formulazione della domanda (question framing), anche quando il ragionamento visivo richiesto è identico.

• Framing Aperto (Open-Ended): Il modello tende a guardare l'immagine e ragionare visivamente.
• Framing Vincolato (Yes/No o Multiple Choice - MCQ): Il modello riduce drasticamente l'attenzione visiva, distogliendo lo sguardo dalle regioni rilevanti e focalizzandosi su token non informativi o "sink" (token di attenzione senza significato semantico), portando a errori di grounding e incoerenze.

2. Metodologia e Analisi Meccanicistica

Gli autori hanno condotto un'analisi rigorosa per dimostrare come la formulazione della domanda influenzi il flusso di informazioni all'interno del modello.

A. Incoerenza Cross-Framing (F→Y)

Hanno definito una metrica di incoerenza cross-framing: la percentuale di casi in cui un modello risponde correttamente a una domanda aperta, ma fallisce quando la stessa domanda semantica viene riformulata come Yes/No o MCQ.

• Risultato: L'incoerenza è significativa (fino al 26% su GQA e 38% su SeedBench), specialmente per compiti che richiedono un grounding visivo (es. relazioni spaziali, conteggio di oggetti).

B. Analisi dell'Attenzione Visiva (F→A→Y)

Utilizzando la tecnica Attention Rollout (che traccia la propagazione delle informazioni attraverso i layer e le connessioni residue), gli autori hanno quantificato l'impatto del framing sull'attenzione:

1. Energia Visiva Ridotta: I framing vincolati (Yes/No, MCQ) mostrano una riduzione sostanziale dell'attenzione totale dedicata all'immagine rispetto al framing aperto.
2. Ridistribuzione Spaziale: L'attenzione viene spostata dalle regioni rilevanti (es. la bounding box dell'oggetto target) verso regioni irrilevanti o token "sink".
   • Su GQA, l'attenzione sulla scatola (Box Attention) scende dal 19% (Open-ended) al 12-13% (Yes/No/MCQ).
3. Aumento dell'Entropia: La distribuzione dell'attenzione diventa più diffusa e meno focalizzata sotto framing vincolati.
4. Layer Intermedi: La divergenza nell'attenzione si manifesta principalmente nei layer intermedi (circa 12-22), dove avviene l'interazione cross-modale.

C. Intervento di Steering dell'Attenzione

Per provare che la riduzione dell'attenzione è la causa dell'errore e non solo una correlazione, gli autori hanno applicato uno steering dell'attenzione:

• Hanno forzato artificialmente i modelli vincolati ad avere livelli di attenzione visiva e distribuzione spaziale simili a quelli del framing aperto.
• Risultato: La precisione è migliorata significativamente, confermando che la cattiva allocazione spaziale dell'attenzione è il motore principale del fallimento.

3. Contributi Chiave e Soluzione Proposta

Sulla base di queste scoperte, il paper propone una strategia di mitigazione leggera e non invasiva.

Metodo: Prompt Tuning con Token Apprendibili

Invece di riaddestrare l'intero modello (che richiederebbe risorse enormi), gli autori introducono un metodo di prompt tuning:

1. Token Apprendibili: Vengono aggiunti un piccolo set di token soft (imparabili, $K=8$) alla fine della sequenza di input per i framing vincolati (Yes/No e MCQ).
2. Obiettivo di Allineamento: Durante il fine-tuning, il modello viene ottimizzato con due loss:
   • Cross-Entropy Loss: Per mantenere la capacità di rispondere correttamente.
   • Attention Alignment Loss: Per forzare i framing vincolati ad allineare la loro mappa di attenzione (sia in magnitudine che in distribuzione spaziale) a quella osservata nel framing aperto.
3. Risultato: Questo approccio "riallinea" il comportamento visivo del modello senza modificare i pesi del modello pre-addestrato.

4. Risultati Sperimentali

Il metodo è stato valutato su 5 modelli VLM diversi (Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision, Gemma3, GLM4.1V) e 7 benchmark.

• Riduzione dell'Incoerenza: Il tasso di incoerenza cross-framing è diminuito drasticamente su GQA e SeedBench, specialmente nei task di grounding fine-grained (es. interazione tra oggetti, conteggio).
• Miglioramento delle Prestazioni:
  • Su benchmark di grounding fine-grained (es. V*, HRBench8k), i miglioramenti sono stati consistenti e significativi (es. +2.5 punti percentuali su Qwen2.5-VL-7B su V*).
  • Su benchmark di ragionamento generale, i miglioramenti sono stati moderati ma positivi.
• Efficienza: Il metodo richiede solo l'addestramento di pochi parametri (circa 60K token apprendibili) e può essere completato in poche ore su una singola GPU, senza toccare i pesi del modello base.

5. Significato e Implicazioni

Questo lavoro offre un cambio di paradigma fondamentale nella comprensione dei VLM:

1. Ridefinizione della "Cecità": La cecità visiva non è un difetto architetturale statico, ma un comportamento dinamico e condizionato dal prompt. Il modello "decide" di non guardare l'immagine quando la domanda è formulata in modo vincolato.
2. Criticità dei Benchmark: Molti benchmark standard (spesso basati su MCQ) potrebbero sottostimare le vere capacità visive dei modelli o, peggio, valutare la loro capacità di sfruttare bias linguistici piuttosto che la comprensione visiva.
3. Soluzione Pratica: Dimostra che è possibile migliorare la robustezza e il grounding visivo dei modelli esistenti con costi computazionali minimi, semplicemente correggendo la loro attenzione tramite prompt tuning, senza bisogno di riaddestramento massivo.

In sintesi, il paper dimostra che la formulazione della domanda agisce come una "cornice tinta" che filtra la percezione visiva del modello, e propone un metodo efficace per rimuovere questo filtro, ripristinando una visione visiva coerente indipendentemente dal formato della domanda.