Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

1. Il Problema: Disallineamento tra "Vedere" e "Percepire"

Nonostante i recenti progressi nei Modelli Vision-Language (VLM), come LLaVA e Qwen-VL, è emersa una discrepanza critica tra la capacità del modello di identificare le regioni visive rilevanti e la sua capacità di generare risposte corrette basate su tali regioni.

• Fenomeno: I VLM spesso riescono a "vedere" la regione corretta dell'immagine (come dimostrato dalle mappe di attenzione), ma falliscono nel produrre la risposta giusta.
• Causa Individuata: Gli autori attribuiscono questo errore a un flusso di informazioni subottimale durante la fase di decoding. I token di testo distribuiscono la loro attenzione cross-modale su un numero eccessivo di token visivi irrilevanti (sfondi, oggetti distrattivi), creando un pattern di attenzione disperso. Questo introduce "rumore" visivo nel percorso di decodifica testuale, distraendo il modello e portando a risposte errate o allucinazioni.
• Limiti delle Soluzioni Esistenti: Metodi come il ritaglio dell'immagine (visual cropping) aumentano i tempi di inferenza e non funzionano bene su ragionamenti relazionali. Il riaddestramento (retraining) richiede risorse computazionali enormi.

2. Metodologia: Flusso di Informazioni Adattivo (AIF)

Il paper propone un metodo training-free (senza riaddestramento) chiamato Adaptive Information Flow (AIF). L'idea centrale è modulare il flusso di informazioni durante l'inferenza, bloccando selettivamente le connessioni tra i token di testo e i token visivi irrilevanti, costringendo il modello a concentrarsi solo sulle regioni critiche.

La metodologia si articola in tre fasi principali:

A. Analisi delle Dinamiche dei Token (Token Dynamics)

Gli autori osservano che i token visivi corrispondenti a regioni importanti mostrano pattern di attivazione distinti rispetto a quelli irrilevanti durante le diverse fasi di decoding:

• I token importanti tendono ad avere valori di attenzione elevati in specifici strati del LLM.
• I token irrilevanti mostrano pattern di attivazione irregolari e casuali attraverso gli strati.
• Viene definita la dinamica del token ($D_{v_i}$) come la sequenza dei valori di attenzione massima che un token visivo $v_i$ riceve dai token di testo attraverso tutti gli strati $L$ del modello.

B. Misurazione dell'Importanza tramite Entropia

Per identificare quali token visivi siano "importanti" e quali "irrilevanti" senza supervisione, il metodo utilizza l'entropia calcolata sulle dinamiche dei token:

• Viene calcolata l'entropia ($Ent_{v_i}$) per ogni token visivo basandosi sulla distribuzione dei suoi valori di attenzione attraverso gli strati.
• Logica: Un'alta entropia indica un'alta casualità (pattern irregolari), suggerendo che il token è irrilevante. Un'entropia bassa indica un pattern stabile e significativo.
• I token con alta entropia vengono selezionati per essere mascherati.

C. Modulazione della Maschera Causale

Una volta identificati i token visivi da rimuovere, il metodo modifica la maschera causale (causal mask) utilizzata durante l'attenzione:

• Vengono bloccate le interazioni tra i token di testo e i token visivi selezionati come irrilevanti.
• Preservazione delle informazioni visive: È cruciale notare che il mascheramento blocca solo il flusso visivo -> testuale. Il flusso visivo -> visivo rimane intatto, garantendo che l'immagine non perda informazioni strutturali interne.
• Efficienza: Questo processo richiede solo un passo aggiuntivo di decoding per calcolare le statistiche e generare la nuova maschera. Il resto dell'inferenza procede come al solito.

3. Contributi Chiave

1. Dimostrazione del Ruolo del Flusso di Informazioni: Gli autori provano che la qualità del flusso di informazioni (non solo la presenza dei token visivi) è determinante per la percezione corretta. Bloccare il rumore visivo migliora le prestazioni.
2. Metodo Training-Free Adattivo: Proposta di una tecnica AIF basata sulla dinamica dei token che non richiede modifiche ai pesi del modello, né riaddestramento, né modifiche architetturali.
3. Validazione Sperimentale: Dimostrazione che la modulazione del flusso di informazioni è uno strumento potente e sottoutilizzato per migliorare i VLM su compiti complessi.

4. Risultati Sperimentali

Il metodo è stato valutato su modelli rappresentativi (LLaVA-1.5 e Qwen2.5-VL) e su una vasta gamma di dataset e compiti:

• Visual Question Answering (VQA): Miglioramenti significativi su dataset come RealWorldQA, V e MMStar. Ad esempio, su LLaVA-1.5, il punteggio su RealWorldQA è passato dal 55.6% al 60.5%.
• OCR e Comprensione del Testo: Miglioramenti su TextVQA e SeedBench2-Plus, indicando una migliore capacità di focalizzazione su dettagli fini.
• Grounding e Counting: Miglioramenti nel localizzare oggetti specifici (RefCOCO) e nel conteggio (CountBench), superando anche metodi specializzati come Grounding-DINO in alcuni casi.
• Riduzione delle Allucinazioni: Il metodo riduce le allucinazioni di oggetti (POPE dataset), poiché il modello è costretto a basarsi solo sulle regioni visive pertinenti.
• Confronto con altri metodi: AIF supera metodi di ritaglio (ViCrop) e metodi basati su riaddestramento (CCA) senza richiedere costi di training aggiuntivi.

5. Significato e Impatto

Questo lavoro offre una nuova prospettiva sul funzionamento interno dei VLM:

• Cambiamento di Paradigma: Sposta l'attenzione dall'aggiunta di dati o complessità architetturale alla regolazione diretta delle interazioni interne (flusso di informazioni) durante l'inferenza.
• Efficienza: Offre un modo economico e veloce per migliorare le prestazioni di modelli esistenti, rendendoli più affidabili per applicazioni reali dove la precisione è fondamentale.
• Interpretabilità: Fornisce strumenti per analizzare come i token visivi influenzano il ragionamento testuale, rivelando che solo un sottoinsieme dei token visivi è realmente critico per la risposta finale.

In sintesi, il paper dimostra che "pulire" il flusso di informazioni, eliminando le distrazioni visive a livello di attenzione, è una strategia efficace per allineare ciò che il modello vede con ciò che percepisce e risponde.