Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno dimostrato capacità eccezionali nell'allineare input visivi e output linguistici. Tuttavia, la loro opacità rappresenta una sfida critica per l'interpretabilità e l'affidabilità, specialmente in settori safety-critical come la sanità e la guida autonoma.
Le principali limitazioni delle attuali tecniche di attribuzione includono:

• Mancanza di causalità diretta: I metodi basati su mappe di attivazione o gradienti spesso riflettono preferenze di livelli intermedi non allineati con l'intuizione umana o sono confusi da prior linguistici.
• Difficoltà con la generazione autoregressiva: I metodi esistenti faticano a tracciare come specifici input visivi influenzino la generazione sequenziale di token, specialmente quando si tratta di combinazioni di token o di distinguere tra evidenze percettive e prior linguistici.
• Allucinazioni: È difficile identificare quali regioni visive specifiche inducono il modello a generare contenuti allucinati (es. oggetti inesistenti).
• Costo computazionale: Molte tecniche avanzate richiedono enormi quantità di memoria GPU, rendendole poco pratiche per modelli su larga scala.

2. Metodologia: Il Framework EAGLE

Gli autori propongono EAGLE (Explaining Autoregressive Generation by Language priors or Evidence), un framework di attribuzione "black-box" leggero e modale-consapevole.

A. Formulazione del Task

Il problema è modellato come una selezione di sottoinsiemi ordinati. L'obiettivo è identificare il minimo insieme di regioni percettive (sottoregioni dell'immagine) che massimizza la probabilità di generare una sequenza di token target, condizionatamente al prompt e al contesto.
L'immagine di input viene prima sparsificata in sottoregioni semantiche utilizzando la segmentazione SLICO (superpixel).

B. Funzione Obiettivo Unificata

EAGLE introduce una funzione obiettivo che combina due metriche fondamentali per l'interpretabilità:

1. Insight Score (Sufficienza): Misura quanto un insieme di regioni $S$ sia sufficiente a massimizzare la probabilità di generare i token target. Identifica le regioni più informative.
2. Necessity Score (Indispensabilità): Misura quanto la rimozione di un insieme di regioni $S$ (lasciando $V \setminus S$) degradi la generazione. Identifica le regioni critiche la cui assenza impedisce la corretta generazione.

La funzione obiettivo totale $\mathcal{F}$ è la somma di questi due punteggi:
$$\mathcal{F}(S) = s_{\text{insight}}(S) + s_{\text{necessity}}(V \setminus S)$$

C. Strategia di Ottimizzazione

Poiché la ricerca dello sottoinsieme ottimale è un problema NP-hard, EAGLE utilizza una ricerca greedy sulle regioni sparsificate. Le regioni vengono ordinate in base al loro contributo marginale alla funzione obiettivo, creando una mappa di attribuzione ordinata che rivela progressivamente le aree visive più influenti.

D. Analisi Modale (Language Prior vs. Perception)

Un contributo chiave è la capacità di disaccoppiare la dipendenza del modello:

• EAGLE calcola un Influence Score per ogni token, tracciando l'evoluzione dei logit man mano che le regioni visive salienti vengono introdotte progressivamente.
• Un punteggio alto indica una forte dipendenza da evidenze percettive (l'immagine).
• Un punteggio basso indica una forte dipendenza da prior linguistici (il contesto testuale).
  Questo permette di rispondere a "Di cosa si fida il modello?" per ogni singolo token generato.

3. Contributi Chiave

1. Framework Black-box Leggero: EAGLE non richiede accesso ai gradienti interni o alle mappe di attivazione del modello, funzionando su qualsiasi MLLM con un costo di memoria GPU significativamente inferiore rispetto ai metodi basati su gradienti.
2. Funzione Obiettivo Unificata: La combinazione di Sufficienza (Insight) e Indispensabilità (Necessity) fornisce attribuzioni più fedeli rispetto all'uso di metriche isolate.
3. Analisi Modale Granulare: La capacità di quantificare se un token è guidato dalla visione o dal linguaggio offre una nuova dimensione di interpretabilità.
4. Diagnosi delle Allucinazioni: Il metodo è in grado di localizzare le regioni visive specifiche che causano allucinazioni e dimostrare che rimuovendo solo una minima porzione di queste regioni si può correggere l'errore.

4. Risultati Sperimentali

Il framework è stato valutato su modelli open-source (LLaVA-1.5, Qwen2.5-VL, InternVL3.5) e dataset (MS COCO, MMVP, RePOPE).

• Fedeltà (Sentence-level): Su compiti di captioning e VQA, EAGLE supera i metodi state-of-the-art (LLaVA-CAM, IGOS++, TAM) con margini significativi. Ad esempio, su MS COCO con LLaVA-1.5, migliora l'Insertion AUC del 12,7% e riduce il Deletion del 11,9%.
• Localizzazione (Word-level): Nel "Pointing Game" (verifica se il modello guarda l'oggetto corretto), EAGLE supera TAM del 36,42% (box-level) e del 42,63% (mask-level), fornendo mappe più sparse e focalizzate.
• Diagnosi delle Allucinazioni: Sul benchmark RePOPE, EAGLE identifica le regioni responsabili delle allucinazioni con una precisione superiore. Rimuovendo solo il 10% delle regioni identificate come critiche, il tasso di successo nella correzione (CSR@10%) raggiunge l'80% su Qwen2.5-VL 7B, contro valori molto più bassi per i baseline.
• Efficienza: EAGLE richiede drasticamente meno memoria GPU (es. 17.68 GB per Qwen2.5-VL 7B contro 96.90 GB di IGOS++), rendendolo scalabile. Sebbene il tempo di inferenza sia superiore rispetto ai metodi basati su gradienti, è l'unico che soddisfa i requisiti di fedeltà per l'interpretabilità pratica.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale verso la trasparenza dei MLLM.

• Affidabilità: Fornisce strumenti per diagnosticare perché un modello sbaglia (allucinazioni) e su cosa si basa per prendere decisioni, distinguendo tra dati reali e bias linguistici.
• Sicurezza: La capacità di localizzare e mitigare le allucinazioni rimuovendo regioni specifiche è fondamentale per applicazioni critiche.
• Generalizzabilità: Essendo un metodo black-box e indipendente dalle architetture interne, EAGLE è applicabile a una vasta gamma di modelli multimodali, superando i limiti dei metodi basati su gradienti o attivazioni che falliscono su modelli più piccoli o diversi.

In sintesi, EAGLE offre una spiegazione fedele, efficiente e modale-consapevole della generazione autoregressiva, colmando il divario tra le prestazioni dei modelli e la nostra comprensione del loro processo decisionale.