Sintesi Tecnica: Gli MLLM lo capiscono, poi lo dimenticano: Tracciare e correggere il bias testuale nei livelli tardivi

1. Definizione del problema

I Modelli Linguistici Multimodali Grandi (MLLM) mostrano un bias costante verso l'informazione testuale quando questa contraddice l'evidenza visiva. Anche quando un'immagine fornisce una prova chiara di un fatto (ad es. un'auto rossa), gli MLLM spesso restituiscono la risposta suggerita dal testo in conflitto (ad es. "auto blu"). Questo "override testuale" pone rischi significativi per le applicazioni critiche per la sicurezza, come la diagnosi medica o la guida autonoma, dove affidarsi a un testo errato invece che alla percezione visiva può portare a errori gravi.

Studi precedenti hanno documentato questo fenomeno, ma non ne hanno chiarito il meccanismo sottostante. Resta da capire se il fallimento derivi da una scarsa codifica visiva iniziale, dalla perdita di informazioni durante la fusione cross-modale o dal corretto processamento dei dati visivi seguito dal loro successivo sovrascrittura da parte di prior testuali nei livelli più profondi.

2. Metodologia e Analisi

2.1 Tracciamento per livello e Modal Dominance Ratio (MDR)

Per investigare il meccanismo di fallimento, gli autori tracciano le traiettorie di predizione attraverso i livelli del modello. Proiettano gli stati nascosti in ogni livello $l$ verso le probabilità di output utilizzando la testa del modello linguistico. Introducono il Modal Dominance Ratio (MDR) per quantificare la preferenza per la risposta visiva ($w_{vis}$) rispetto a quella testuale ($w_{text}$) in ogni livello:
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• MDR Positivo: Preferenza per la risposta visiva.
• MDR Negativo: Preferenza per la risposta testuale.

2.2 Il fenomeno del "Late-Layer Textual Override"

L'analisi dei campioni Conflict-Incorrect (dove il modello fallisce) rivela un pattern sorprendente:

1. Correttezza Iniziale: Nei livelli intermedi, il modello assegna una probabilità più alta alla risposta visiva corretta (MDR Positivo).
2. L'Override: Nei livelli successivi, l'MDR diventa negativo e il modello sposta la sua preferenza verso la risposta testuale errata.
3. Conclusione: L'informazione visiva viene codificata con successo ma non riesce a sopravvivere al passaggio forward completo a causa dell'elaborazione nei livelli tardivi.

2.3 Firma Direzionale della Correttezza

Gli autori osservano che gli spostamenti di predizione avvengono sia nei casi di successo che in quelli di fallimento. Tuttavia, la direzione dello spostamento li distingue:

• Fallimenti (Conflict-Incorrect): l'85% delle transizioni si sposta verso il testo ($\Delta \text{MDR} < 0$).
• Successi (Conflict-Correct & Non-Conflict): l'89–91% delle transizioni si sposta verso la visione o rimane stabile ($\Delta \text{MDR} > 0$).

Questa asimmetria direzionale suggerisce che i livelli tardivi a volte raffinano le predizioni (benefico), ma a volte sopprimono l'evidenza visiva (dannoso).

2.4 Conflict-Aware Layer Reference Decoding (CALRD)

Sulla base di queste scoperte, gli autori propongono CALRD, un metodo di intervento durante l'inferenza che non richiede addestramento. Non richiede conoscenza esterna o ri-addestramento.

Meccanismo di Rilevamento:
CALRD identifica gli "override dannosi" utilizzando due segnali derivati dal livello di transizione ($L_{trans}$), definito come il livello con il cambiamento distributivo più marcato (rilevato tramite la divergenza di Jensen-Shannon):

1. Anchor Confidence ($D_{conf}$): La probabilità della predizione principale al livello di transizione. Un'alta confidenza indica una forte preferenza intermedia.
2. Prediction Retention ($\rho$): Il rapporto tra la probabilità dell'ultimo livello e la probabilità del livello di transizione per lo stesso token. Una bassa ritenzione indica che la predizione è stata soppressa.

Logica di Intervento:
Una forza di correzione $\lambda$ viene calcolata come:
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• Se esiste una predizione confidente ($D_{conf}$ alta) ma essa è soppressa ($\rho$ bassa), $\lambda$ diventa grande.
• Se la predizione è stabile o incerta, $\lambda$ rimane vicino allo zero.

Strategia di Decoding:
I logit finali vengono regolati mescolando i logit del livello di transizione con i logit dell'ultimo livello:
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
Questo ripristina la risposta basata sulla visione che era presente nei livelli intermedi ma sovrascritta nell'output finale.

3. Contributi Chiave

1. Scoperta Meccanicistica: Il paper identifica l' "override testuale nei livelli tardivi" come la causa primaria dei fallimenti di conflitto visivo-testuale, dimostrando che i modelli spesso "capiscono correttamente" inizialmente prima di cambiare idea.
2. Predittore Direzionale: Gli autori mostrano che la direzione degli spostamenti di predizione (verso il testo vs verso la visione) è un predittore affidabile della correttezza, distinguendo gli override dannosi dai raffinamenti benefici.
3. Metodo CALRD: Una strategia di decoding senza addestramento che recupera selettivamente le predizioni sovrascritte utilizzando segnali interni del modello, preservando le prestazioni standard pur correggendo i conflitti.
4. Benchmark Conflict-VQA: La costruzione di un nuovo benchmark diagnostico (5.969 campioni) con annotazioni esplicite visivo-testuali per facilitare l'analisi meccanicistica del conflitto.

4. Risultati Sperimentali

Gli autori hanno valutato CALRD su cinque MLLM (InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL) attraverso diverse architetture.

• Conflict Benchmarks: CALRD ha ottenuto un miglioramento assoluto fino al 9,4% sui compiti di conflitto (ad es. PhD-icc e Conflict-VQA).
  • Su PhD-icc, LLaVA-1.5 è passato dal 27,72% al 36,35% (+8,63%).
  • I miglioramenti sono stati generalmente maggiori per i modelli più deboli, poiché i modelli più forti risolvono già più conflitti correttamente nei loro livelli tardivi.
• Standard Benchmarks (Non-Conflict): CALRD ha ampiamente preservato o leggermente migliorato le prestazioni sui benchmark standard di allucinazione (POPE e CHAIR), dimostrando che il metodo non degrada indiscriminatamente le prestazioni sui compiti non in conflitto.
• Confronto: CALRD ha superato gli esistenti metodi basati sui livelli come DoLa e DeCo, che spesso applicano correzioni uniformi e possono degradare le prestazioni quando l'elaborazione nei livelli tardivi è in realtà benefica.
• Efficienza: CALRD aggiunge un overhead minimo (~1,5ms/token e 80MB di memoria) rispetto al decoding vanilla, rendendolo pratico per la distribuzione.

5. Significato e Rivendicazioni

Il paper sostiene un cambio di prospettiva per migliorare l'affidabilità degli MLLM: piuttosto che concentrarsi esclusivamente sull'insegnare ai modelli a "vedere meglio" (migliore codifica visiva), l'affidabilità può essere migliorata aiutando i modelli a mantenere ciò che hanno già visto.

Gli autori sottolineano che il loro metodo è modesto nell'ambito:

• Affronta un modo specifico di fallimento (override nei livelli tardivi) piuttosto che tutte le allucinazioni.
• Si basa sulle rappresentazioni interne del modello, senza richiedere basi di conoscenza esterne o dati di addestramento aggiuntivi.
• L'intervento è adattivo; si attiva solo quando viene rilevata la firma specifica dell'override dannoso (alta confidenza + bassa ritenzione), garantendo che l'elaborazione benefica dei livelli tardivi non venga interrotta.

Il lavoro suggerisce che la "fiducia cieca nel testo" osservata negli MLLM non è necessariamente una mancanza di comprensione visiva, ma un fallimento della preservazione dell'informazione attraverso la profondità della rete. CALRD fornisce un meccanismo per recuperare questa informazione perduta.