Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time

Riassunto Tecnico: Mitigazione delle Allucinazioni dei LLM Multimodali tramite Propagazione della Rilevanza al Momento dell'Inferenza

Enunciato del Problema
I Modelli Linguistici su Larga Scala Multimodali (MLLM) hanno dimostrato capacità significative nell'integrazione del linguaggio con input percettivi come immagini e audio. Tuttavia, persiste una limitazione critica: questi modelli soffrono frequentemente di allucinazioni, generando output inconsistenti con o non supportati dalle evidenze percettive fornite. Gli autori ipotizzano che questo fenomeno derivi da uno squilibrio intrinseco nell'utilizzo delle modalità durante l'inferenza. Nello specifico, i token testuali tendono a dominare il processo di generazione, mentre i token visivi o uditivi ricevono un'attenzione insufficiente. Di conseguenza, i modelli spesso fanno affidamento su forti prior linguistici testuali piuttosto che su evidenze percettive fondate, portando a descrizioni plausibili ma fattualmente errate di oggetti o eventi inesistenti.

Metodologia: Apprendimento del Potenziamento della Modalità al Momento dell'Inferenza (LIME)
Per affrontare questo squilibrio senza modificare i parametri del modello sottostante o richiedere dati di addestramento aggiuntivi, gli autori propongono LIME, un framework privo di addestramento che opera al momento dell'inferenza. Il metodo si fonda su un'analisi di interpretabilità utilizzando la Propagazione della Rilevanza a Livello di Strato (LRP).

1. Analisi LRP: Gli autori impiegano LRP per scomporre le previsioni del modello in contributi additivi dei singoli token di input. La loro analisi rivela un bias sistematico in cui i token testuali ricevono punteggi di rilevanza significativamente più alti rispetto ai token di modalità, anche in compiti che dipendono criticamente dall'input percettivo.
2. Ottimizzazione al Momento dell'Inferenza: LIME interviene direttamente nelle rappresentazioni chiave-valore (KV) del modello durante il processo di decodifica. Invece di affinare i pesi, ottimizza iterativamente gli aggiornamenti additivi ($\Delta K, \Delta V$) ai tensori chiave e valore a ogni passo di decodifica.
3. Funzione Obiettivo: L'ottimizzazione mira a spostare l'attenzione del modello verso i token di modalità preservando al contempo i prior linguistici del modello originale. Ciò è ottenuto minimizzando una funzione di perdita composita:
   • Obiettivo di Rilevanza ($\mathcal{L}_{rel}$): Ispirato alla Stima di Contrasto con Rumore (NCE) e all'apprendimento contrastivo, questo termine tratta i token di modalità come evidenze positive e i token testuali come alternative concorrenti. Massimizza la rilevanza assegnata ai token di modalità rispetto alla rilevanza totale di tutti i token.
   • Regolarizzatore Divergenza KL ($\mathcal{L}_{KL}$): Questo termine vincola la distribuzione aggiornata a rimanere vicina alla distribuzione del modello originale, impedendo al modello di discostarsi troppo dal suo comportamento pre-addestrato e garantendo la stabilità della decodifica.
4. Esecuzione: Gli aggiornamenti sono calcolati tramite ottimizzazione basata su gradienti (utilizzando Adam) per un piccolo numero di passi a ogni passo di decodifica e vengono scartati successivamente, assicurando che l'intervento rimanga locale e non si accumuli nel tempo.

Contributi Chiave
Il documento delinea tre contributi principali:

1. Analisi di Interpretabilità: Un'analisi basata su LRP che dimostra come le allucinazioni negli MLLM siano direttamente associate alla sottoutilizzazione dei token specifici della modalità durante l'inferenza.
2. Framework LIME: Un nuovo framework guidato dalla rilevanza, privo di addestramento e operante al momento dell'inferenza, che mitiga le allucinazioni aumentando esplicitamente il contributo dei token di modalità rispetto agli input testuali attraverso aggiustamenti delle rappresentazioni KV.
3. Validazione Empirica: Dimostrazione dell'efficacia e della generalità del metodo su molteplici modelli multimodali all'avanguardia (inclusi LLaVA, Qwen-VL, SALMONN e Qwen2-Audio) e su benchmark nei domini sia visivo che uditivo.

Risultati
Gli autori hanno valutato LIME su diversi benchmark, riportando miglioramenti coerenti nel grounding e riduzioni delle allucinazioni:

• Benchmark Visivi: Sul benchmark POPE (MSCOCO e A-OKVQA), LIME ha ottenuto la massima accuratezza media e i punteggi F1 tra le baseline prive di addestramento (ad esempio OPERA, VCD, ICD, MemVR, V-ITI), mostrando in particolare robustezza sulle divisioni avversarie. Sul benchmark CHAIR, LIME ha ridotto costantemente il tasso di menzioni di oggetti allucinati (punteggi CHAIRS e CHAIRI più bassi) mantenendo al contempo un richiamo competitivo.
• Benchmark Audio: Su Audio Hallucination QA e AIR-Bench, LIME ha migliorato l'accuratezza e i punteggi F1 nei domini del parlato, dei suoni e della musica, superando la baseline Audio-Aware Decoding (AAD).
• Analisi di Rilevanza: L'analisi quantitativa ha confermato che LIME aumenta la dipendenza dalla modalità (la proporzione di rilevanza attribuita ai token percettivi) e migliora il grounding spaziale/temporale (la concentrazione della rilevanza sulle regioni di oggetti ground-truth). Le visualizzazioni qualitative mostrano che le mappe di calore della rilevanza diventano più localizzate e semanticamente allineate con le evidenze di input sotto LIME.
• Sovraccarico Computazionale: Il metodo introduce una latenza aggiuntiva (un rallentamento di circa 9-10 volte) e un modesto sovraccarico di memoria a causa dell'ottimizzazione per passo, rendendolo adatto a impostazioni offline o ad alta accuratezza piuttosto che ad applicazioni in tempo reale a bassa latenza.

Significato e Affermazioni
Il documento afferma che il controllo diretto dell'utilizzo della modalità al momento dell'inferenza è una strategia efficace per migliorare l'affidabilità degli MLLM. Sfruttando i segnali LRP per riequilibrare l'influenza dei token testuali e percettivi, LIME offre una soluzione generalizzabile alle allucinazioni che non richiede il costo computazionale del re-addestramento o del fine-tuning. Gli autori concludono che le allucinazioni non sono solo il risultato di dati di addestramento insufficienti, ma sorgono anche da un ragionamento interno e un'integrazione delle informazioni subottimali durante la decodifica, che possono essere corretti tramite intervento al momento dell'inferenza. Il metodo è presentato come un approccio pratico per migliorare il grounding multimodale preservando al contempo la qualità generativa del modello originale.