Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection

Il paper propone GACD, un metodo di decodifica basato sull'inferenza che utilizza gradienti di primo ordine per stimare e mitigare i bias testuali e visivi, riducendo così le allucinazioni nei modelli linguistici multimodali senza necessità di riaddestramento.

L'essenziale

Immagina di avere un amico molto intelligente, un "assistente visivo" che guarda le foto e ti racconta cosa c'è dentro. Questo assistente è un'intelligenza artificiale chiamata MLLM (Modello Linguistico Multimodale).

Il problema è che questo assistente a volte ha un difetto: allucina.
Cosa significa? Significa che, invece di descrivere fedelmente la foto, inizia a inventare cose.

• Vedi una forchetta e un cucchiaio? Lui dice: "Ecco, c'è anche una birra!" (ma la birra non c'è).
• Vedi una sedia? Lui giura che c'è anche un tavolo da pranzo, anche se nella foto c'è solo la sedia.

Perché succede? Il paper spiega che ci sono due "cattive abitudini" (bias) nel cervello di questa AI:

1. La pigrizia testuale (Text-Visual Bias): L'AI è troppo pigra. Invece di guardare attentamente la foto, si affida troppo a quello che ha già scritto prima o a quello che si aspetta di scrivere. È come se un cuoco, invece di guardare gli ingredienti nel frigo, decidesse di fare la pizza solo perché "di solito si fa la pizza".
2. L'associazione sbagliata (Co-occurrence Bias): L'AI ha imparato male dalle statistiche. Sa che "sedia" e "tavolo" spesso stanno insieme. Quindi, appena vede una sedia, pensa automaticamente: "Deve esserci anche il tavolo!", anche se non lo vede. È come se vedessi un ombrello e pensassi automaticamente che fuori stia piovendo, anche se è una giornata di sole.

La Soluzione: GACD (Lo "Specchio" dell'AI)

Gli autori propongono un metodo chiamato GACD. Non serve riaddestrare l'AI (che sarebbe costoso e lento), ma funziona come un controllo di qualità in tempo reale mentre l'AI scrive la descrizione.

Ecco come funziona, usando una metafora semplice:

Immagina che l'AI stia scrivendo una storia su una foto. GACD è come un direttore d'orchestra o un ispettore che ha un microfono magico (i gradienti).

1. Ascolta le voci (Analisi dei Gradienti): L'ispettore ascolta tutte le "voci" che contribuiscono alla frase successiva.

   • C'è la voce del testo (quello che l'AI ha già scritto).
   • C'è la voce della foto (i pixel che l'AI sta guardando).
   • L'ispettore usa il microfono magico per misurare: "Quanto sta pesando davvero la foto rispetto al testo?".
   • Spesso scopre che la voce della foto è troppo debole e quella del testo è troppo forte.

2. Il Filtro Intelligente (Soppressione delle associazioni): Se l'AI sta per dire "tavolo" perché ha visto una "sedia", l'ispettore guarda la foto e dice: "Aspetta! Nella foto c'è solo la sedia. Il 'tavolo' è solo un'idea che ti sei fatto tu, non è nella foto!".

   • GACD abbassa il volume di queste voci immaginarie (le associazioni sbagliate) per evitare che l'AI inventi cose.

3. Ribilancia i pesi (Rafforzamento visivo): Se l'AI sta ignorando la foto, l'ispettore alza il volume della voce della foto. Obbliga l'AI a guardare davvero ciò che vede, invece di affidarsi alle sue supposizioni.

Perché è speciale?

• Non serve un altro AI: Molti metodi precedenti usavano un secondo "AI di controllo" (come un detective esterno) per verificare la foto. Questo metodo invece usa la stessa AI per controllarsi da sola (auto-riflessione). È più veloce e non introduce nuovi errori.
• È preciso: Non tratta tutte le immagini allo stesso modo. Se l'AI sta parlando di un oggetto specifico (es. "c'è una sedia?"), GACD controlla solo i pixel legati alla sedia. Se sta parlando di qualcosa di generico, controlla tutto.
• Si ferma al momento giusto: Se l'AI inizia a scrivere troppo e a perdere di vista la foto (inizia a inventare), GACD le dice: "Basta, hai detto abbastanza, fermati qui".

In sintesi

Pensa a GACD come a un braccio di ferro tra ciò che l'AI pensa di vedere (basato su ciò che ha letto prima) e ciò che vede davvero.
Prima, l'AI vinceva sempre il braccio di ferro usando la sua immaginazione.
Con GACD, l'AI è costretta a guardare la foto e dire: "Ok, vedo una forchetta, vedo un piatto... ma non vedo la birra. Quindi non scrivo birra".

Il risultato? Descrizioni più vere, meno bugie e un assistente che possiamo fidarci di più quando ci racconta cosa c'è in una foto.

Sommario tecnico

Titolo: Mitigazione delle Allucinazioni Multimodali tramite Auto-Riflessione Basata su Gradienti (GACD)

1. Il Problema: Allucinazioni e Bias nei MLLM

I Large Language Models Multimodali (MLLM) hanno dimostrato prestazioni eccezionali in vari compiti, ma soffrono ancora di un problema critico: le allucinazioni. Queste si verificano quando il testo generato non è fondato fedelmente sugli input visivi. Il paper identifica due bias fondamentali alla base di questo fenomeno:

1. Bias Testo-Visivo (Text-Visual Bias): Il modello si affida eccessivamente al prompt testuale e agli output precedenti, trascurando l'input visivo. Questo bias peggiora nelle sequenze lunghe, dove il modello tende a "dimenticare" i dettagli visivi.
2. Bias di Co-occorrenza (Co-occurrence Bias): Deriva da correlazioni spurie nei dati di addestramento. Il modello predice erroneamente la presenza di oggetti non visibili basandosi sulla loro frequente associazione statistica con oggetti presenti (es. prevedere una "tavola da pranzo" quando vede solo una "sedia").

Le soluzioni esistenti sono spesso limitate: i metodi basati sull'addestramento sono costosi e richiedono nuovi dati; i metodi di inferenza esistenti si basano su modelli ausiliari (introducendo nuovi errori) o su euristiche grossolane che non gestiscono la granularità a livello di token.

2. Metodologia: GACD (Gradient-based Influence-Aware Constrained Decoding)

Gli autori propongono GACD, un metodo di inferenza che non richiede ri-addestramento, modelli ausiliari o dati esterni. Il cuore dell'approccio è la stima del bias tramite l'analisi dei gradienti.

Fasi Principali:

• Stima dell'Influenza dei Token (Gradient-Based Token Influence):
  Utilizzando un'espansione di Taylor del primo ordine sui logit del modello, il metodo calcola i gradienti per quantificare il contributo di ogni singolo token (sia visivo che testuale) alla previsione del token corrente. L'importanza di un token è misurata dalla norma Manhattan del suo gradiente. Questo permette di capire quanto il modello si sta affidando alla visione rispetto al testo in ogni singolo passo di generazione.

• Due Moduli Complementari:

  1. Raggruppamento dei Token Visivi Consapevole degli Oggetti (Object-aware Visual Token Grouping):
     Durante la previsione di nomi di oggetti (sostantivi), il sistema identifica quali token visivi sono stati influenzati dai sostantivi menzionati in precedenza. Divide i token visivi in due gruppi:
     • $t_o$: Token legati agli oggetti già menzionati (potenziali fonti di bias di co-occorrenza).
     • $t_u$: Token non legati agli oggetti menzionati (rappresentano nuove evidenze visive).
  2. Decoding Ponderato Specifico per l'Anchor (Anchor-specific Influence-weighted Decoding):
     Estende il contrastive decoding. Il metodo genera logit negativi ($z^o_m$) basati solo sugli oggetti già menzionati e sui token testuali, escludendo i token visivi non correlati ($t_u$).
     I logit originali vengono poi aggiustati con la formula:
     $$\hat{z}_m = (1 + \alpha_m) z^*_m - \alpha_m z^o_m$$
     Dove $\alpha_m$ è un peso calcolato dinamicamente per bilanciare l'influenza dei token visivi non correlati ($t_u$) con quella dominante del testo. Questo meccanismo:
     • Mitiga il bias di co-occorrenza: Sopprimendo l'influenza dei token visivi legati agli oggetti già citati.
     • Mitiga il bias testo-visivo: Rafforzando l'influenza dei token visivi ($t_u$) per allinearla a quella del prompt, garantendo che la risposta rimanga ancorata all'immagine.

• Criterio di Arresto Dipendente dal Campione:
  Per prevenire allucinazioni nelle sequenze lunghe, il metodo introduce un criterio di arresto precoce. Se il rapporto di influenza visiva scende sotto una soglia $\epsilon$ dopo il token di fine sequenza (EOS), la generazione viene interrotta per evitare output privi di fondamento visivo.

3. Contributi Chiave

1. Stima Principale del Bias: Introduzione di un metodo per quantificare e comprendere il bias a livello di singolo token tramite gradienti di Taylor, senza bisogno di modelli esterni.
2. Architettura Doppia: Progettazione di due moduli che agiscono in sinergia: soppressione delle caratteristiche visive spurie (per la co-occorrenza) e riequilibrio cross-modale (per il bias testo-visivo).
3. Applicabilità Generale: Il metodo è "plug-and-play" per MLLM esistenti, funzionando in fase di inferenza senza fine-tuning.
4. Bilanciamento Accuratezza-Informatività: A differenza di metodi precedenti che riducono le allucinazioni a scapito dei dettagli, GACD mantiene o migliora la ricchezza delle informazioni.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi benchmark (AMBER, MSCOCO, POPE, LLaVA-QA90) e modelli (LLaVA, InstructBLIP, mPLUG-Owl2, InternVL2, Qwen2-VL).

• Riduzione delle Allucinazioni:
  • Riduzione fino al 33% delle allucinazioni a livello di frase e 32% a livello di istanza (metriche CHAIR).
  • Riduzione fino al 57% delle allucinazioni da co-occorrenza.
  • Miglioramento dell'accuratezza fino al 92% su LLaVA-QA90.
• Miglioramento dell'Accuratezza e Ricchezza:
  • Aumento dell'F1 score fino all'8% su POPE.
  • Aumento della "dettagliatezza" (detailness) fino al 45% su LLaVA-QA90.
  • Miglioramento del punteggio complessivo su AMBER fino all'8%.
• Preservazione delle Informazioni:
  • Il recall (copertura degli oggetti) è diminuito in media solo dell'1.1% (contro un calo del 3.2% in altri metodi), dimostrando che il modello non "censura" dettagli validi per evitare errori.
• Efficienza:
  • Il costo computazionale è comparabile ad altri metodi di decoding (circa +100% di runtime rispetto alla base, ma senza bisogno di modelli ausiliari pesanti).

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella gestione delle allucinazioni nei MLLM.

• Trasparenza: Offre una visione interpretabile del "perché" un modello allucina, basandosi su segnali matematici (gradienti) piuttosto che su euristiche nere.
• Praticità: Essendo un metodo di inferenza, può essere applicato immediatamente a modelli esistenti senza costi di addestramento o raccolta dati.
• Affidabilità: Migliora la fiducia negli output dei modelli multimodali, rendendoli più adatti per applicazioni critiche come l'assistenza ai non vedenti, la diagnostica medica o l'analisi di documenti complessi, dove la fedeltà visiva è essenziale.

In sintesi, GACD risolve il problema delle allucinazioni agendo direttamente sul meccanismo di decodifica, riequilibrando dinamicamente l'influenza tra visione e testo a livello di ogni singolo token generato.