Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning

1. Enunciato del Problema

I Modelli Vision-Language (VLM) hanno dimostrato capacità solide nel seguire istruzioni e nel ragionamento aperto. Tuttavia, soffrono significativamente di allucinazione, ovvero i modelli generano contenuti fluenti e plausibili ma privi di supporto visivo (ad esempio, oggetti inesistenti, attributi errati o relazioni fabbricate).

• Causa Radice: Il documento identifica che l'invio di prompt di istruzione standard amplifica i priori linguistici. Quando i segnali visivi sono ambigui o deboli, il modello dà priorità alle probabilità statistiche tratte dai dati di addestramento rispetto alle prove reali dell'immagine.
• Il Compromesso: I tentativi esistenti di risolvere questo problema creano spesso una dicotomia:
  • I prompt guidati dall'istruzione producono testo ricco e descrittivo ma con alti tassi di allucinazione.
  • I prompt vincolati dalle prove riducono le allucinazioni ma risultano in output eccessivamente conservativi, letterali e privi di informazioni.
• Lacuna: I metodi attuali di Decodifica Contrastiva (CD) spesso si basano su pesi statici o su tipi specifici di perturbazioni (ad esempio, corruzione dell'immagine) che potrebbero non bilanciare dinamicamente la necessità di ricchezza linguistica e fedeltà visiva durante la generazione.

2. Metodologia: IECD2

Gli autori propongono la Decodifica Contrastiva Dual-Stream Istruzione-Prova (IECD2), un framework di decodifica senza addestramento e agnostico rispetto al modello. Funziona mantenendo due distribuzioni di probabilità parallele a ogni passo di decodifica e fondendole in modo adattivo.

A. Formulazione Dual-Stream

A ogni passo di decodifica $t$, data una storia $y_{<t}$, il modello genera due distribuzioni di probabilità dei token sul vocabolario:

1. Stream Istruzione ($p^{(I)}_t$): Condizionato a un prompt di istruzione linguistica naturale standard ($S$). Questo stream cattura i priori linguistici, incoraggiando fluidità, coerenza e ricchezza descrittiva. È soggetto a allucinazioni quando le prove visive sono deboli.
2. Stream Prova ($p^{(E)}_t$): Condizionato a una variante del prompt ($x_{evidence}$) che istruisce esplicitamente il modello a fare affidamento strettamente sui contenuti osservabili dell'immagine. Questo stream sopprime le inferenze speculative, agendo come una linea di base conservativa e fondata visivamente.

Nota: Entrambi gli stream utilizzano gli stessi parametri VLM sottostanti; la differenza nasce esclusivamente dai prompt di condizionamento.

B. Gate Contrastivo Consapevole della Divergenza

L'innovazione principale è un meccanismo di fusione adattivo che bilancia questi due stream in base al loro disaccordo.

• Fusione Geometrica: La distribuzione di probabilità finale $p^{(IECD2)}_t$ è una media geometrica dei due stream:
  $$p^{(IECD2)}_t(v) \propto (p^{(I)}_t(v))^{g_t} \cdot (p^{(E)}_t(v))^{1-g_t}$$
  dove $g_t \in [0, 1]$ è un coefficiente di gate.
• Divergenza KL Simmetrica: Il gate $g_t$ è determinato dalla divergenza Kullback-Leibler (KL) simmetrica ($D_t$) tra i due stream:
  $$D_t = KL(p^{(I)}_t || p^{(E)}_t) + KL(p^{(E)}_t || p^{(I)}_t)$$
• Logica Adattiva:
  • Bassa Divergenza ($D_t \approx 0$): Gli stream concordano. Il gate permette allo Stream Istruzione di avere maggiore influenza, preservando la fluidità linguistica e il potere descrittivo.
  • Alta Divergenza ($D_t \gg 0$): Gli stream discordano (indicando che lo stream di istruzione sta probabilmente allucinando). Il gate ($g_t$) scende bruscamente verso 0, sopprimendo lo stream di istruzione e costringendo il modello a fare affidamento sullo Stream Prova per prevenire l'allucinazione.

3. Contributi Chiave

1. Framework Dual-Stream: Introduzione di IECD2, che mantiene esplicitamente distribuzioni di token parallele guidate dall'istruzione e fondate sulle prove durante tutta la generazione senza riaddestramento.
2. Gate Basato sulla Divergenza: Un meccanismo innovativo che utilizza la divergenza KL simmetrica per risolvere dinamicamente i conflitti tra priori linguistici e prove visive, sopprimendo selettivamente i token propensi all'allucinazione pur mantenendo contenuti informativi.
3. Valutazione Completa: Esperimenti estesi su compiti diversificati (VQA, Captioning, Rilevamento Oggetti) e dataset (POPE, MME, VQAv2, AMBER, MS-COCO, LLaVA-Bench) che dimostrano miglioramenti coerenti.

4. Risultati Sperimentali

Gli autori hanno valutato IECD2 su LLaVA-1.5-7B e InstructBLIP attraverso molteplici benchmark.

• Riduzione delle Allucinazioni:
  • Captioning MSCOCO: IECD2 ha ridotto le CHAIRs (allucinazioni a livello di frase) dell'85,2% per LLaVA-1.5 e del 98,8% per InstructBLIP rispetto alla decodifica standard. Ha superato basi solide come IFCD, CATCH e Octopus.
  • Compito Generativo AMBER: Ha ottenuto riduzioni massive nel tasso di allucinazione (Hal) e nell'Allucinazione Cognitiva (Cog), ad esempio riducendo Cog da 31,0 a 0,4 per LLaVA-1.5.
• Accuratezza del Compito e Fondamentazione:
  • POPE (Esistenza degli Oggetti): Ha migliorato l'accuratezza fino al 5,1% e l'F1 del 4,8% rispetto alla decodifica standard, mostrando robustezza contro bias avversari e di campionamento popolari.
  • VQAv2: Ha migliorato l'accuratezza del +7,76% (LLaVA-1.5) e del +14,24% (InstructBLIP) mantenendo prestazioni competitive.
  • MME: Ha dimostrato prestazioni stabili attraverso compiti di percezione (esistenza, conteggio, colore) e cognizione (senso comune, codice), provando che il metodo gestisce diversi tipi di allucinazione.
• Efficienza:
  • Il metodo è senza addestramento.
  • Gli aumenti nei tempi di inferenza sono gestibili (circa 2,3 secondi per query per compiti generativi senza cache KV; ridotti a 1,1 secondi con cache KV).

5. Significato e Impatto

• Risoluzione del Compromesso Fluidità-Fedeltà: IECD2 rompe con successo il compromesso per cui la riduzione delle allucinazioni degrada solitamente la qualità dell'output. Produce didascalie che sono sia descrittive (ricche linguisticamente) sia fattualmente accurate (fondate sulla visione).
• Generalizzabilità: Come strategia al momento della decodifica, è applicabile a qualsiasi VLM istruito con istruzioni senza richiedere aggiornamenti dei parametri o riaddestramento, rendendolo altamente scalabile.
• Insight sul Meccanismo: Il documento fornisce prove empiriche che l'allucinazione non è solo un difetto del modello ma il risultato di distribuzioni di probabilità conflittuali tra il seguire le istruzioni e la fondazione sulle prove. Il gate KL simmetrico agisce efficacemente come un "rilevatore di conflitti" per mitigare questo fenomeno.
• Prestazioni all'Avanguardia: I risultati stabiliscono IECD2 come un nuovo approccio all'avanguardia per il ragionamento vision-language fondato, superando metodi specializzati come VCD, ICD e RBD sia in compiti discriminatori che generativi.