SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

1. Il Problema: Allucinazioni Percepite nei VLM

I Modelli Vision-Language (VLM) hanno rivoluzionato l'IA, ma soffrono ancora di un problema critico: l'allucinazione percettiva. Questo fenomeno si verifica quando il modello genera risposte plausibili ma inaccurate che non sono radicate nel contenuto visivo reale (ad esempio, affermare la presenza di un oggetto che non c'è).
Le cause principali identificate includono:

• L'integrazione indiscriminata di informazioni visive a diverse scale.
• La perdita di dettagli specifici degli oggetti quando si aumentano le risoluzioni in modo uniforme, portando a una diluizione del contesto visivo rilevante.
• La difficoltà dei modelli attuali a focalizzare l'attenzione esattamente sulle regioni degli oggetti, specialmente quando si passa da rappresentazioni "sparse" (bassa risoluzione) a "dense" (alta risoluzione).

2. Metodologia: Il Framework SECOND

Gli autori propongono SECOND (Selective and Contrastive Decoding), un framework senza training (training-free) che mitiga le allucinazioni sfruttando informazioni visive multi-scala in modo selettivo e contrastivo.

A. Integrazione Selettiva Multi-Scala (Selective Multi-Scale Feature Integration)

Invece di elaborare l'intera immagine a tutte le risoluzioni contemporaneamente (come fanno molti modelli esistenti), SECOND adotta un approccio iterativo e gerarchico:

1. Fasi Multiple: Il processo inizia con una visione a bassa risoluzione (patch grandi, informazioni sparse) e procede verso risoluzioni più alte (patch piccole, dettagli fini).
2. Selezione Dinamica delle Patch: In ogni fase, il modello non elabora tutte le patch della risoluzione successiva. Utilizza una mappa di attenzione visiva generata nella fase precedente per selezionare dinamicamente solo le patch più rilevanti per l'oggetto di interesse.
   • La percentuale di patch da selezionare ($p_{select}$) è determinata dall'entropia dell'attenzione visiva: se l'attenzione è incerta (alta entropia), vengono selezionate più patch per la fase successiva; se è chiara, se ne selezionano meno.
3. Accumulo Coarse-to-Fine: Questo meccanismo permette di accumulare informazioni visive dai dettagli grossolani a quelli fini, mantenendo alta la densità di informazioni rilevanti per l'oggetto mentre si riduce il rumore di fondo.

B. Decodifica Contrastiva Multi-Stadio (Multi-Stage Contrastive Decoding)

SECOND introduce una variante avanzata della Contrastive Decoding (CD):

• Concetto: Invece di confrontare solo un modello "esperto" finale con un modello "amatore" iniziale, SECOND sfrutta l'intera gerarchia delle fasi.
• Meccanismo: Ogni fase intermedia agisce come un "amatore" che fornisce un contesto meno dettagliato, mentre la fase finale agisce come l'"esperto".
• Logit Contrastivi: Il sistema confronta i logit (probabilità di output) dell'esperto con quelli degli amatori delle fasi precedenti. La formula combina le differenze tra le fasi per amplificare le informazioni visive dense e rilevanti, sopprimendo le risposte basate su pregiudizi linguistici o informazioni visive irrilevanti.
  $$logit_{SECOND} = logit_{expert} + \alpha(logit_{expert} - logit_{amateur3}) + \beta(logit_{amateur3} - logit_{amateur2}) + \gamma(logit_{amateur2} - logit_{amateur1})$$

3. Contributi Chiave

1. Framework Training-Free: SECOND non richiede l'addestramento di nuovi encoder visivi o l'aggiornamento dei pesi del modello LLM, rendendolo applicabile a VLM esistenti (come LLaVA-NeXT, LLaVA-OneVision, Yi-VL).
2. Analisi Teorica: Gli autori dimostrano teoricamente che la selezione multi-stadio delle patch aumenta il Coefficiente Dice di Attenzione (una metrica che misura quanto l'attenzione del modello si allinea alla maschera reale dell'oggetto), riducendo così la probabilità di allucinazione ($P_{Hal}$).
3. Nuovo Paradigma di Decodifica: Sposta il focus dalla semplice soppressione dei pregiudizi linguistici (tipico della CD precedente) alla contrastazione selettiva tra informazioni visive sparse e dense, allineandosi meglio alla percezione visiva umana.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi VLM di stato dell'arte e benchmark:

• POPE (Perceptual Hallucination): SECOND ha superato i baseline e il metodo VCD (Visual Contrastive Decoding) in 11 casi su 12 configurazioni. Ha mostrato miglioramenti significativi in Recall, Accuratezza e F1-score, indicando una drastica riduzione delle allucinazioni sugli oggetti.
• Compiti Generali (VQAv2, MMStar, MMBench):
  • Su VQAv2, SECOND ha migliorato la capacità di rispondere a domande aperte sugli oggetti.
  • Su MMStar e MMBench (che includono compiti di ragionamento e percezione), il metodo ha dimostrato che il miglioramento nella percezione visiva si traduce in benefici anche per compiti di ragionamento di alto livello, senza degradare le capacità logiche del modello.
• Ablation Study:
  • La configurazione a 4 fasi (84-168-336-672) ha offerto il miglior compromesso tra prestazioni e tempo di decodifica.
  • La strategia di selezione dinamica delle patch ha superato nettamente le strategie fisse (es. selezionare sempre il 30% o il 50% delle patch) e l'uso di tutte le patch.
  • La decodifica contrastiva multi-stadio ha dimostrato una maggiore robustezza rispetto alla versione single-stage su benchmark complessi come MMStar.

5. Significato e Impatto

Il lavoro di SECOND è significativo perché:

• Affronta la radice del problema: Dimostra che le allucinazioni nei VLM sono spesso legate a una cattiva gestione delle informazioni visive multi-scala e non solo a difetti del linguaggio.
• Efficienza: Offre un metodo efficace senza costi computazionali aggiuntivi di addestramento, rendendolo immediatamente utilizzabile nella comunità.
• Ispirazione Biologica: L'approccio simula la visione umana che passa da una scansione generale a un esame dettagliato, selezionando attivamente le aree di interesse.
• Futuro: Apre nuove direzioni di ricerca sull'uso strategico delle scale visive e sulla decodifica contrastiva gerarchica per migliorare l'affidabilità dei sistemi multimodali in applicazioni ad alto rischio.

In sintesi, SECOND rappresenta un avanzamento fondamentale nel rendere i modelli Vision-Language più precisi, affidabili e allineati alla realtà visiva, risolvendo il problema delle allucinazioni attraverso un'architettura di decodifica intelligente e selettiva.