Online Self-Calibration Against Hallucination in Vision-Language Models

1. Enunciato del Problema

I Large Vision-Language Models (LVLM) soffrono frequentemente di allucinazioni, generando descrizioni contenenti dettagli visivi assenti dall'immagine di input (ad esempio, oggetti inesistenti, attributi errati).

• Il Limite dei Metodi Attuali: Gli approcci recenti si basano sull'allineamento delle preferenze offline (ad esempio, RLHF, DPO) utilizzando supervisione distillata da modelli teacher più potenti (come GPT-4) o annotazioni umane.
• Il Problema Centrale: Disallineamento Supervisione-Percezione: Il paper sostiene che costringere un modello studente più debole ad allinearsi con descrizioni dettagliate e ad alta fedeltà di un teacher più forte crea un disallineamento. Il modello studente manca della capacità percettiva per verificare questi dettagli, costringendolo a "indovinare" basandosi su prior linguistici piuttosto che a "vedere" l'immagine. Questo paradossalmente aumenta i tassi di allucinazione mentre il modello imita dettagli non ancorati alla realtà che non può percepire.

2. Osservazioni Chiave e Motivazioni

Gli autori identificano due fenomeni critici per affrontare il problema:

1. Disallineamento Supervisione-Percezione: Esperimenti empirici mostrano che il fine-tuning di LLaVA-1.5 su dati distillati da un modello più forte (Qwen3-VL) degrada effettivamente le prestazioni su benchmark di allucinazione (ad esempio, POPE, CHAIR) rispetto alla baseline. Il modello impara ad allucinare per corrispondere ai dettagli impossibili da percepire del teacher.
2. Divario Generativo-Discriminativo: I LVLM mostrano un divario significativo nelle prestazioni tra la generazione aperta e la verifica discriminativa.
   • Generazione: Il modello spesso soccombe all'"inerzia linguistica", allucinando oggetti per soddisfare le aspettative del prompt.
   • Verifica: Quando esplicitamente interrogato con "L'oggetto X è nell'immagine?", lo stesso modello dimostra una precisione molto più alta nell'identificare correttamente l'assenza di oggetti.
   • Implicazione: Il modello possiede una capacità latente di auto-verifica che è sottoutilizzata durante la generazione standard.

3. Metodologia: Framework OSCAR

Gli autori propongono Online Self-CAlibRation (OSCAR), un framework che sfrutta le capacità discriminative del modello stesso per generare dati di addestramento di alta qualità online, evitando il disallineamento supervisione-percezione.

A. Generazione Guidata da MCTS

Invece della ricerca greedy o beam search standard, OSCAR utilizza la Ricerca ad Albero Monte Carlo (MCTS) per esplorare lo spazio di generazione. Questo permette una "prospettiva futura", identificando token che potrebbero sembrare localmente sicuri ma portano a allucinazioni a valle.

• Stato: Risposte parziali (frasi).
• Azione: Generazione della frase successiva.
• Fasi di Ricerca: Selezione (criterio PUCT), Espansione (campionamento candidati), Valutazione (Meccanismo di Ricompensa) e Backpropagation.

B. Meccanismo di Ricompensa a Doppia Granularità

Per guidare l'MCTS, è stato progettato un nuovo sistema di ricompensa per bilanciare fedeltà locale e qualità globale:

1. Process Reward (Livello Nodo):
   • Per ogni frase generata, il modello è invitato ad agire come discriminatore: "Questa frase menziona oggetti non presenti nell'immagine?"
   • La ricompensa è la probabilità che il modello risponda "No" (indicando che la frase è priva di allucinazioni).
   • Obiettivo: Sopprimere i token iniziali che rischiano di indurre future allucinazioni.
2. Gated Outcome Reward (Livello Traiettoria):
   • Valuta la risposta completa solo se supera un rigoroso controllo di fedeltà (confrontando gli oggetti estratti con la verità fondamentale).
   • Se la traiettoria contiene allucinazioni, la ricompensa è 0.
   • Se supera il controllo, viene assegnato un punteggio di qualità (coerenza logica, fluidità, ridondanza).
   • Obiettivo: Garantire che l'output finale sia sia ancorato ai fatti che di alta qualità.

C. Apprendimento delle Preferenze Iterativo (DPO)

• Costruzione dei Dati: Le coppie di preferenze sono estratte dall'albero MCTS:
  • Percorso Globale: Confronto tra la traiettoria a valore più alto (Scelta) e quella a valore più basso (Rifiutata).
  • Confronto tra Fratelli: Confronto tra il nodo ottimale a una specifica profondità e il suo fratello con le prestazioni peggiori.
• Addestramento: Il modello viene aggiornato utilizzando l'Ottimizzazione Diretta delle Preferenze (DPO).
• Ciclo Online: Il modello aggiornato genera nuovi dati di preferenza nella prossima iterazione, creando un ciclo virtuoso in cui la distribuzione di addestramento evolve insieme ai confini percettivi miglioranti del modello.

4. Contributi Chiave

1. Identificazione del Disallineamento: Dimostrazione empirica che la distillazione offline da teacher più forti può esacerbare le allucinazioni a causa del Disallineamento Supervisione-Percezione.
2. Framework OSCAR: Proposta di un nuovo paradigma di addestramento che sfrutta il Divario Generativo-Discriminativo. Integrando MCTS con una Ricompensa a Doppia Granularità, permette al modello di auto-correggersi e sopprimere i token induttori di allucinazioni tramite prospettiva futura.
3. Prestazioni all'Avanguardia: Ha raggiunto risultati SOTA sui benchmark di allucinazione migliorando simultaneamente le capacità generali di comprensione multimodale.

5. Risultati Sperimentali

Gli esperimenti sono stati condotti su LLaVA-1.5 (7B e 13B) su più benchmark (Object-HalBench, AMBER, MM-VET, POPE).

• Riduzione delle Allucinazioni:
  • Su LLaVA-1.5-7B, OSCAR ha ridotto CHAIRs da 49.0 a 27.6 e CHAIRi da 14.3 a 8.2.
  • Su LLaVA-1.5-13B, il miglioramento è stato ancora più drastico, riducendo CHAIRs da 44.8 a 5.4 (una riduzione dell'87,9%).
• Capacità Generale: A differenza di metodi che sacrificano la fluidità per l'accuratezza, OSCAR ha migliorato il punteggio MM-VET (comprensione multimodale generale) da 32.5 a 34.6 per il modello 7B.
• Miglioramento Iterativo: Le prestazioni sono migliorate costantemente per 3 iterazioni, validando il ciclo di auto-calibrazione online.
• Studi di Ablazione: Hanno confermato che tutti e tre i componenti (Process Reward, Gated Outcome Reward e MCTS) sono essenziali. La rimozione di MCTS o dei meccanismi di ricompensa specifici ha portato a cali significativi delle prestazioni.
• Confronto con SFT: L'SFT utilizzando dati costruiti con OSCAR ha superato significativamente l'SFT utilizzando dati distillati dal teacher (che aumentava le allucinazioni) e l'SFT utilizzando la generazione grezza del modello stesso.

6. Significato

Questo paper offre un cambio di paradigma nel mitigare le allucinazioni dei LVLM:

• Da Offline a Online: Si allontana dal fare affidamento su supervisione esterna, potenzialmente disallineata, verso apprendimento online auto-supervisionato.
• Rispetto dei Confini Percettivi: Sottolinea che i dati di addestramento devono rispettare i limiti percettivi intrinseci del modello. Costringere un modello a descrivere ciò che non può vedere porta al fallimento; permettergli di verificare ciò che vede porta al successo.
• Auto-Correzione: Dimostra che i LVLM hanno una capacità latente di verificare le proprie uscite, che può essere sbloccata tramite prompting discriminativo e MCTS, permettendo un miglioramento continuo senza etichette umane o teacher esterne.