Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization

1. Il Problema: Allucinazioni nei Modelli di Ragionamento Multimodale (MLRM)

I recenti Modelli di Ragionamento Multimodali (MLRMs), che integrano meccanismi di pensiero a catena (Chain-of-Thought, CoT) per risolvere compiti complessi, hanno dimostrato capacità impressionanti. Tuttavia, il paper evidenzia un paradosso critico: l'introduzione di meccanismi di ragionamento esplicito tende ad esacerbare le allucinazioni rispetto ai modelli multimodali base non ragionanti.

Le allucinazioni in questo contesto si manifestano come contenuti semanticamente plausibili ma fattualmente errati o visivamente irrilevanti. L'analisi preliminare degli autori rivela due cause fondamentali:

1. Squilibrio nell'attenzione: L'introduzione del ragionamento sposta l'attenzione del modello dai token visivi (l'immagine) verso i token testuali (priors linguistici). Il modello tende a ignorare i dettagli visivi a favore di associazioni linguistiche preesistenti.
2. Propagazione dell'errore: Le allucinazioni che emergono nella fase di ragionamento (CoT) si propagano causalmente e amplificano le allucinazioni nella risposta finale. Una catena di ragionamento di bassa qualità rende quasi impossibile una risposta corretta.

2. Metodologia: Il Framework C3PO

Per affrontare queste sfide, gli autori propongono C3PO, un framework di mitigazione basato sull'addestramento in due fasi, che combina Compressione del CoT e Ottimizzazione delle Preferenze Contrastive.

Fase 1: Compressione della Catena di Pensiero (CoT Compression)

Basandosi sul principio dell'Information Bottleneck (IB), l'obiettivo è preservare le informazioni visive critiche eliminando il rumore.

• Analisi: Gli autori osservano che molte parti del CoT generato sono ridondanti e non contribuiscono alla decisione finale.
• Tecnica: Utilizzando un modello di valutazione dell'importanza dei token (LLMlingua-2), il framework filtra selettivamente i token di ragionamento a bassa importanza.
• Risultato: Si ottiene una rappresentazione CoT più compatta ed efficiente, che riduce la dipendenza dai priors linguistici e mantiene i segnali visivi rilevanti. Questo passaggio viene effettuato tramite Supervised Fine-Tuning (SFT) senza introdurre nuove supervisioni esterne, ma riutilizzando le uscite del modello stesso pulite dai token ridondanti.

Fase 2: Ottimizzazione delle Preferenze Contrastive (Contrastive Preference Optimization - CPO)

Questa fase mira a migliorare la qualità intrinseca del ragionamento e a correggere le allucinazioni attraverso l'apprendimento per preferenza.

• Campioni Preferiti (Positivi): Vengono costruiti utilizzando feedback di alta qualità da modelli MLLM avanzati (es. Qwen3-VL) che revisionano e correggono le tracce di ragionamento originali, eliminando le allucinazioni a livello di frase.
• Campioni Rifiutati (Negativi): Oltre alle uscite originali non corrette, gli autori introducono un meccanismo innovativo di Induzione di Allucinazioni Multimodali (MHI). Questo meccanismo crea intenzionalmente input visivi (maschere casuali) e prompt testuali ingannevoli per elicitare i pattern di allucinazione intrinseci del modello. Questi esempi servono come "negativi informativi" per il contrasto.
• Ottimizzazione: Viene applicata una funzione di perdita combinata che include:
  • Una perdita di preferenza incentrata sul ragionamento ($\mathcal{L}_{RE}$) per favorire CoT affidabili.
  • Una perdita DPO standard ($\mathcal{L}_{DPO}$) sull'output completo (CoT + Risposta).
  • Una regolarizzazione di ancoraggio ($\mathcal{L}_{Anc}$) per garantire che le risposte preferite mantengano un livello di reward minimo.

3. Contributi Chiave

1. Analisi Causale: Identificazione sperimentale del fatto che il ragionamento eccessivo sposta l'attenzione dai dati visivi ai priors linguistici e che le allucinazioni nel CoT causano direttamente errori nella risposta finale.
2. Framework C3PO: Proposta di un approccio in due fasi (Compressione + Preferenza Contrastiva) specificamente progettato per MLRMs, che risolve il problema delle allucinazioni senza richiedere dati etichettati manualmente massicci.
3. Meccanismo di Induzione (MHI): Sviluppo di una tecnica per generare sistematicamente esempi negativi di allucinazione, migliorando la capacità del modello di riconoscere e correggere i propri errori.
4. Giustificazione Teorica: Dimostrazione teorica basata sul principio dell'Information Bottleneck che la compressione e l'enhancement del CoT riducono l'obiettivo IB, portando a rappresentazioni intermedie più fedeli e risposte più affidabili.

4. Risultati Sperimentali

Il framework è stato valutato su diversi modelli MLRM (inclusi R1-Onevision, MM-Eureka, Orsta-R1, MM-R1, ThinkLite) e su una vasta gamma di benchmark:

• Riduzione delle Allucinazioni: C3PO ha mostrato riduzioni significative delle allucinazioni rispetto ai modelli base e a metodi di baseline avanzati (come RLAIF-V e OPA-DPO).
  • Su CHAIR (valutazione di oggetti in descrizioni aperte), C3PO ha ottenuto riduzioni relative fino al 18.82% rispetto ai modelli vanilla.
  • Su POPE e AMBER (benchmark discriminativi per esistenza di oggetti e relazioni), C3PO ha ottenuto i migliori punteggi di accuratezza e F1-score.
  • La valutazione assistita da GPT-4 ha confermato una riduzione delle allucinazioni a livello di frase (SHR) e un miglioramento nella ricchezza dei dettagli (WPI e SPI).
• Preservazione delle Capacità: A differenza di alcuni metodi che degradano le prestazioni generali, C3PO mantiene o migliora le capacità multimodali generali su benchmark come MME e MMBench.
• Ablazione: Gli studi di ablazione confermano che sia la compressione del CoT che l'uso del meccanismo MHI sono componenti essenziali per le prestazioni ottimali.

5. Significato e Impatto

Questo lavoro rappresenta un passo pionieristico nella mitigazione delle allucinazioni nei modelli di ragionamento multimodale.

• Cambio di Paradigma: Sposta il focus dalla semplice correzione della risposta finale al miglioramento della traccia di ragionamento stessa, riconoscendo che la qualità del pensiero è determinante per la correttezza della risposta.
• Efficienza: La strategia di compressione riduce anche il costo computazionale eliminando token ridondanti.
• Generalità: Il framework è applicabile a diversi modelli e architetture, offrendo una soluzione robusta e scalabile per un problema che limita l'affidabilità pratica degli MLRM in scenari reali.

In sintesi, C3PO dimostra che per ridurre le allucinazioni nei modelli di ragionamento, è necessario non solo "pensare meglio" (migliorando la qualità del CoT), ma anche "pensare in modo più efficiente" (rimuovendo il rumore che distoglie l'attenzione dalla realtà visiva).