Riepilogo Tecnico: Il Ragionamento Conta: Mitigare le Allucinazioni nei Modelli di Ragionamento Multimodali di Grande Scala tramite Ottimizzazione delle Preferenze Condizionata al Ragionamento

Enunciato del Problema

I Modelli di Ragionamento Multimodali di Grande Scala (MLRM) hanno dimostrato capacità solide su compiti complessi visione-linguaggio generando esplicitamente passaggi intermedi di ragionamento (Chain-of-Thought, o CoT) prima di produrre le risposte finali. Tuttavia, questi modelli rimangono soggetti a allucinazioni, generando contenuti che appaiono plausibili ma sono incoerenti con gli input visivi. A differenza dei Modelli Linguistici Multimodali (MLLM) convenzionali, dove le allucinazioni si verificano tipicamente nell'output finale, le allucinazioni degli MLRM possono sorgere all'interno del CoT intermedio e successivamente propagarsi alla risposta finale.

I metodi esistenti di mitigazione basati sull'addestramento, come l'Ottimizzazione Diretta delle Preferenze (DPO), trattano tipicamente il CoT e la risposta finale come un output monolitico. Il documento osserva che questa ottimizzazione a livello di risposta si comporta in modo simile all'ottimizzazione basata solo sulla risposta, apprendendo principalmente preferenze a livello di risposta mentre lascia la supervisione a livello di CoT insufficientemente sfruttata. Di conseguenza, le allucinazioni residue nella catena di ragionamento spesso persistono, dominando il tasso di errore complessivo dell'intera risposta.

Metodologia: RC-DPO

Per affrontare l'insufficienza della supervisione a grana grossa, gli autori propongono l'Ottimizzazione Diretta delle Preferenze Condizionata al Ragionamento (RC-DPO). Questo framework modella esplicitamente la relazione tra catene di ragionamento e risposte finali trattando il CoT come una condizione per la generazione della risposta.

1. Obiettivo Principale

Invece di ottimizzare congiuntamente l'intera risposta $(c, a)$, la RC-DPO confronta la probabilità di generare la stessa risposta preferita ($a_w$) sotto diverse condizioni CoT:

• Condizione Preferita ($c_w$): Una catena di ragionamento fondata visivamente e logicamente valida.
• Condizione Scartata ($c_l$): Una catena di ragionamento allucinata o corrotta.

La funzione obiettivo isola l'effetto della catena di ragionamento sulla generazione della risposta. Massimizza il margine tra la probabilità condizionata della risposta preferita data una CoT di alta qualità rispetto a una CoT corrotta:
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
L'obiettivo finale di addestramento combina questa perdita condizionata al ragionamento con la DPO standard a livello di risposta:
$$L = L_{DPO} + \lambda L_{RC}$$

2. Costruzione dei Dati di Preferenza

La RC-DPO richiede la costruzione di coppie di preferenza $(x, c_w, a_w, c_l, a_l)$ senza fare affidamento su annotazioni di verità fondamentale esterne o modelli più potenti. Gli autori introducono una pipeline che utilizza le uscite del modello stesso:

• Costruzione del Campione Positivo (MCTS): Gli autori impiegano la Ricerca ad Albero Monte Carlo (MCTS) per scoprire traiettorie di ragionamento di alta qualità. Partendo da un modello affinato tramite supervisione (SFT), l'MCTS espande i passaggi di ragionamento candidati e utilizza un verificatore per valutare le traiettorie in base alla coerenza visiva, alla validità logica e alla correttezza della risposta. La traiettoria con il punteggio più alto viene selezionata come campione positivo $(c_w, a_w)$.
• Costruzione del Campione Negativo (Potatura Guidata dall'Attenzione): Per creare campioni negativi sfidanti, gli autori impiegano una strategia di potatura dei token guidata dall'attenzione sull'immagine. Calcolano i punteggi di attenzione da ogni token del CoT ai token dell'immagine. I token con alta rilevanza visiva vengono identificati e potati (rimossi) dal CoT originale. Questo interrompe l'ancoraggio visivo della catena di ragionamento, creando un CoT corrotto ($c_l$) che funge da condizione negativa per la stessa risposta.

3. Pipeline di Addestramento

1. Allineamento del Formato CoT: Una fase di warm-up SFT allinea il modello a un formato strutturato di CoT (ragionamento passo-passo seguito da una risposta) per facilitare le operazioni MCTS.
2. Generazione dei Dati: MCTS e potatura guidata dall'attenzione generano il dataset di preferenza.
3. Ottimizzazione: Il modello viene addestrato utilizzando l'obiettivo combinato $L_{DPO} + \lambda L_{RC}$.

Contributi Chiave

1. Analisi della DPO Esistente: Il documento rivela che la DPO standard a livello di risposta è distorta verso l'ottimizzazione a livello di risposta, lasciando le allucinazioni a livello di CoT insufficientemente affrontate.
2. Framework RC-DPO: La proposta di un framework di ottimizzazione delle preferenze a grana fine che allinea esplicitamente le catene di ragionamento confrontando la stessa risposta preferita sotto diverse condizioni CoT.
3. Strategia di Generazione dei Dati: L'introduzione di una pipeline di generazione di dati di preferenza autonoma che utilizza MCTS per il campionamento positivo e la potatura dei token guidata dall'attenzione per la costruzione negativa.
4. Validazione Empirica: Esperimenti estesi su quattro MLRM e nove benchmark che dimostrano l'efficacia dell'approccio.

Risultati Sperimentali

Gli autori hanno valutato la RC-DPO su quattro MLRM rappresentativi: R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B e OpenVLThinker-7B.

• Mitigazione delle Allucinazioni: Su Object HalBench, la RC-DPO ha ottenuto costantemente i punteggi CHAIRS e CHAIRI più bassi su tutti i modelli, superando significativamente le linee di base come VCD, SID, RLAIF-V e OPA-DPO. Ad esempio, su R1-Onevision, CHAIRS è stato ridotto da 36,7 (Vanilla) a 21,7 (RC-DPO).
• Esistenza degli Oggetti: Sul benchmark POPE, la RC-DPO ha ottenuto i migliori punteggi di accuratezza e F1 nelle impostazioni casuali, popolari e avversarie, indicando un miglioramento nel riconoscimento dell'esistenza degli oggetti.
• Generazione Open-Ended: Su MMHal-Bench e valutazioni assistite da GPT-4, la RC-DPO ha ridotto i tassi di allucinazione mantenendo o migliorando la qualità descrittiva e la fluidità.
• Capacità Generali: Le valutazioni su MME, MMBench, VMCBench e MMVP hanno mostrato che la RC-DPO non sacrifica la percezione multimodale generale o le capacità di ragionamento; in molti casi, ha migliorato le prestazioni su compiti visivi a grana fine (ad esempio, OCR e riconoscimento della posizione).

Significato e Affermazioni

Il documento afferma che l'allineamento esplicito delle catene di ragionamento intermedie è cruciale per costruire MLRM fedeli e affidabili. Spostandosi dall'ottimizzazione a livello di risposta a grana grossa all'ottimizzazione condizionata al ragionamento a grana fine, la RC-DPO affronta la causa radice della propagazione delle allucinazioni nei modelli di ragionamento. Gli autori sottolineano che il loro metodo mitiga efficacemente le allucinazioni sia nel CoT intermedio che nella risposta finale, portando a un ragionamento multimodale più affidabile senza compromettere le capacità generali. Il lavoro evidenzia che trattare il CoT come una condizione per la generazione della risposta fornisce un segnale di addestramento diretto per apprendere preferenze di ragionamento a supporto della risposta.