MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization

Questo lavoro propone MoD-DPO, un framework di ottimizzazione delle preferenze che mitiga le allucinazioni cross-modali nei modelli linguistici omni-modali introducendo regolarizzazioni specifiche per le modalità e penalità contro i pregiudizi testuali, migliorando così l'accuratezza percettiva e la robustezza del modello.

L'essenziale

Immagina di avere un assistente virtuale super intelligente, capace di vedere video, ascoltare audio e parlare come un essere umano. È come un detective multimediale: può dirti cosa succede in un film, descrivere una scena e rispondere a domande complesse.

Tuttavia, c'è un grosso problema: questo detective a volte allucina.

Il Problema: Il Detective "Sognante"

Immagina di guardare un video di un gatto che dorme in silenzio. Se chiedi al detective: "Cosa sta facendo il cane?", lui potrebbe rispondere: "Il cane sta abbaiando!".
Perché? Perché il suo cervello (il modello linguistico) è così abituato a leggere storie sui cani che, anche se non sente nulla, "immagina" un cane che abbaia solo perché la sua immaginazione linguistica è troppo forte. Oppure, se senti un rumore di pioggia, potrebbe dirti che vedi un fiume in piena, anche se nel video c'è solo un muro.

Questo succede perché il modello mescola tutto: usa le sue conoscenze pregresse (la "lingua") invece di guardare davvero ciò che vede e ascolta. Si fida troppo delle sue "intuizioni" e non abbastanza dei suoi "occhi" e "orecchi".

La Soluzione: MoD-DPO (Il "Decoupling" o Sgancio)

Gli autori di questo paper hanno creato una nuova tecnica chiamata MoD-DPO. Per spiegarla in modo semplice, pensiamo a come addestrare un cane da guardia.

1. L'Analogia del "Cane da Guardia"

Immagina di addestrare un cane per fare la guardia a una casa.

• Il problema attuale: Se senti un rumore di passi (audio), il cane scatta. Ma se vedi un'ombra (video) e senti un rumore, il cane potrebbe confondersi e abbaiare a cose che non ci sono, basandosi su quello che pensa dovrebbe succedere.
• La soluzione MoD-DPO: Invece di addestrare il cane a reagire a tutto insieme, gli insegniamo due regole d'oro:
  1. L'Indifferenza (Invariance): Se il cane vede un'ombra (video) ma il rumore (audio) è un falso allarme (es. un vento che soffia), deve rimanere calmo. Non deve reagire al rumore se non è collegato a ciò che vede. Deve imparare a dire: "Non mi fido di questo suono, non c'è nulla di strano qui".
  2. La Sensibilità (Sensitivity): Se il cane vede un ladro (video) e il ladro fa un rumore (audio), deve reagire immediatamente. Se togliamo il rumore o lo cambiamo, il cane deve notare la differenza. Deve dire: "Ehi, il suono è cambiato, ora è diverso!".

In pratica, MoD-DPO insegna al modello a sganciare (decoupling) le orecchie dagli occhi quando non servono, e a collegarle strettamente quando servono davvero.

2. Il "Freno" alla Fantasia (Debiasing)

C'è un altro trucco. Spesso il modello risponde basandosi solo sul testo, ignorando il video. È come se il detective leggesse il libro della storia e rispondesse senza guardare la scena.
Gli autori hanno aggiunto un "freno alla fantasia" (Language-Prior Debiasing). È come mettere un cartello sul tavolo del detective che dice: "Se rispondi basandoti solo su quello che sai a memoria, senza guardare il video, sbagli!". Questo costringe il modello a guardare davvero i dati audiovisivi prima di parlare.

Come hanno fatto? (L'Allenamento)

Non hanno dovuto assumere migliaia di umani per correggere il modello. Hanno usato un sistema automatico intelligente:

1. Hanno preso migliaia di video e audio.
2. Hanno creato delle "domande trappola": "Cosa vedi?" (dove la risposta corretta è basata solo sul video) e "Cosa senti?" (basata solo sull'audio).
3. Hanno creato risposte "sbagliate" ma ingannevoli: per la domanda sul video, hanno dato una risposta basata sull'audio (es. descrivendo un suono che non c'è).
4. Hanno detto al modello: "Questa risposta è quella giusta (guarda il video), quella sbagliata è quella basata sull'audio (non guardare l'audio qui)".

Il Risultato

Grazie a questo metodo, il modello diventa molto più fedele alla realtà.

• Se chiedi: "C'è un cane che abbaia?" in un video silenzioso, ora dirà "No" invece di immaginarlo.
• Se chiedi: "C'è acqua che scorre?" in un video di una strada secca, dirà "No" invece di inventare un fiume.

In Sintesi

MoD-DPO è come un allenatore personale per l'intelligenza artificiale multimediale. Insegna al modello a:

1. Non farsi influenzare da suoni o immagini irrilevanti (Indifferenza).
2. Farsi influenzare solo da ciò che è davvero importante per la domanda (Sensibilità).
3. Non fidarsi ciecamente delle sue conoscenze linguistiche pregresse (Freno alla fantasia).

Il risultato è un assistente AI più affidabile, che non "sogna" cose che non esistono, ma che guarda e ascolta davvero ciò che gli mostriamo. È un passo fondamentale per creare robot e assistenti che possiamo davvero fidarci di loro quando ci raccontano cosa sta succedendo nel mondo reale.

Sommario tecnico

1. Il Problema: Allucinazioni Cross-Modali negli Omni LLM

I recenti modelli linguistici di grandi dimensioni multimodali (o "omni LLM"), capaci di elaborare simultaneamente testo, audio e video, hanno mostrato prestazioni notevoli. Tuttavia, sono estremamente suscettibili alle allucinazioni cross-modali. Queste si manifestano quando il modello genera risposte basate su correlazioni spurie tra le modalità o su una eccessiva dipendenza dai priors linguistici (la tendenza a rispondere basandosi solo sul testo, ignorando o distorcendo audio e video).

Esempi tipici includono:

• Correlazioni spurie: Sentire un suono (es. un cane che abbaia) in un video dove non è presente, solo perché il contesto visivo suggerisce un parco.
• Dipendenza dai Priors Linguistici: Rispondere "Sì, vedo l'acqua" a una domanda su un video silenzioso e buio, basandosi solo sulla probabilità statistica del testo piuttosto che sull'evidenza visiva reale.

Le soluzioni esistenti (come la decodifica contrastiva o l'ottimizzazione delle preferenze standard) spesso non riescono a disaccoppiare i percorsi delle modalità durante l'addestramento o non penalizzano esplicitamente le scorciatoie basate solo sul testo.

2. Metodologia: MoD-DPO (Modality-Decoupled Direct Preference Optimization)

Gli autori propongono MoD-DPO, un framework di ottimizzazione delle preferenze che introduce regolarizzazioni specifiche per disaccoppiare le modalità e forzarne l'allineamento fedele.

A. Disaccoppiamento delle Modalità (Modality Decoupling)

L'obiettivo principale è insegnare al modello due proprietà complementari:

1. Invarianza (Invariance): La distribuzione di output del modello deve rimanere stabile quando la modalità irrilevante per il prompt viene corrotta.
   • Esempio: Se la domanda è sul video, il modello non deve cambiare risposta se l'audio di fondo viene sostituito da rumore o silenzio.
2. Sensibilità (Sensitivity): La distribuzione di output deve cambiare significativamente quando la modalità rilevante viene corrotta.
   • Esempio: Se la domanda è sul video, corrompere il video (es. oscurarlo) deve portare a una risposta diversa o a un calo di confidenza.

Questo viene formalizzato aggiungendo termini di regolarizzazione basati sulla divergenza KL all'obiettivo DPO originale:

• Un termine penalizza la variazione dell'output quando l'input irrilevante è corrotto.
• Un termine premia (o amplifica lo spostamento) quando l'input rilevante è corrotto.

B. Penalità di Debiasing dei Priors Linguistici (Language-Prior Debiasing - LPD)

Per contrastare la tendenza del modello a ignorare i dati audiovisivi e affidarsi solo al testo, viene introdotta una penalità aggiuntiva. Questa riduce la probabilità logaritmica delle risposte generate utilizzando solo l'input testuale, costringendo il modello a basarsi sull'evidenza multimodale completa.

C. Generazione del Dataset di Preferenze

Il metodo utilizza un dataset di preferenze generato automaticamente (oltre 18.100 campioni da 10.800 video unici). Il processo prevede tre fasi:

1. Disentanglement: Separazione automatica delle didascalie audio e video (usando modelli come AudioFlamingo 3 e GPT-4o).
2. Generazione QA: Creazione di domande e risposte basate su queste didascalie separate.
3. Creazione Coppie di Preferenza:
   • Risposta Scelta (Chosen): Basata sull'informazione della modalità rilevante.
   • Risposta Rifiutata (Rejected): Basata su informazioni della modalità irrilevante (es. per una domanda visiva, la risposta rifiutata contiene dettagli tratti dall'audio), creando "hard negatives" che ingannano i modelli deboli.

3. Contributi Chiave

1. Framework MoD-DPO: Una nuova tecnica di ottimizzazione delle preferenze che formalizza matematicamente l'invarianza e la sensibilità alle modalità, risolvendo il problema delle correlazioni spurie.
2. Penalità LPD: Un meccanismo innovativo per ridurre la dipendenza dai priors linguistici, fondamentale per i modelli "omni" che partono da backbone LLM addestrati su enormi quantità di testo.
3. Dataset Su Misura: Costruzione di un dataset di preferenze automatizzato specifico per allucinazioni cross-modali, contenente esempi di "hard negatives" che mescolano informazioni di modalità non pertinenti.
4. Soluzione a Forma Chiusa: Derivazione di una soluzione analitica per l'obiettivo MoD-DPO, rendendo l'ottimizzazione efficiente e stabile.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark specifici per le allucinazioni cross-modali: AVHBench e Curse of Multi-Modalities (CMM).

• Prestazioni Superiori: MoD-DPO e la sua variante con penalità LPD (MoD-DPO++) superano costantemente i baseline (inclusi DPO standard, OmniDPO e modelli SOTA come Qwen 2.5 Omni e MiniCPM-O).
  • Su AVHBench, MoD-DPO++ ha raggiunto un'accuratezza del 88.19% (vs 84.15% del modello base Qwen 2.5 Omni) e un F1 score significativamente più alto.
  • Su CMM, ha mostrato miglioramenti nell'accuratezza della percezione (pa) e nella resistenza alle allucinazioni (hr), con guadagni fino al 3-4% rispetto ai modelli di riferimento.
• Robustezza: Le analisi mostrano che il modello addestrato con MoD-DPO++ è più robusto agli input avversari e riduce l'attenzione sulle token irrilevanti, spostando il focus sui token audiovisivi pertinenti.
• Efficienza: Nonostante richieda passaggi in avanti aggiuntivi per le versioni corrotte degli input, il metodo converge più velocemente (in circa 1/4 delle epoche rispetto ai baseline) grazie alla natura dei gradienti e all'assenza di calcoli di gradiente sui target fissi.

5. Significato e Impatto

Il lavoro di MoD-DPO rappresenta un passo cruciale verso la creazione di foundation model multimodali affidabili e resilienti.

• Allineamento Fedele alle Modalità: Dimostra che l'allineamento non deve essere solo tra testo e risposta, ma deve garantire che la risposta sia radicata nell'evidenza della modalità corretta.
• Scalabilità: L'approccio basato su preferenze generate automaticamente e l'ottimizzazione diretta (senza bisogno di un modello di reward separato) lo rendono scalabile per futuri modelli omni.
• Riduzione delle Allucinazioni: Fornisce una soluzione strutturata per mitigare uno dei principali ostacoli all'adozione degli Omni LLM in scenari reali critici (es. diagnostica medica, sorveglianza, assistenti robotici), dove le allucinazioni cross-modali possono portare a errori gravi.

In sintesi, MoD-DPO trasforma la dinamica di apprendimento degli Omni LLM, passando da una semplice fusione di modalità a un'interazione controllata e disaccoppiata, dove ogni modalità viene valutata per la sua rilevanza specifica nel contesto della domanda.