Riassunto Tecnico: Cecità del Contesto in DPO: Mitigare l'Allucinazione di Oggetti negli MLLM tramite l'Ottimizzazione delle Preferenze Calibrata sul Contesto

1. Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) hanno compiuto progressi significativi nei compiti visione-linguaggio, ma rimangono soggetti all'allucinazione di oggetti, in cui i modelli generano descrizioni semanticamente plausibili che contraddicono l'input visivo. Sebbene la Direct Preference Optimization (DPO) e le sue varianti siano state impiegate per mitigare questo fenomeno addestrando i modelli a preferire risposte non allucinate rispetto a quelle allucinate, i recenti sforzi volti ad arricchire i dati di preferenza con un contesto rilevante (ad esempio, didascalie ausiliarie) hanno prodotto risultati poco chiari riguardo all'effettiva utilizzazione di tale contesto da parte del modello.

Gli autori identificano un limite fondamentale negli obiettivi di ottimizzazione delle preferenze esistenti: essi sono ciechi rispetto al contesto (context-blind). La DPO standard ottimizza il margine di preferenza per un input $x$ fisso, ma non premia esplicitamente il modello per il rafforzamento della propria preferenza qualora venga fornita un'informazione contestuale più ricca. Di conseguenza, anche quando addestrati su dati contenenti un contesto utile, i modelli spesso non riescono a sfruttare questa informazione per ancorare (grounding) le proprie risposte, portando a una persistente allucinazione.

2. Metodologia

2.1 Metrica Diagnostica: Guadagno di Preferenza Contestuale (CPG)

Per indagare se i modelli sfruttino effettivamente il contesto, gli autori introducono il Contextual Preference Gain (CPG). Questa metrica quantifica la variazione nella forza della preferenza di un modello quando viene fornito un contesto aggiuntivo rilevante.

Dato un input di contesto completo $x$ (immagine, query e didascalia ausiliaria) e un input di contesto degradato $x'$ (immagine e query solo, con la didascalia rimossa), il punteggio di preferenza è definito come il margine di ricompensa implicito tra la risposta preferita ($y_w$) e quella meno preferita ($y_l$):
$$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$$

Il CPG è calcolato come la differenza tra questi punteggi:
$$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$$

Osservazioni Chiave:

• Correlazione: Esiste una forte correlazione negativa tra CPG e tassi di allucinazione; i modelli con un CPG più elevato mostrano costantemente meno allucinazioni.
• Cecità del Contesto: La DPO standard e le sue varianti (SimPO, RDPO) presentano distribuzioni di CPG concentrate vicino allo zero. Ciò indica che la rimozione del contesto ausiliario causa una variazione minima nella preferenza del modello, rivelando che questi modelli non utilizzano efficacemente le informazioni contestuali per l'ancoraggio.

2.2 Soluzione Proposta: C2-DPO (DPO Calibrata sul Contesto)

Per affrontare la cecità del contesto, gli autori propongono C2-DPO, un framework che massimizza esplicitamente il CPG preservando al contempo l'ordine di preferenza corretto in condizioni degradate. L'approccio è formulato come un problema di ottimizzazione vincolata:

1. Obiettivo: Massimizzare il margine di preferenza sotto il contesto completo ($x$).
2. Vincolo 1: Il margine di preferenza sotto il contesto completo deve superare quello sotto il contesto degradato ($x'$), garantendo un CPG positivo.
3. Vincolo 2: Il margine di preferenza sotto il contesto degradato deve rimanere positivo, assicurando che il modello preferisca ancora la risposta corretta anche senza indizi ausiliari.

Questi vincoli vengono rilassati in un obiettivo di addestramento differenziabile composto da tre termini:
$$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$$

• $\mathcal{L}_{\text{DPO}}(x)$: Perdita DPO standard sul contesto completo per mantenere l'allineamento.
• $\mathcal{L}_c(x, x')$ (Perdita di Calibrazione della Preferenza Contestuale): Una perdita contrastiva che tratta il contesto completo come positivo e il contesto degradato come negativo, massimizzando esplicitamente il divario (CPG) tra essi.
• $\mathcal{L}_{\text{DPO}}(x')$: Perdita DPO standard sul contesto degradato per garantire che il modello mantenga un ordine di preferenza corretto anche quando il contesto manca, evitando che il modello si limiti ad abbassare il punteggio della risposta preferita per gonfiare artificialmente il CPG.

3. Contributi Chiave

1. Identificazione della Cecità del Contesto: Gli autori rivelano che gli esistenti metodi di ottimizzazione delle preferenze non riescono a sfruttare le informazioni contestuali, come dimostrato dalle distribuzioni di CPG vicine allo zero.
2. Introduzione del CPG: Una metrica diagnostica che quantifica la relazione tra l'utilizzo del contesto e i tassi di allucinazione, dimostrando che un CPG più elevato correla con una riduzione delle allucinazioni.
3. Framework C2-DPO: Un metodo di allineamento delle preferenze generale che ottimizza esplicitamente il guadagno di preferenza contestuale. È progettato per essere indipendente dal modello (model-agnostic) e può essere integrato senza problemi con varie varianti di ottimizzazione delle preferenze (DPO, SimPO, RDPO) e applicato sia ad ambiti multimodali che testuali.

4. Risultati Sperimentali

Gli autori hanno valutato C2-DPO su due MLLM (LLaVA-v1.5-7B e Qwen2-VL-Instruct-2B) attraverso molteplici benchmark.

• Riduzione delle Allucinazioni:

  • Su Object HalBench, C2-DPO ha ridotto il tasso di allucinazione di Qwen2-VL-Instruct-2B del 36% (livello di risposta) e del 60% (livello di menzione) rispetto al baseline, superando i metodi allo stato dell'arte come C-DPO e HA-DPO.
  • Su AMBER, C2-DPO ha ottenuto un punteggio di allucinazione di 16.1, significativamente inferiore rispetto a vanilla-DPO (39.9) e C-DPO (17.5).
  • I miglioramenti sono stati costanti attraverso diverse scale di modelli e architetture.

• Preservazione del Ragionamento Generale:

  • C2-DPO ha mantenuto prestazioni solide sui benchmark di ragionamento multimodale generale (ScienceQA, MM-Vet, TextVQA), indicando che la riduzione delle allucinazioni non compromette le capacità generali di seguire le istruzioni o di ragionamento.

• Generalizzabilità:

  • Varianti: L'integrazione della perdita di calibrazione in SimPO e RDPO (risultando in C2-SimPO e C2-RDPO) ha prodotto miglioramenti costanti, confermando l'ortogonalità del metodo rispetto all'obiettivo di ottimizzazione sottostante.
  • Solo Testo: In contesti di LLM solo testo (AlpacaEval 2), l'applicazione della strategia di calibrazione ha migliorato le prestazioni sia per DPO che per SimPO, suggerendo che il principio della modellazione delle preferenze consapevole del contesto si estende oltre i domini multimodali.

• Robustezza:

  • Esperimenti con contesto rumoroso (mascheramento casuale delle didascalie) hanno mostrato che C2-DPO rimane robusto, con il divario di prestazioni tra C2-DPO e i baseline che si amplia all'aumentare del rumore.

• Dinamiche di Apprendimento:

  • L'analisi dell'addestramento ha mostrato che C2-DPO aumenta costantemente il CPG durante l'addestramento, mentre i metodi baseline (come C-DPO) rimangono vicini allo zero.
  • È stato osservato che il CPG aumenta linearmente con la quantità di contesto rilevante (numero di parole e frasi), confermando la sensibilità del modello alla ricchezza del contesto.

5. Significato e Rivendicazioni

Il documento sostiene che il limite primario dell'attuale ottimizzazione delle preferenze negli MLLM non sia la qualità dei dati, ma l'incapacità dell'obiettivo di ottimizzazione di imporre l'ancoraggio al contesto. Modellando esplicitamente come il contesto modella la preferenza, C2-DPO fornisce un approccio rigoroso per mitigare l'allucinazione di oggetti.

Gli autori sottolineano che il loro metodo:

• Non richiede cambiamenti architettonici complessi o modelli di ricompensa aggiuntivi.
• Si basa solo sul contrasto tra input completi e degradati, rendendolo applicabile ad altre modalità e compiti in cui il contesto può essere definito.
• Offre una strategia unificata per migliorare l'affidabilità nell'ottimizzazione delle preferenze, estendendo i benefici dell'ancoraggio multimodale all'allineamento fattuale solo testuale.

Il lavoro conclude che la calibrazione esplicita dei punteggi di preferenza rispetto alle informazioni contestuali è un principio ampiamente utile per migliorare l'affidabilità fattuale dei modelli generativi.