Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

1. Enunciato del Problema

I Large Vision-Language Models (LVLM) soffrono frequentemente di allucinazioni, generando contenuti incoerenti con le immagini di input (ad esempio, oggetti inesistenti, attributi errati o relazioni sbagliate). Sebbene l'Ottimizzazione Diretta delle Preferenze (DPO) sia emersa come soluzione mainstream per mitigare questo problema allineando i modelli alle preferenze umane, gli approcci esistenti affrontano due limitazioni critiche:

1. Disallineamento Distributivo: La maggior parte dei metodi si basa su modelli proprietari (ad esempio, GPT-4V) per generare risposte "preferite" (fattuali). Ciò introduce uno spostamento distributivo perché i pattern di correzione del modello insegnante esterno differiscono dalla distribuzione intrinseca dell'LVLM target, ostacolando un allineamento efficiente.
2. Pregiudizio verso l'Esistenza degli Oggetti: I dataset e gli obiettivi di training esistenti si concentrano principalmente sulla presenza degli oggetti (esistenza binaria), trascurando le allucinazioni fini che coinvolgono attributi (ad esempio, colore, materiale) e relazioni (ad esempio, posizionamento spaziale).

2. Metodologia: AVES-DPO

Gli autori propongono AVES-DPO (Allineamento tramite Auto-correzione Verificata DPO), un framework che elimina la dipendenza da modelli proprietari esterni sfruttando la conoscenza intrinseca del modello target per generare dati di preferenza in-distribuzione. Il framework consta di due fasi distinte:

A. Verifica delle Allucinazioni

Questa fase diagnostica gli errori nella risposta iniziale del modello ($y_{init}$) utilizzando un meccanismo di verifica basato sul consenso:

• Estrazione del Grafo di Scena: La risposta viene analizzata in un grafo di scena strutturato contenente Oggetti ($O$), Attributi ($A$) e Relazioni ($R$).
• Verifica per Consenso: Due modelli di verifica indipendenti ($V_1, V_2$) controllano la fattualità di ogni elemento.
  • Verifica degli Oggetti: Utilizza rilevatori open-source robusti (YOLO, Grounding DINO). I casi ambigui vengono risolti da una verifica secondaria tramite modelli Qwen3-VL.
  • Verifica di Attributi e Relazioni: Solo gli oggetti verificati vengono controllati per attributi e relazioni utilizzando modelli Qwen3-VL.
  • Regola del Consenso: Un'etichetta viene finalizzata solo se entrambi i modelli concordano; altrimenti, viene contrassegnata come "Ambigua".
• Candidati di Correzione: Se un elemento è allucinato, il sistema recupera una sostituzione corretta da un vocabolario pre-costruito (derivato da GQA e MS-COCO) basato sui sottotipi semantici.

B. Auto-correzione

Guidato dalle diagnosi di verifica, l'LVLM affina la propria output in due fasi:

1. Rettificazione Fattuale: Il modello rimuove gli elementi allucinati o li sostituisce con contenuti corretti verificati, producendo una risposta concisa e fattualmente accurata.
2. Arricchimento Dettagliato: Per evitare che la risposta diventi troppo scarsa, il modello aggiunge dettagli visivi mancanti radicati nell'immagine.
   • Filtraggio Iterativo: Una pipeline ciclica garantisce la qualità. Il testo arricchito viene re-inserito nel modulo di verifica. Se vengono rilevate allucinazioni, viene rigenerato. Questo ciclo viene eseguito fino a 3 volte (per modelli da 7B) o 5 volte (per modelli da 13B).
   • Vincoli Negativi: Al modello viene esplicitamente istruito di non menzionare oggetti precedentemente identificati come allucinati.

C. Apprendimento delle Preferenze

Il processo genera un dataset di preferenze $\mathcal{D}_{SC}$ costituito da coppie $(x, y^+, y^-)$, dove:

• $y^-$: La risposta iniziale allucinata.
• $y^+$: La risposta finale auto-corretta e arricchita.
• Obiettivo di Training: Il modello viene ottimizzato utilizzando la funzione di perdita DPO standard per massimizzare la probabilità di $y^+$ rispetto a $y^-$, insegnando efficacemente al modello a preferire le proprie output verificate e fattuali.

3. Contributi Chiave

• Allineamento In-Distribuzione: AVES-DPO è il primo framework a generare coppie di preferenze strettamente dalla conoscenza intrinseca del modello target, risolvendo il problema del disallineamento distributivo inerente all'uso di modelli "insegnanti" esterni.
• Mitigazione Completa delle Allucinazioni: A differenza dei lavori precedenti focalizzati principalmente sull'esistenza degli oggetti, AVES-DPO affronta un ampio spettro di allucinazioni, inclusi attributi e relazioni, attraverso la sua pipeline di verifica granulare.
• Alta Efficienza dei Dati: Il metodo raggiunge prestazioni all'avanguardia utilizzando solo 5.2k campioni (per il modello da 7B), che è circa 25 volte meno dati rispetto a metodi come LLaVA-RLHF, senza richiedere costose chiamate API proprietarie.
• Pipeline di Verifica Robusta: L'introduzione di una strategia di verifica in due fasi e basata sul consenso (che combina rilevatori e VLM) garantisce dati di preferenza di alta qualità e privi di rumore.

4. Risultati Sperimentali

Gli autori hanno valutato AVES-DPO su LLaVA-1.5 (7B e 13B) su diversi benchmark:

• Benchmark di Allucinazioni (Object-Hal, AMBER, MMHal-Bench):
  • AVES-DPO ha raggiunto prestazioni SOTA su oltre il 60% delle metriche di valutazione per il modello da 7B.
  • Ha ridotto significativamente i punteggi CHAIR (tassi di allucinazione) rispetto a baseline come POVID, oDPO e SENTINEL.
  • Miglioramenti Fini: Il metodo ha mostrato miglioramenti sostanziali nelle categorie relazione e attributo, dove altri metodi spesso faticano. Ad esempio, sul benchmark AMBER, ha ottenuto un punteggio di 66.6 nella categoria "Relazione" per il modello da 7B, superando le baseline che spesso degradavano le prestazioni in quest'area.
• Capacità Multimodali Generali (Benchmark MME):
  • Il modello da 7B ha mostrato miglioramenti significativi nei compiti di percezione e riconoscimento generali, confermando che la mitigazione delle allucinazioni non ha degradato le capacità generali.
  • Nota: Il modello da 13B ha mostrato un leggero compromesso nei benchmark generali, suggerendo la necessità di strategie consapevoli della scala per bilanciare il radicamento fattuale con il recupero di conoscenze ampie.
• Studi di Ablazione:
  • Disallineamento Distributivo: La visualizzazione dei margini di preferenza ha mostrato che l'auto-correzione si allinea con la distribuzione interna del modello (margine vicino a zero/positivo), mentre la supervisione esterna GPT-4V ha causato uno spostamento negativo (disallineamento distributivo).
  • Efficienza dei Dati: I guadagni di prestazioni sono stati significativi anche con soli 600 campioni, con rendimenti decrescenti osservati oltre i 5.2k campioni.

5. Significato

Questo paper presenta un cambiamento di paradigma nella mitigazione delle allucinazioni per gli LVLM. Dimostrando che l'auto-correzione è superiore alla supervisione esterna per l'apprendimento delle preferenze, AVES-DPO offre una soluzione costo-efficace, scalabile ed efficiente nei dati. Rimuove la dipendenza da costose API proprietarie (come GPT-4V) affrontando simultaneamente una gamma più ampia di tipi di allucinazioni (oggetti, attributi, relazioni). Il framework dimostra che gli LVLM possono imparare efficacemente ad allinearsi con le proprie basi di conoscenza interne per produrre output più fattuali e affidabili.