💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

Questo articolo introduce la Perception-Enhanced Alignment Direct Preference Optimization (PEA-DPO), un nuovo framework che affronta l'insensibilità visiva dei modelli linguistici di grandi dimensioni multimodali sfruttando esplicitamente i segnali di preferenza visiva, riducendo così significativamente le allucinazioni e migliorando l'allineamento multimodale pur preservando le capacità linguistiche.

Autori originali: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Pubblicato 2026-08-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova generazione di sistemi in grado di vedere e parlare contemporaneamente. Questi modelli linguistici di grandi dimensioni multimodali sono addestrati per guardare un'immagine e descrivere ciò che vedono, o per rispondere a domande su una fotografia. Affinché queste macchine siano davvero utili e sicure, devono allinearsi ai valori umani, il che significa che le loro risposte devono essere accurate, utili e basate sulla realtà visiva presentata loro. Una sfida principale nell'insegnare a questi sistemi è stata la tendenza a "allucinare", ovvero a descrivere con sicurezza oggetti o azioni che semplicemente non esistono. Per risolvere questo problema, i ricercatori si sono rivolti a una tecnica chiamata ottimizzazione della preferenza diretta (direct preference optimization), un metodo che insegna al modello mostrandogli coppie di risposte — una buona e una cattiva — e chiedendogli di imparare perché la prima sia migliore. Questo approccio ha dato risultati straordinari per i modelli solo testuali, ma quando applicato a sistemi che elaborano anche immagini, è stato scoperto un difetto nascosto che impedisce loro di "vedere" davvero la differenza tra una foto nitida e una in cui i dettagli più importanti sono stati oscurati.

Un team di ricercatori della University of Science and Technology of China e della National University of Singapore ha identificato questa specifica debolezza e ha sviluppato un nuovo framework per curarla. Hanno scoperto che i metodi di addestramento standard spesso trattano l'immagine solo come uno sfondo, un'ambientazione statica per la conversazione, piuttosto che come la fonte primaria di verità su cui il modello deve fare affidamento. A causa di ciò, i modelli sono diventati visivamente insensibili. Nei loro esperimenti, i ricercatori hanno dimostrato che questi modelli non riuscivano a distinguere tra una foto di persone che fanno un picnic e una di persone che leggono, anche quando l'evidenza visiva per una delle due era stata completamente rimossa. I modelli generavano risposte quasi identiche per entrambe, non riuscendo a notare che gli indizi visivi chiave erano mancanti. Avevano anche difficoltà a distinguere tra oggetti specifici all'interno di una singola immagine, come confondere uno scovololo con uno strumento generico, perché non prestavano abbastanza attenzione ai segnali visivi critici che definivano l'oggetto.

Per risolvere questo problema, i ricercatori hanno creato un metodo che chiamano Allineamento Potenziato dalla Percezione (Perception-Enhanced Alignment). Invece di insegnare al modello solo a scegliere la risposta testuale migliore, hanno riprogettato il processo di addestramento per costringere il modello a prestare attenzione al contesto visivo stesso. Hanno iniziato prendendo un'immagine chiara e creando una serie di versioni alterate in cui parti casuali venivano mascherate. Utilizzando un sistema visivo separato e altamente sensibile, hanno identificato quale versione alterata avesse perso le informazioni più critiche, creando di fatto un'immagine "rifiutata" che mancava dei dettagli chiave necessari per rispondere correttamente a una domanda. Hanno poi accoppiato questa immagine con informazioni mancanti con l'immagine originale e completa. Durante l'addestramento, al modello veniva presentata la stessa domanda e la stessa risposta testuale, ma mostrata prima con l'immagine completa e poi con quella incompleta. Al modello veniva insegnato che doveva preferire fortemente la risposta quando aveva la piena evidenza visiva, e che doveva riconoscere la risposta come meno affidabile quando il contesto visivo chiave era assente.

Questo approccio duplice ha insegnato al modello due cose contemporaneamente. Primo, ha imparato a distinguere tra una buona risposta testuale e una cattiva, proprio come prima. Secondo, e cosa più importante, ha imparato a riconoscere quando l'evidenza visiva era insufficiente a supportare un'affermazione. I ricercatori hanno testato questo nuovo metodo su due diverse dimensioni di modelli immagine-testo, uno con sette miliardi di parametri e un altro con tredici miliardi. I risultati sono stati sorprendenti. Nei test standard progettati per misurare quanto spesso questi modelli inventano dettagli, il nuovo metodo ha ridotto le allucinazioni di margini significativi. Per il modello più piccolo, il tasso di dettagli inventati è sceso di quasi un terzo in un importante benchmark, e di oltre il novanta per cento in un altro. Il modello più grande ha mostrato miglioramenti simili, superando spesso anche alcuni dei sistemi commerciali più avanzati disponibili. I modelli sono diventati molto più bravi a descrivere esattamente ciò che era presente nella foto, come identificare correttamente il titolo di un libro o uno strumento specifico, invece di indovinare basandosi sulla conoscenza generale.

I ricercatori hanno anche verificato per assicurarsi che questo nuovo focus sull'accuratezza visiva non rendesse i modelli meno capaci in altri compiti. Hanno scoperto che i modelli mantenevano la loro capacità di seguire istruzioni e rispondere a domande generali e, in alcuni casi, le loro prestazioni in questi compiti generali sono addirittura migliorate leggermente. L'unico compromesso evidente è stato che i modelli sono diventati leggermente più conservativi; erano meno propensi a tirare a indovinare quando non erano sicuri, il che significava che a volte fornivano meno dettagli complessivi, ma i dettagli che fornivano erano molto più probabili che fossero veri. Insegnando esplicitamente al modello di dare valore all'evidenza visiva tanto quanto al testo, i ricercatori hanno dimostrato che è possibile costruire un'intelligenza artificiale che non si limita a guardare un'immagine, ma la vede davvero. Questo lavoro suggerisce che, affinché le macchine siano partner affidabili nella comprensione del mondo visivo, devono essere addestrate a percepire il peso delle informazioni mancanti, garantendo che la loro fiducia sia sempre proporzionata alla chiarezza di ciò che hanno effettivamente davanti agli occhi.

Sintesi Tecnica: PEA-DPO

Definizione del Problema

Sebbene la Direct Preference Optimization (DPO) si sia dimostrata efficace per l'allineamento di Large Language Models (LLM) testuali con le preferenze umane, la sua applicazione diretta ai Multimodal Large Language Models (MLLM) rivela un limite critico: l'insensibilità visiva. Gli autori identificano che la standard multimodal DPO tratta spesso le immagini solo come input di condizionamento statici piuttosto che come target attivi di preferenza. Di conseguenza, i modelli non riescono a distinguere tra un'immagine originale e una in cui il contesto visivo critico è stato rimosso, portando a risposte debolmente ancorate all'evidenza visiva.

Attraverso l'analisi rappresentazionale e la decomposizione teorica, gli autori formalizzano questo fallimento in due manifestazioni distinte:

Insensibilità tra le Immagini (Across-Image Insensitivity): Il modello assegna punteggi di preferenza quasi identici a risposte generate da immagini distinte (ad esempio, non riuscendo a distinguere tra un'immagine di un'attività di lettura all'aperto e un picnic), indicando una mancanza di discriminazione tra diversi contesti visivi.
Insensibilità all'interno dell'Immagine (Within-Image Insensitivity): Il modello non riesce a distinguere tra indizi semanticamente critici e indizi irrilevanti all'interno della stessa immagine (ad esempio, confondendo uno scopino per il bagno con un attrezzo generico), portando a allucinazioni anche quando l'evidenza visiva corretta è presente.

Metodologia: PEA-DPO

Per affrontare queste limitazioni, gli autori propongono la Perception-Enhanced Alignment DPO (PEA-DPO). Questo framework sposta il paradigma di ottimizzazione dal trattare le immagini come contesto statico all'ottimizzazione congiunta della qualità della risposta e delle preferenze del contesto visivo.

1. Costruzione dei Dati di Preferenza Potenziati dalla Percezione

Il metodo genera coppie di preferenza visiva di alta qualità rimuovendo esplicitamente il contesto visivo critico:

Perturbazione: Partendo da un'immagine scelta ( $m_w$ ), il sistema applica maschere casuali per generare un insieme di immagini perturbate candidate.
Selezione tramite CLIP: Utilizzando gli embedding di CLIP, il sistema calcola la somiglianza semantica tra l'immagine originale e quella perturbata. L'immagine perturbata con il punteggio di somiglianza più basso (che indica la rimozione del contesto visivo più critico) viene selezionata come immagine rifiutata ( $m_l$ ).
Struttura dei Dati: Ciò crea una tripletta di preferenza $(x, m_w, m_l, y_w)$ , dove il modello deve apprendere a preferire la risposta $y_w$ quando condizionata sull'immagine completa $m_w$ rispetto all'immagine con contesto ridotto $m_l$ .

2. Obiettivo di Ottimizzazione Congiunta

PEA-DPO introduce una funzione di perdita a doppio obiettivo che ottimizza simultaneamente due segnali complementari:

Ottimizzazione della Preferenza della Qualità della Risposta (RPO): Il termine standard della multimodal DPO dove il modello apprende a preferire una risposta di alta qualità ( $y_w$ ) rispetto a una di qualità inferiore ( $y_l$ ) dato la stessa immagine ( $m_w$ ).
Ottimizzazione della Preferenza del Contesto Visivo (VPO): Un termine innovativo in cui il modello apprende a preferire la risposta $y_w$ quando condizionata sull'immagine completa ( $m_w$ ) rispetto alla stessa risposta condizionata sull'immagine con contesto ridotto ( $m_l$ ).

L'obiettivo finale combina questi termini:
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

Per ridurre il carico computazionale e migliorare la controllabilità, gli autori perfezionano ulteriormente il metodo in mPEA-DPO attraverso:

La sostituzione dei rapporti di log-probabilità con log-probabilità normalizzate per lunghezza (eliminando la necessità di un modello di riferimento).
La sostituzione della funzione sigmoid con ReLU per filtrare i punti dati banali.
L'introduzione di margini target ( $\gamma_r, \gamma_m$ ) per imporre separazioni minime tra le coppie preferite e rifiutate.

Analisi Teorica

Il documento fornisce una prova teorica dimostrando che mPEA-DPO mitiga direttamente i fallimenti identificati:

L'insensibilità tra le immagini corrisponde a un margine a livello di immagine ( $G_m$ ) vicino allo zero, che rappresenta l'incapacità del modello di distinguere tra $m_w$ e $m_l$ . Il termine $\mathcal{L}_{VPO}$ impone esplicitamente un margine positivo in questo caso.
L'insensibilità all'interno dell'immagine corrisponde a un margine a livello di risposta ( $G_r$ ) vicino allo zero, che rappresenta l'incapacità del modello di distinguere tra $y_w$ e $y_l$ anche con l'input visivo corretto. Il termine $\mathcal{L}_{RPO}$ impone questo margine.
Gli autori dimostrano che la combinazione lineare di questi termini in mPEA-DPO amplia provabilmente entrambi i margini, affrontando così entrambi i fallimenti simultaneamente.

Risultati Sperimentali

Gli autori hanno valutato mPEA-DPO su modelli LLaVA-v1.5 (7B e 13B parametri) attraverso tre benchmark di allucinazione: MMHal-Bench, Object HalBench e AMBER.

Riduzione delle Allucinazioni: mPEA-DPO ha ridotto significativamente i tassi di allucinazione. Per il modello 7B, ha ridotto il tasso di allucinazione di MMHal-Bench del 33% rispetto al modello base. Su Object HalBench, ha ottenuto riduzioni del 92% (livello risposta) e dell'87% (livello oggetto) nei tassi di allucinazione.
Confronto con SOTA: Il metodo ha superato la maggior parte delle baseline basate su RLHF/RLAIF open-source (ad es., LLaVA-RLHF, mDPO, OPA-DPO, DAMA) nella maggior parte delle metriche di allucinazione. Sebbene i modelli proprietari come GPT-4V e Gemini-2.5-Pro abbiano ottenuto punteggi complessivi più alti su MMHal-Bench e punteggi CHAIR più bassi su Object HalBench, mPEA-DPO ha dimostrato una prestazione superiore nella riduzione dei tassi di allucinazione rispetto ad altri metodi open-source. In particolare, sul benchmark AMBER, mPEA-DPO (7B) ha ottenuto un tasso di allucinazione di 10,3 e un punteggio di cognizione di 0,6, superando significativamente GPT-4V, che ha registrato un tasso di allucinazione di 30,7 e un punteggio di cognizione di 2,6.
Studi di Ablazione:
- Entrambi i componenti RPO e VPO sono risultati individualmente efficaci, ma la loro combinazione ha prodotto le migliori prestazioni.
- La strategia proposta di "Potenziamento della Percezione" per la costruzione delle immagini rifiutate (rimozione del contesto chiave tramite selezione CLIP) ha superato altre strategie come la maschera di blocchi casuali, rotazione, ritaglio o oscuramento totale.
- Le prestazioni sono aumentate positivamente con la dimensione dei dati di addestramento, mostrando efficacia anche con dataset più piccoli (2,8k istanze).
Capacità Generali: Le valutazioni su benchmark generali (MMStar, AI2D, LLaVA-Bench, MMMU) hanno indicato che mPEA-DPO ha preservato o leggermente migliorato le capacità di seguire le istruzioni e di ragionamento generale del modello, suggerendo che il metodo non degrada le prestazioni generali.

Significato e Rivendicazioni

Il documento afferma che PEA-DPO affronta una lacuna fondamentale nell'attuale allineamento multimodale: la tendenza dei modelli a ignorare l'evidenza visiva quando si ottimizza per le preferenze testuali. Modellando esplicitamente l'insensibilità visiva e introducendo un framework di apprendimento a doppia preferenza, gli autori dimostrano che:

L'insensibilità visiva è un modo di fallimento misurabile e correggibile nella multimodal DPO.
L'utilizzo esplicito di segnali di preferenza visiva (confrontando immagini complete vs. con contesto ridotto) è necessario per ancorare le risposte di MLLM all'evidenza visiva.
Il metodo proposto raggiunge prestazioni state-of-the-art tra i metodi open-source nella riduzione delle allucinazioni, mantenendo le capacità di linguaggio generale del modello base, superando altre baseline open-source e mostrando prestazioni competitive contro i modelli proprietari su specifiche metriche di allucinazione.

Gli autori notano alcune limitazioni, tra cui il costo computazionale aggiuntivo per la generazione di dati potenziati dalla percezione e un leggero compromesso nelle metriche di copertura (suggerendo una strategia di generazione più conservativa), ma concludono che il framework offre una strada robusta verso MLLM più affidabili e visivamente ancorati.