💬 NLP

The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?

Questo articolo sostiene che il decoding contrastivo fallisca nel mitigare realmente le allucinazioni di oggetti nei modelli linguistici multimodali di grandi dimensioni, rivelando che il suo apparente successo su benchmark come POPE è meramente un'illusione causata da rozzi aggiustamenti della distribuzione e da una riduzione alla ricerca greedy piuttosto che da una vera soppressione delle allucinazioni.

Autori originali: Hao Yin, Guangzong Si, Zilei Wang

Pubblicato 2026-06-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hao Yin, Guangzong Si, Zilei Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'idea centrale: Il "trucco di magia" che non era magia

Immaginate di avere un assistente robotico molto intelligente ma un po' confuso (un Modello Linguistico Multimodale Grande, o MLLM) che guarda le immagini e risponde a domande su di esse. A volte, questo robot sbaglia: potrebbe dire che c'è una "banana blu" in una foto di una banana gialla. Questo si chiama allucinazione.

Per un certo periodo, i ricercatori hanno utilizzato una tecnica chiamata Contrastive Decoding per correggere questo problema. Sostenevano che fosse come un "filtro per le allucinazioni" capace di individuare le bugie del robot e fermarle.

Questo articolo sostiene che questo "filto" in realtà non funziona. Invece, il miglioramento dei punteggi del robot nei test è il risultato di due trucchi astuti che lo fanno sembrare più intelligente senza renderlo realmente più veritiero.

Analogia 1: Il trucco del "Sì-uomo" (Aggiustamento Unidirezionale)

L'ambientazione:
Immaginate un quiz televisivo in cui il presentatore chiede: "C'è una sedia in questa immagine?"

Il Problema: Il robot è naturalmente timido e tende a dire "No" troppo spesso, anche quando una sedia c'è davvero.
La "Soluzione": Il metodo di Contrastive Decoding agisce come un coach che sussurra al robot: "Ehi, se non ne sei sicuro al 100%, rispondi semplicemente 'Sì'!"

Cosa succede in realtà:

Nel test specifico utilizzato (benchmark POPE), le domande sono divise al 50/50 tra "Sì" e "No".
Poiché il robot originariamente diceva "No" troppo spesso, costringerlo a dire "Sì" più spesso bilancia accidentalmente il punteggio. Sembra che il robot stia migliorando nel suo lavoro.
Il Rovescio della Medaglia: Il robot non sta guardando l'immagine meglio di prima. Sta solo indovinando "Sile" più spesso. Se lo testaste su un set diverso di domande dove il "Sì" è già la risposta comune, questo trucco renderebbe il robot peggiore perché inizierebbe a dire "Sì" a tutto, anche quando sbaglia.

La prova del documento:
Gli autori hanno provato una soluzione "finta". Hanno semplicemente aggiunto una nota alle istruzioni del robot dicendo: "Per favore, cerca di rispondere 'Sì' ogni volta che possibile".

Risultato: Questa soluzione finta ha migliorato i punteggi del test tanto quanto il complesso metodo di "Contrastive Decoding".
Conclusione: Il miglioramento non era dovuto al fatto che il robot vedeva meglio; era solo perché al robot era stato ordinato di dire "Sì" più spesso.

Analogia 2: La "Rete di Sicurezza" che diventa una Camicia di Forza (Vincolo di Plausibilità Adattiva)

L'ambientazione:
Quando il robot risponde, di solito sceglie una parola da una lista di possibilità. A volte utilizza un metodo di "campionamento" (sampling), che è come lanciare un dado per scegliere una parola dalla parte alta della lista. Questo aggiunge varietà ma può portare a errori.

La "Soluzione":
Il metodo di Contrastive Decoding include una regola chiamata "Adaptive Plausibility Constraint" (Vincolo di Plausibilità Adattiva). Dovrebbe essere una rete di sicurezza che impedisce al robot di scegliere parole strane o impossibili.

Cosa succede in realtà:

Gli autori hanno scoperto che questa "rete di sicurezza" è così rigida da tagliare quasi tutte le opzioni della lista.
Costringe il robot a smettere di lanciare i dadi e a scegliere semplicemente la singola risposta più ovvia ogni volta.
In termini tecnici, trasforma una strategia di Campionamento flessibile in una ricerca Greedy (Greedy Search) rigida (scegliere sempre la prima scelta).
Il Rovescio della Medaglia: In questo test specifico, scegliere la prima opzione (Greedy Search) funziona meglio che lanciare i dadi. Quindi, la "soluzione" ha migliorato il punteggio non perché abbia fermato le allucinazioni, ma perché ha costretto il robot a smettere di essere creativo e a essere semplicemente noioso e prevedibile.

La prova del documento:
Gli autori hanno preso la regola della "rete di sicurezza" e l'hanno applicata a un robot standard senza i sofisticati trucchi del "Contrastive Decoding".

Risultato: Il punteggio del robot è salito significativamente, quasi eguagliando i metodi sofisticati.
Conclusione: Il metodo sofisticato non ha fatto il lavoro pesante; lo ha fatto la semplice regola della "rete di sicurezza". E poiché quella regola costringe solo il robot a essere prevedibile, non risolve affatto la causa radice delle allucinazioni.

Il Verdetto Finale

Il documento conclude che i "guadagni di prestazioni" visti in questi modelli sono un miraggio.

Non riguarda la verità: I metodi non aiutano i modelli a comprendere meglio le immagini.
Riguarda il pregiudizio (bias): Stanno solo spostando le risposte del robot per farle corrispondere all'equilibrio specifico del test (dire "Sì" più spesso).
Riguarda la rigidità: Stanno costringendo il robot a smettere di tirare a indovinare e a scegliere solo la risposta più ovvia, il che funziona su questo specifico test ma non risolve il problema fondamentale del mentire.

In breve: Il documento dice: "Smettetela di celebrare questi metodi come una cura per le allucinazioni. Stanno solo giocando con i punteggi dei test, non stanno riparando il cervello del robot".

Gli autori suggeriscono che per risolvere davvero le allucinazioni, servono metodi che aiutino effettivamente il robot a vedere correttamente l'immagine, non solo metodi che ingannano il test per ottenere un punteggio più alto.

Sintesi Tecnica: Il Miraggio dei Guadagni di Prestazione nel Contrastive Decoding per gli MLLM

Problema

I Modelli Linguistici Multimodali (MLLM) soffrono di "allucinazioni di oggetti", in cui i modelli generano output fattualmente errati e non allineati con gli input visivi. Questo problema pone rischi significativi in domini critici come la guida autonoma e l'assistenza sanitaria. Sebbene le strategie di Contrastive Decoding (ad esempio, Visual Contrastive Decoding [VCD], Instruction Contrastive Decoding [ICD] e Self-Introspective Decoding [SID]) siano ampiamente adottate per mitigare queste allucinazioni, questo articolo sostiene che il loro successo riportato sul POPE Benchmark sia in gran parte illusorio. Gli autori sostengono che questi metodi non riducano realmente le allucinazioni, ma ottengano invece guadagni di prestazione attraverso meccanismi fuorvianti che non affrontano la causa radice del problema.

Metodologia e Analisi

L'articolo impiega un rigoroso framework analitico per decostruire i guadagni di prestazione del contrastive decoding, identificando due fattori fuorvianti primari:

Regolazione Unidirezionale della Distribuzione di Output:
Gli autori analizzano come il contrastive decoding modifichi la distribuzione di output del modello. Dimostrano che questi metodi non filtrano efficacemente le allucinazioni, ma applicano invece un bias unidirezionale grezzo verso la generazione di risposte "Sì".
- Meccanismo: I campioni contrastivi (ad esempio, immagini distorte o istruzioni perturbate) sono destinati a indurre allucinazioni affinché possano essere soppresse. Tuttavia, gli autori dimostrano che questi input contrastivi inducono in realtà un forte bias verso le risposte "No". Quando la formula del contrastive decoding sottrae questi logit orientati al "No" dalla distribuzione originale, spinge efficacemente l'output finale verso il "Sì".
- Conseguenza: Nei dataset in cui il modello baseline è polarizzato verso il "No" (ad esempio, MSCOCO-Random), questo spostamento bilancia artificialmente la distribuzione, migliorando l'accuratezza. Al contrario, nei dataset già polarizzati verso il "Sì" (ad esempio, GQA-Adversarial), lo stesso meccanismo degrada le prestazioni.
Degradazione della Strategia di Campionamento tramite Vincoli di Plausibilità Adattiva:
Il documento investiga il ruolo del Vincolo di Plausibilità Adattiva (Adaptive Plausibility Constraint), una componente utilizzata in VCD, ICD e SID per prevenire la generazione di token a bassa probabilità.
- Meccanismo: Questo vincolo tronca il pool di token candidati in base a una soglia di confidenza ( $\beta$ ). Gli autori dimostrano che, sotto una strategia di decoding per campionamento, questo vincolo elimina aggressivamente le opzioni a bassa probabilità, riducendo efficacemente il processo di campionamento stocastico a una ricerca greedy deterministica.
- Conseguenza: Poiché la ricerca greedy è intrinsecamente superiore al campionamento nei compiti di classificazione binaria come POPE (che pone domande "Sì/No"), i guadagni di prestazione osservati sono attribuiti allo spostamento della strategia di decoding piuttosto che alla mitigazione delle allucinazioni.

Contributi Chiave

L'articolo apporta tre contributi distinti al campo della valutazione degli MLLM e della mitigazione delle allucinazioni:

Identificazione del Bias Unidirezionale: Gli autori rivelano che i miglioramenti delle prestazioni del contrastive decoding derivano da una regolazione grossolana e unidirezionale della distribuzione di output. Questa regolazione bilancia casualmente la distribuzione su specifici dataset (dove il baseline è polarizzato verso il "No"), ma non affronta il meccanismo sottostante dell'allucinazione.
Scoperta della Degradazione della Strategia di Decoding: Il documento identifica che l'Adaptive Plausity Constraint è il principale motore dei guadagni di prestazione quando viene utilizzato il campionamento. Trasformando la strategia di campionamento in un'approssimazione della ricerca greedy, il vincolo crea un miglioramento ingannevole che non è correlato alla mitigazione delle allucinazioni.
Validazione tramite Metodi di Miglioramento Spuri: Per dimostrare che questi guadagni non sono unici del contrastive decoding, gli autori hanno sviluppato e valutato metodi di "miglioramento spurio":
- Prompt-Based Adjustment (PBA): Aggiunta di prompt come "Rispondi Sì se possibile".
- Output Layer Modification (OLM): Forzare output "Sì" quando le probabilità di "Sì" e "No" sono vicine.
- Applicazione Standalone del Vincolo: Applicare il vincolo di plausibilità adattiva senza il contrastive decoding.
- Risultato: Questi metodi, che non hanno una base teorica per la mitigazione delle allucinazioni, hanno ottenuto guadagni di prestazione comparabili o superiori a quelli di VCD e SID, confermando che i guadagni sono artefatti dello spostamento della distribuzione e dei cambiamenti nella strategia di decoding.

Risultati Sperimentali

Gli autori hanno condotto estesi esperimenti sul POPE Benchmark (sottoset Random, Popular, Adversarial) e altri benchmark (MME, CHAIR, NoCaps, LLaVA-Bench) utilizzando modelli come LLaVA-v1.5 e Qwen-VL.

POPE Benchmark: I metodi di contrastive decoding hanno mostrato significativi miglioramenti di accuratezza sul sottoset "Random" (dove i baseline sono polarizzati verso il "No"), ma spesso hanno degradato le prestazioni sul sottoset "Adversarial" (dove i baseline sono polarizzati verso il "Sì").
Metodi Spuri: PBA e OLM hanno replicato queste tendenze, ottenendo aumenti di accuratezza simili sul subset Random e cali simili sul subset Adversarial, nonostante non possiedano una logica di mitigazione delle allucinazioni.
Altri Benchmark: Nei compiti discriminativi (MME) e generativi (CHAIR, NoCaps) dove la distribuzione di output non è sbilanciata verso il "No", i metodi di contrastive decoding non hanno mostrato miglioramenti e hanno spesso causato declini nelle prestazioni.
Isolamento del Vincolo: L'applicazione del solo vincolo di plausibilità adattiva a una strategia di campionamento ha prodotto guadagni di prestazione quasi identici ai metodi completi di contrastive decoding, isolando il vincolo come la vera fonte del "miglioramento".

Significato e Rivendicazioni

L'articolo conclude che l'efficacia percepita delle strategie di contrastive decoding nel mitigare le allucinazioni di oggetti è un miraggio. I guadagni di prestazione osservati sul POPE benchmark non sono prova di una riduzione delle allucinazioni, ma sono invece artefatti di:

Un bilanciamento artificiale delle distribuzioni di output su specifici dataset.
La conversione del campionamento stocastico in una ricerca greedy deterministica.

Significato:

Valutazione Critica: Il lavoro mette in discussione l'affidamento della comunità sul POPE benchmark e sugli attuali metodi di contrastive decoding come soluzioni definitive per le allucinazioni.
Direzione Futura: Invoca nuovi criteri di valutazione che distinguano tra la reale mitigazione delle allucinazioni e il semplice spostamento della distribuzione o il cambiamento della strategia di decoding. Gli autori raccomandano metodi che bilancino la correzione delle risposte errate con la preservazione di quelle corrette, piuttosto che polarizzare unidirezionalmente gli output.
Impatto: Esponendo questi fattori fuorvianti, l'articolo mira a guidare la ricerca futura verso lo sviluppo di soluzioni realmente efficaci per le allucinazioni negli MLLM, garantendo sistemi di IA più trasparenti e responsabili nelle applicazioni critiche.