🤖 machine learning

Rethinking CD: A Reproducibility Study and Extension on the Ineffectiveness of Contrastive Decoding at Mitigating Object Hallucinations in MLLMs

Questo articolo riproduce ed estende ricerche precedenti per dimostrare che il contrastive decoding non riesce a mitigare genuinamente le allucinazioni di oggetti nei modelli linguistici multimodali di grandi dimensioni, poiché i suoi apparenti miglioramenti di prestazioni su benchmark come POPE sono spesso spuri e non riflettono un migliore grounding visivo.

Autori originali: Arnav Bendre, Guneesh Gupta, Kavish Grover, Chayan Aggarwal, Shreyansh Modi

Pubblicato 2026-07-29

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Arnav Bendre, Guneesh Gupta, Kavish Grover, Chayan Aggarwal, Shreyansh Modi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come guardare un'immagine e descrivere ciò che vede. Vuoi che il robot sia onesto, dicendo solo ciò che è effettivamente presente. Ma a volte, questi robot super-intelligenti possono diventare un po' troppo creativi. Potrebbero guardare la foto di una spiaggia tranquilla e dirti con sicurezza: "Vedo un cane che gioca a riportare!", anche se non c'è alcun cane nell'immagine. Nel mondo dell'intelligenza artificiale, questo viene chiamato "allucinazione". Non è che il robot stia mentendo intenzionalmente; è solo che ha letto così tante storie su cani in spiaggia che assume che uno debba esserci per forza, anche quando l'evidenza visiva manca.

Per risolvere questo problema, gli scienziati hanno cercato di insegnare ai robot di "ricontrollare" i propri pensieri. Un'idea popolare, chiamata Decodifica Contrastiva (Contrastive Decoding), funziona come un gioco di "Trova le Differenze". Al robot viene chiesto di immaginare l'immagine in due modi: uno chiaro e nitido (la vista dell' "esperto") e uno sfocato o rumoroso (la vista dell' "amatore"). La teoria è che se il robot è più propenso a dire "cane" nella vista sfocata rispetto a quella chiara, allora probabilmente sta solo indovinando basandosi sulla sua immaginazione, non sulla foto. Quindi, il metodo cerca di sopprimere questi tentativi della "vista sfocata" per costringere il robot a attenersi alla verità. È come un insegnante che dice a uno studente: "Se non riesci a vederlo chiaramente, non scriverlo".

Ma ecco il colpo di scena: un nuovo studio suggerisce che questo astuto trucco del "doppio controllo" potrebbe ingannarci. I ricercatori hanno scoperto che, invece di aiutare realmente il robot a vedere meglio, questo metodo lo sta solo spingendo a dire "Sì" più spesso, indipendentemente dal fatto che l'oggetto sia effettivamente presente. È come uno studente che, invece di studiare di più, decide semplicemente di rispondere "Sì" a ogni domanda perché sa che all'insegnante piacciono le risposte positive. Lo studio approfondisce per dimostrare che questo popolare rimedio non sta affatto correggendo la visione del robot; sta solo cambiando l'umore del robot.

L'Illusione del Grande "Sì"

Il documento che state per leggere è una storia investigativa scritta da un team di ricercatori dell'Istituto Indiano di Tecnologia di Roorkee. Hanno deciso di mettere sotto il microscopio il metodo della "Decodifica Contrastiva" per vedere se funziona davvero come pubblicizzato. Il loro obiettivo principale era rispondere a una domanda bruciante: Questo metodo sta effettivamente impedendo ai robot di allucinare, o sta solo simulando i risultati?

I ricercatori hanno iniziato ripetendo gli esperimenti di uno studio precedente (di Yin et al., 2026), ma utilizzando cervelli robotici più nuovi e potenti (specificamente modelli chiamati LLaVA e Qwen). Volevano vedere se la "magia" della Decodifica Contrastiva reggeva il confronto quando testata su dati freschi. Ciò che hanno trovato è stato un po' deludente per i fan del metodo, ma molto eccitante per chiunque desideri robot onesti.

Il Bias del "Sì"
La prima grande scoperta è che la Decodifica Contrastiva non rende in realtà il robot più attento nel guardare l'immagine. Inveve, lo spinge a dire "Sì" molto più spesso. Immaginate un test in cui il robot deve rispondere "Sì" o "No" a domande come: "C'è un gatto in questa immagine?". Se il robot di solito dice "No" troppo spesso (anche quando un gatto c'è davvero), questo metodo lo spinge a dire "Sì" di più.

I ricercatori hanno scoperto che questo spostamento fa sembrare il robot più intelligente sulla carta perché indovina più domande per caso. Ma ecco l'inghippo: il robot sta anche dicendo "Sì" a immagini dove non c'è un gatto, creando nuovi errori. È come uno studente che, invece di imparare la materia, decide di rispondere "Sì" a ogni domanda. Potrebbe avere fortuna e farne alcune giuste, ma sta anche inventando risposte che non sono vere. Lo studio ha dimostrato che si possono ottenere esattamente gli stessi punteggi "migliorati" semplicemente dicendo al robot: "Ehi, prova a dire 'Sì' più spesso", senza usare alcun sofisticato trucco di decodifica.

La Trappola dell' "Avido"
La seconda parte del mistero riguarda una valvola di sicurezza chiamata "Vincolo di Plausibilità Adattiva" (Adaptive Plausibility Constraint). Si tratta di una regola pensata per impedire al robot di dire cose assurde o impossibili. Tuttavia, i ricercatori hanno scoperto che questa regola è così severa che trasforma fondamentalmente il robot in un pensatore "avido" (greedy).

Pensate al "campionamento" (sampling) come al robot che lancia un dado per scegliere la sua prossima parola, dandogli la possibilità di essere creativo ed esplorare diverse opzioni. L'approccio "avido" è come se il robot scegliesse sempre la parola singola più ovvia, ignorando tutte le altre possibilità. Lo studio ha scoperto che la regola di sicurezza costringe il robot a smettere di lanciare i dadi e a scegliere semplicemente la parola più ovvia ogni volta. Quindi, quando il metodo sembra funzionare, è in realtà solo perché il robot ha smesso di essere creativo e ha iniziato a essere noiosamente prevedibile. Il "miglioramento" non è dovuto al fatto che il robot vede meglio; è perché il robot ha troppa paura di correre rischi.

L'Esperimento del "Rumore"
Per dimostrare che la parte "amatore" del metodo (la vista sfocata) non stava facendo alcun lavoro reale, i ricercatori hanno tentato qualcosa di folle. Hanno sostituito il robot "amatore" con puro rumore casuale — come il segnale di una radio piena di interferenze. Si aspettavano che il metodo fallisse completamente senza il robot amatore. Inveve, il metodo ha funzionato quasi esattamente allo stesso modo!

Questo è come uno chef che cerca di rendere una zuppa più gustosa aggiungendo un ingrediente segreto. Se togli l'ingrediente segreto e lo sostituisci con semplice acqua, e la zuppa ha ancora lo stesso sapore, ti rendi conto che l'ingrediente segreto non stava facendo nulla. I ricercatori hanno concluso che la vista "amatore" non sta aiutando il robot a vedere la verità; sta solo aggiungendo rumore casuale che non conta. Il vero motivo per cui i punteggi salgono è solo il bias del "Sì" e la regola dell' "avidità".

Un'Indagine Profonda: Cosa sta Succedendo Dentro il Cervello?
I ricercatori non si sono fermati alla superficie. Hanno guardato dentro il "cervello" del robot (i suoi strati di rete neurale) per vedere dove avveniva la magia. Hanno scoperto che il robot in realtà sa se un oggetto è presente o meno nei suoi strati profondi. Ha l'informazione! Ma quando entra in gioco la Decodifica Contrastiva, non usa quell'informazione per correggere l'errore. Inveve, preme semplicemente il tasto "Sì" con più forza per tutto, anche per le risposte sbagliate.

È come avere uno studente che sa che la risposta è "No", ma l'insegnante (il metodo di decodifica) continua a toccargli la spalla e sussurrare: "Dì 'Sì'!". Lo studente finisce per dire "Sì" comunque, anche se sapeva il contrario. Il metodo non sta correggendo la conoscenza dello studente; sta solo sovrascrivendola con una spinta uniforme verso il "Sì".

Il Verdetto

Quindi, qual è la conclusione finale di questo studio? I ricercatori sono molto sicuri delle loro scoperte. Hanno dimostrato che il popolare metodo della "Decodifica Contrastiva" è in gran parte un'illusione. Non aiuta realmente il robot a vedere il mondo più chiaramente o a smettere di inventare cose. Inveve, cambia solo il comportamento del robot portandolo a dire "Sì" più spesso e a smettere di correre rischi creativi.

Questo è un fatto importante perché molte persone hanno usato questo metodo per costruire IA più sicure e affidabili. Lo studio avverte che potremmo stare celebrando una vittoria falsa. Se vogliamo robot che non allucinano, non possiamo limitarci a modificare il modo in cui scelgono le parole; dobbiamo trovare un modo per aiutarli realmente a comprendere le immagini che stanno guardando. Fino ad allora, il trucco della "Decodifica Contrastiva" è solo un modo astuto per far sembrare che il robot stia prestando attenzione, quando in realtà sta solo giocando a "Sì, lo vedo!" con tutto il mondo.

Sintesi Tecnica: Ripensare la CD: Uno studio di riproducibilità ed estensione sull'inefficacia del Contrastive Decoding nel mitigare le allucinazioni di oggetti nei MLLM

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) soffrono di allucinazioni di oggetti, in cui i modelli generano output fluidi e coerenti che includono oggetti, attributi o relazioni assenti dall'input visivo. Questa modalità di fallimento riflette un debole grounding visivo e pone rischi significativi in domini ad alto rischio come la guida autonoma e l'assistenza sanitaria.

Il Contrastive Decoding (CD) è stato proposto come una strategia di inferenza senza addestramento per mitigare queste allucinazioni. L'idea centrale consiste nel contrastare la distribuzione dell'output di un modello "esperto" (condizionato sull'input originale) rispetto a un modello "amatore" più debole e incline alle allucinazioni (condizionato su un input perturbato, come un'immagine rumorosa o un'istruzione alterata). I token favoriti dal modello amatore vengono penalizzati, teoricamente sopprimendo le allucinazioni. Sebbene varianti della CD come la Visual Contrastive Decoding (VCD), la Instruction Contrastive Decoding (ICD) e la Self-Introspective Decoding (SID) abbiano riportato miglioramenti delle prestazioni su benchmark come POPE, studi recenti di Yin et al. (2026) hanno messo in discussione se tali guadagni riflettano un reale miglioramento del grounding visivo o siano meri artefatti dei vincoli di decoding.

2. Metodologia

Questo studio conduce una rigorosa riproducibilità ed estensione dell'analisi di Yin et al. (2026). Gli autori valutano nuovi modelli (LLaVA-v1.5-7B/13B e Qwen2.5-VL-7B) attraverso benchmark discriminativi (POPE, MME) e generativi (CHAIR, NoCaps, LLaVA-Bench).

La metodologia è strutturata attorno a due claim primari e diversi esperimenti investigativi innovativi:

A. Riproduzione dei Claim Centrali

Bias Unidirezionale: Lo studio testa se i guadagni della CD derivino da uno spostamento unidirezionale della distribuzione dell'output verso risposte "Sì", piuttosto che da un miglioramento del riconoscimento degli oggetti.
Adaptive Plausibility Constraint (APC): Lo studio verifica se l'APC, una componente della CD che restringe la generazione ai token probabili sotto la distribuzione dell'esperto, degradi efficacemente il campionamento della CD in un'approssimazione della ricerca greedy.

B. Esperimenti Investigativi Estesi

Per scomporre la natura delle prestazioni della CD, gli autori introducono diverse analisi innovative:

Analisi del Flip: Scomposizione dei flip "No $\rightarrow$ Sì" in Veri Positivi (correzioni genuine) e Falsi Positivi (allucinazioni iniettate) per calcolare la precisione del flip e il richiamo (recall) dei TP.
Stress-Test dello Sbilanciamento delle Etichette: Valutazione della CD su subset di POPE con rapporti di etichette sbilanciati (25/75 e 75/25 Sì/No) per determinare se i guadagni persistano quando la metrica (Accuratezza Bilanciata) è immune agli spostamenti di soglia.
Analisi della Similitudine di Jaccard: Misurazione della sovrapposizione lessicale tra il campionamento aumentato da APC e il decoding greedy attraverso diverse soglie di APC ( $\beta$ ) per quantificare lo spostamento verso il comportamento greedy.
Analisi dei Logit per Token: Analisi dell'aggiustamento contrastivo $d = E - A$ (logit dell'Esperto meno quelli dell'Amatore) per determinare se il meccanismo sopprime selettivamente i token allucinati o li amplifica.
Proxy di Rumore Gaussiano: Sostituzione del ramo amatore con rumore gaussiano per testare se la specifica struttura del modello amatore sia necessaria per gli effetti della CD.
Analisi Layer-wise Logit-Lens: Utilizzo di sonde lineari sui layer dei transformer per determinare se lo spostamento della CD sia selettivo (mirato alle allucinazioni) o una traslazione uniforme del margine decisionale.

3. Risultati Chiave

Riproduzione dei Claim

Unidirectional Bias Confermato (con sfumature): Per VCD e SID, lo studio conferma uno spostamento unidirezionale verso gli output "Sì", particolarmente sui subset avversari. Tuttavia, la ICD mostra un'inversione, spostandosi verso il "No" pur rimanendo neutrale in termini di accuratezza. Ciò suggerisce che la direzione dello spostamento dipenda dalla modalità di perturbazione, non dal paradigma CD in sé.
L'APC Degrada in Greedy: Lo studio conferma che l'APC fa collassare il campionamento in un decoding di tipo greedy. All'aumentare della soglia $\beta$ , la similitudine di Jaccard tra gli output aumentati da APC e la ricerca greedy cresce significativamente, mentre la similitudine rispetto al campionamento diretto rimane piatta. Al valore predefinito $\beta=0.1$ usato da VCD, l'output è già dominato dal bias greedy.

Risultati Estesi

Guadagni Spuri vs Correzione Genuina:
- Precisione del Flip: Controlli non visivi (Prompt-Based Adjustment e Output Layer Modification) ottengono una precisione del flip comparabile o superiore a VCD e SID.
- Richiamo (Recall) dei TP: I controlli non visivi correggono una proporzione maggiore di errori falsi-negativi rispetto ai metodi CD.
- Iniezione di Allucinazioni: I metodi CD introducono nuove allucinazioni a tassi comparabili ai controlli non visivi.
Sensibilità allo Sbilanciamento delle Etichette: Quando valutati su dataset sbilanciati (25/75 o 75/25), i metodi CD non riescono a migliorare l'Accuratezza Bilanciata. In realtà, le loro prestazioni spesso degradano rispetto al baseline, indicando che i loro guadagni sul POPE standard sono guidati dallo spostamento della soglia decisionale per adattarsi al bilancio di classe del dataset piuttosto che nel migliorare il grounding visivo.
Inefficacia Meccanicistica:
- Analisi dei Logit: L'aggiustamento contrastivo $d$ non sopprime selettivamente i token allucinati. Su LLaVA, amplifica sia i token reali che quelli allucinati. Su Qwen, penalizza gli oggetti reali più delle allucinazioni.
- Validazione del Proxy: Un proxy di rumore gaussiano (scartando interamente il ramo amatore) produce prestazioni su CHAIR statisticamente indistinguibili dai metodi CD reali, suggerendo che il ramo amatore non fornisca alcun beneficio unico.
- Selettività Layer-wise: Sebbene la presenza di un oggetto sia linearmente decodificabile dai layer intermedi (Layer 8), lo spostamento della CD è non selettivo a tutte le profondità. Esso rinforza il falso "Sì" per la stragrande maggioranza delle allucinazioni. Un singolo bias scalare aggiunto al margine decisionale riproduce l'intero guadagno della CD su POPE, confermando che l'effetto è uno spostamento di soglia, non una correzione meccanicistica.

4. Contributi

Il paper apporta i seguenti contributi specifici:

Riproduzione: Valida i claim centrali di Yin et al. (2026) su una suite più recente di modelli (LLaVA-v1.5, Qwen2.5-VL) e su molteplici dataset.
Decomposizione dei Guadagni: Fornisce prove granulari (precisione del flip, richiamo TP, accuratezza bilanciata) che i miglioramenti riportati dalla CD sono artefatti spuri dello spostamento della distribuzione dell'output piuttosto che un genuino mitigamento delle allucinazioni.
Dissezione Meccanicistica: Attraverso analisi a livello di logit e di layer, dimostra che la CD non riesce a sopprimere selettivamente le allucinazioni e applica invece una traslazione uniforme al confine decisionale.
Nuovi Baseline: Introduce e valida un proxy di rumore gaussiano e sottopone a stress-test la CD sotto estremi sbilanciamenti di etichette, offrendo nuovi strumenti per l'audit delle interazioni durante l'inferenza.

5. Significato e Claim

Il paper conclude che le attuali strategie di contrastive decoding non dovrebbero essere considerate come un efficace mitigamento delle allucinazioni.

Il "Miraggio" delle Prestazioni: I guadagni apparenti su benchmark come POPE sono mostrati come "spuri", derivanti dallo spostamento della distribuzione dell'output del modello per adattarsi meglio al bilancio di classe del dataset o dal collasso del campionamento in ricerca greedy tramite l'APC.
Mancanza di Grounding Visivo: Lo studio dimostra che la CD non migliora la capacità del modello di distinguere tra oggetti presenti e assenti. In alcuni casi (es. Qwen), essa penalizza attivamente gli oggetti corretti pur preservando le allucinazioni.
Appello alla Rigorosità: Gli autori sostengono che il campo debba andare oltre le metriche di accuratezza aggregata, sensibili agli spostamenti di soglia. Propongono che le future interazioni "senza addestramento" debbano essere auditate per selettività (bersaglia specificamente le allucinazioni?) e validità meccanicistica (corregge il processo di generazione sottostante?) piuttosto che solo per i punteggi dei benchmark.

Il lavoro sfida la comunità a sviluppare approcci più affidabili per mitigare le allucinazioni, sottolineando che le attuali soluzioni "senza addestramento" potrebbero semplicemente regolare il confine decisionale piuttosto che risolvere il problema del grounding.