💻 computer science

YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models

YARD è un framework che non richiede addestramento e mitiga le allucinazioni nei Large Vision-Language Models impiegando un'architettura a Y per condividere i calcoli superficiali e biforcarsi nei livelli intermedi, dove sostituisce i token visivi granulari con token di registro per generare un segnale contrastivo efficace senza la latenza di un secondo passaggio in avanti.

Autori originali: Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Pubblicato 2026-06-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello Linguistico-Visivo di Grandi Dimensioni (LVLM) come un narratore molto talentuoso ma leggermente eccessivamente sicuro di sé. Gli mostri la foto di una spiaggia e lui inizia a descrivere la scena. A volte indovina ("Ci sono ombrelloni e persone"), ma altre volte inventa con sicurezza dettagli che non esistono ("E guarda, c'è una tavola da surf e un cane!"). Questo è chiamato allucinazione.

Il paper presenta un nuovo metodo chiamato YARD (Y-Architecture Register Decoding) per impedire a questo narratore di inventare cose, senza dover riaddestrare il modello o rallentarlo.

Ecco come funziona YARD, suddiviso in concetti semplici:

1. Il problema dei vecchi metodi

Prima di YARD, i ricercatori cercavano di correggere le allucinazioni usando una tecnica chiamata "Decoding Contrastivo". Immagina che questo sia come chiedere al narratore di raccontare la storia due volte:

Versione A (Pulita): "Guarda la foto reale e dimmi cosa vedi."
Versione B (Degradata): "Dimmi cosa vedi, ma fingi che la foto sia sfocata o che manchino dei pezzi."

Il computer poi confronta le due storie. Se la Versione B inventa una tavola da surf ma la Versione A no, il computer capisce che deve sopprimere l'idea della "tavola da surf" nella risposta finale.

Tuttavia, i metodi precedenti avevano due grandi difetti:

L'approccio "Bendato": Alcuni metodi rimuovevano completamente l'input visivo per la Versione B. Questo era troppo estremo. Il modello avrebbe solo tirato a indovinare basandosi sulla conoscenza generale (ad esempio, "Le spiagge di solito hanno tavole da surf"), il che non aiutava a individuare le bugie specifiche su questa particolare spiaggia.
L'approccio "Doppio Lavoro": Altri metodi corrompevano i pixel dell'immagine (aggiungendo rumore). Questo richiedeva al computer di elaborare l'immagine due volte da zero, il che era molto lento e costoso.

2. La soluzione YARD: La forma a "Y"

YARD cambia le regole del gioco costruendo un percorso a forma di Y all'interno del cervello del modello.

Il Tronco (Percorso Condiviso): Sia la storia "Pulita" che quella "Degradata" iniziano insieme. Condividono i primi livelli di elaborazione. È come leggere insieme il primo paragrafo di un libro. Questo fa risparmiare tempo perché il modello non deve fare il doppio del lavoro.
La Biforcazione (Lo Strato Centrale): In un punto specifico, nel mezzo del processo di pensiero del modello, il percorso si divide.
- Il Ramo Sinistro (Pulito): Continua normalmente, guardando ogni minimo dettaglio (patch) dell'immagine.
- Il Ramo Destro (Degradato): È qui che avviene la magia. Invece di guardare ogni minimo dettaglio, questo ramo è costretto a guardare l'immagine attraverso un "Register" (Registro).

3. La metafora del "Register"

Immagina che l'immagine sia una mappa ad alta risoluzione.

Il Ramo Pulito guarda la mappa e vede ogni strada, albero e casa.
Il Ramo Degradato (usando YARD) riceve un "Register". Un Register è come un appunto riassuntivo che dice: "Questa è una scena di spiaggia con acqua e sabbia", ma nasconde i dettagli specifici. Sa che ci sono persone, ma non può vedere dove si trovano o cosa stiano tenendo in mano.

Perché è un'idea intelligente?
Se il modello prova a dire: "C'è una tavola da surf", il Ramo Pulito (che vede i dettagli) controlla la mappa e dice: "No, non vedo una tavola da surf". Il Ramo Degradato (che vede solo l'atmosfera generale della spiaggia) potrebbe dire: "Beh, le spiagge spesso hanno tavole da surf, quindi forse sì?".

Quando il computer confronta questi due, capisce: "Il Ramo Pulito dice 'No', ma il Ramo Degradato sta indovinando 'Sì' basandosi sulle vibrazioni generali". YARD sopprime quindi l'ipotesi della "tavola da surf". Mantiene la storia ancorata alla realtà perché il ramo "Pulito" ha le prove, e il ramo "Degradato" funge da rilevatore per le cose che il modello sta solo ipotizzando.

4. Perché il "Centro" è importante

Il paper ha scoperto che il cervello del modello lavora per stadi.

Livelli iniziali: Si stanno solo preparando l'immagine.
Livelli medi: Questo è il "punto ideale" in cui il modello inizia a collegare il testo ai dettagli visivi specifici.
Livelli finali: Il modello ha già deciso cosa dire.

YARD divide il percorso proprio nel mezzo. Se dividi troppo presto, il modello non ha ancora visto abbastanza l'immagine. Se dividi troppo tardi, il modello ha già "memorizzato" i dettagli e non sarà ingannato dalla versione degradata. Il centro è il momento perfetto per introdurre il "Register" per testare se il modello stia effettivamente guardando l'immagine o se stia solo tirando a indovinare.

5. Il Risultato

Usando questo percorso a forma di Y e il trucco del "Register", si ottiene che:

È più Veloce: Poiché i due percorsi condividono l'inizio, il modello non deve elaborare l'immagine due volte da zero.
È più Intelligente: Cattura le allucinazioni meglio dei metodi precedenti perché crea un "confronto equo" tra una visione dettagliata e una visione generale, piuttosto che una visione dettagliata contro un indovinare al buio.
Funziona Ovunque: Il paper ha testato questo metodo su molti diversi modelli di IA, e ha funzionato in modo costante senza doverli riaddestrare.

In breve, YARD è come un fact-checker che siede all'interno del cervello dell'IA, chiedendo: "Sei sicuro di vedere quello, o stai solo indovinando in base a ciò che succede di solito?". Lo fa in modo efficiente, senza rallentare la conversazione.

Riepilogo Tecnico: YARD – Y-Architecture Register Decoding per una Mitigazione Efficiente delle Allucinazioni

1. Definizione del Problema

I Large Vision-Language Models (LVLMs) soffrono frequentemente di allucinazioni, ovvero la generazione di testo semanticamente plausibile ma incoerente con l'input visivo (ad esempio, oggetti inesistenti, attributi errati o relazioni spaziali non supportate). Sebbene il Contrastive Decoding (CD) offra una soluzione senza addestramento (training-free), contrastando un ramo "pulito" del modello con un ramo "degradato" per sopprimere i logit inclini alle allucinazioni, i metodi esistenti affrontano due dilemmi critici:

Rami degradati sub-ottimali:
- Approcci basati solo sul testo: Eliminare completamente i token visivi riduce il ramo degradato a un modello basato sui priori linguistici. Ciò induce allucinazioni basate su priori generici che potrebbero non allinearsi con l'immagine specifica in input, fallendo nel isolare le allucinazioni specifiche dell'immagine.
- Degradazione a livello di pixel: Corrompere gli input visivi (ad esempio, aggiungendo rumore) offre un controllo grossolano. Poiché le caratteristiche visive (colore, texture, confini) sono strettamente intrecciate nello spazio dei pixel, queste perturbazioni spesso non riescono a isolare l'evidenza locale responsabile delle allucinazioni e, invece, contaminano i logit degradati con segnali visivi genuini.
Latenza di Inferenza: La maggior parte dei metodi CD esistenti richiede due passaggi forward completi (uno per il ramo pulito, uno per il ramo degradato), aumentando significativamente la latenza di inferenza.

2. Metodologia: YARD

Gli autori propongono YARD (Y-Architecture Register Decoding), un framework training-free che costruisce un ramo degradato internamente al decoder dell'LLM. Il metodo è guidato da due osservazioni chiave riguardanti il flusso di informazioni cross-modali:

A. Dove degradare: La finestra degli strati medi (Middle Layer Window)

L'analisi dell'attenzione text-to-vision e gli esperimenti di intervento rivelano che:

Strati superficiali (Shallow layers): L'attenzione è diffusa e facilmente distraibile.
Strati profondi (Deep layers): L'evidenza visiva rilevante per il compito è stata ampiamente integrata nelle rappresentazioni del lato testuale; perturbare i token visivi qui ha un impatto minimo sulle predizioni finali.
Strati medi (Middle layers): Questa è la finestra critica in cui emerge un affidabile grounding visivo e i token testuali iniziano ad acquisire evidenza visiva locale prima della piena integrazione.
Strategia YARD: Il framework condivide gli strati superficiali del decoder tra il ramo pulito e quello degradato e si divide (branching) esattamente in uno strato intermedio (ad esempio, lo strato 10 in un modello a 25 strati). Ciò consente al ramo degradato di ereditare il contesto multimodale precoce, impedendo però la piena integrazione dell'evidenza locale fine-grained.

B. Come degradare: Degradazione a livello di feature basata su registri (Register-Based Feature-Level Degradation)

Invece di corrompere l'immagine di input o rimuovere interamente i token, YARD costruisce una condizione degradata a livello di feature:

Token di registro (Register Tokens): YARD utilizza i token di registro (proposti originariamente per assorbire gli artefatti outlier ad alta norma nei Vision Transformer). Questi token vengono costruiti al momento del test reindirizzando le attivazioni anomale dell'MLP verso un token aggiunto.
Il Meccanismo di Degradazione:
- Ramo Pulito (Clean Branch): Mantiene i token visivi originali a livello di patch ( $Z$ ) e i token di registro ( $R$ ).
- Ramo Degradato (Degraded Branch): Scarta i token di patch fine-grained ( $Z$ ) e si affida solo ai token di registro ( $R$ ) e ai token di testo ( $T$ ).
Effetto: I token di registro preservano la semantica globale grossolana dell'immagine (mantenendo il ramo "consapevole dell'immagine") ma mancano della corrispondenza locale fine-grained (rendendolo "localmente sotto-grounded"). Ciò crea un segnale contrastivo che espone le componenti inclini alle allucinazioni senza l'estremo mismatch modale dei rami basati solo sul testo o il rumore della corruzione a livello di pixel.

C. Y-Architecture per l'efficienza

Condividendo il calcolo degli strati superficiali ($1 $a$ K$) prima della divisione, YARD evita il costoso secondo passaggio forward completo richiesto dai metodi di contrasto a livello di input. I rami divergono solo per gli strati rimanenti ( $K+1$ a $D$ ).

Il logit finale è calcolato come:
$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$
dove $\ell^c$ e $\ell^d$ sono i logit provenienti rispettivamente dai rami pulito e condizionato dal registro.

3. Contributi Chiave

Degradazione a livello di feature basata su registri: Introduce un nuovo metodo per costruire un ramo contrastivo consapevole dell'immagine ma localmente sotto-grounded senza corrompere l'input visivo, utilizzando i token di registro per preservare la semantica globale rimuovendo al contempo l'evidenza locale.
Analisi della purezza del ramo degradato: Dimostra attraverso studi di ablazione che la degradazione a livello di feature (specificamente l'informazione globale tramite i registri) espone un segnale di allucinazione più puro rispetto alla degradazione basata solo sul testo o sui pixel, come dimostrato da metriche di allucinazione inferiori quando viene rimosso l'ancoraggio conservativo del logit pulito ( $\alpha$ ).
Framework YARD: Presenta un efficiente framework di decoding a Y-Architecture, training-free, che mitiga costantemente le allucinazioni in molteplici LVLM riducendo significativamente la latenza di inferenza rispetto ai metodi a doppio passaggio.

4. Risultati Sperimentali

YARD è stato valutato su entrambi i benchmark generativi (AMBER, Object HalBench, MME-Hallucination) e discriminativi (AMBER Discrimination, POPE) utilizzando diversi backbone (LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini).

Performance Generative: Su LLaVA-1.5-7B, YARD ha ridotto i punteggi Object HalBench (CHs/CHi) da 27.0/10.5 a 19.7/6.5, superando i metodi allo stato dell'arte come OPERA, VCD e FuzzyCD. Ha inoltre ottenuto i migliori punteggi di percezione del colore su MME-Hallucination, indicando la preservazione della capacità visiva.
Performance Discriminative: YARD ha migliorato l'accuratezza/F1 di AMBER da 67.00/71.10 a 78.70/84.10 e l'accuratezza/F1 di POPE da 83.93/82.24 a 86.14/85.85 su LLaVA-1.5.
Trasferibilità: Il metodo ha dimostrato miglioramenti costanti in tutte le architetture testate, inclusi Qwen3-VL e LLaVA-NeXT, suggerendo che cattura una proprietà generale del decoding degli LVLM piuttosto che essere specifico di un'architettura.
Studi di Ablazione: Ha confermato che la divisione (branching) negli strati medi (ad esempio, $K=10$ ) è critica; dividere troppo presto o troppo tardi produce risultati sub-ottimali. La degradazione basata su registri ha superato le varianti "Average" della degradazione delle feature e "Text-Only".

l. Significato e Claim

Il paper sostiene che YARD affronti il compromesso fondamentale nel contrastive decoding: la necessità di un ramo degradato che sia sufficientemente diverso da esporre le allucinazioni, ma sufficientemente allineato con l'immagine da evitare i priori linguistici generici. Spostando la degradazione in uno spazio strutturato a livello di feature all'interno del decoder, YARD ottiene:

Segnali Contrastivi Fedeli: Il design "globale-ma-locale-mancante" sopprime efficacementamente le predizioni che sono plausibili sotto un debole grounding locale ma non supportate dall'evidenza visiva pulita.
Efficienza: La Y-architecture elimina la necessità di un secondo passaggio forward completo, rendendolo una soluzione pratica per il deployment.
Generalità: L'approccio non è legato a specifiche architetture di modelli, offrendo un euristica training-free generale per la mitigazione delle allucinazioni.

Gli autori segnalano limitazioni riguardanti la dipendenza dalla costruzione di rappresentazioni di registro efficaci per specifici LVLM basati su Transformer, suggerendo che il lavoro futuro possa concentrarsi sull'adattamento di questi meccanismi ad architetture multimodali più ampie.