Riepilogo Tecnico: Steering Aggiornamenti Residui Adattivi per la Mitigazione a Basso Sovraccarico delle Allucinazioni nei Modelli Linguistici Visivi di Grande Dimensione

1. Enunciato del Problema

I Modelli Linguistici Visivi di Grande Dimensione (LVLM) codificano tipicamente gli input visivi come prefisso per un decodificatore linguistico. Mentre il modello genera testo in modo autoregressivo, queste informazioni visive iniziali subiscono una "diluzione", causando al modello una sovrapposizione sui priori linguistici interni piuttosto che sul contesto visivo. Questo fenomeno è un motore primario delle allucinazioni di oggetti, dove i modelli descrivono con sicurezza oggetti non presenti nell'immagine (ad esempio, allucinando una "tazza" basandosi sull'associazione linguistica con "superficie").

I metodi esistenti di Intervento al Tempo di Inferenza (ITI) tentano di correggere ciò tramite Decodifica Contrastiva o Raffinamento Iterativo. Tuttavia, questi approcci affrontano un collo di bottiglia severo in termini di efficienza: richiedono tipicamente più passaggi in avanti (extra FWD) o classificatori esterni, sostenendo costi di latenza proibitivi che minano il dispiegamento nel mondo reale. Esiste un compromesso critico tra efficacia (riduzione delle allucinazioni) ed efficienza (mantenimento di una bassa latenza).

2. Metodologia: RUDDER

Gli autori propongono Regolazione della Decodifica Diretta dall'Aggiornamento Residuo (RUDDER), un framework progettato per contrastare la diluizione visiva creando un'ancora visiva persistente senza passaggi in avanti aggiuntivi. Il metodo opera all'interno di un singolo passaggio di inferenza e consiste in due componenti fondamentali:

2.1. Vettore CARD (Direzione Residua di Attivazione Contestuale)

L'idea centrale è che il segnale visivo sia massimamente preservato nel flusso residuo durante la fase obbligatoria di prefill (dove i token dell'immagine e del prompt vengono elaborati in parallelo).

• Estrazione: Durante la fase di prefill, RUDDER estrae gli aggiornamenti residui dell'attenzione self-attention ($\Delta^l_i$) da un livello target del decodificatore $l$.
• Aggregazione: Questi aggiornamenti vengono raggruppati (ad esempio, tramite media o media ponderata per magnitudine) su tutti i token dell'immagine e del prompt e normalizzati L2 per formare un vettore per campione, $v_{CARD}$.
• Funzione: Questo vettore rappresenta una direzione robusta condizionata all'immagine che cattura l'effetto netto delle evidenze visive sulle rappresentazioni dei token. Funge da "ancora visiva" per guidare la traiettoria di generazione di nuovo verso il contesto visivo.
• Costo: L'estrazione avviene durante il passaggio di prefill standard, sostenendo zero passaggi in avanti aggiuntivi.

2.2. Beta Gate (Meccanismo di Steering Adattivo)

Per iniettare l'ancora visiva senza interrompere la generazione di token sintattici o non visivi, RUDDER impiega un meccanismo di gating adattivo basato sulla Distribuzione Beta.

• Meccanismo di Fiducia: Invece di agire come un rilevatore di errori, il gate funziona come un estimatore di "fiducia". Calcola la similarità del coseno ($s_t$) tra lo stato nascosto corrente ($h_{l,t}$) e il vettore $v_{CARD}$.
• Formulazione: I parametri del gate ($\alpha_t, \beta_t$) sono derivati da una posterior coniugata Beta-Bernoulli utilizzando una mappatura softplus di $s_t$. Il valore del gate $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ determina la forza dell'intervento.
  • Allineamento Alto ($s_t \uparrow$): Indica che la generazione è coerente con le evidenze visive. Il gate rafforza l'iniezione per mantenere la traiettoria ancorata.
  • Allineamento Basso/Negativo ($s_t \downarrow$): Indica incertezza o contesto non visivo (ad esempio, token sintattici). Il gate sopprime l'intervento per prevenire uno steering eccessivo e preservare la fluidità.
• Iniezione: Il vettore di steering $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ viene aggiunto al flusso residuo immediatamente dopo l'operazione di Self-Attention durante la fase di decodifica, specificamente all'interno dello span della risposta.

3. Contributi Chiave

1. Vettore CARD: Un metodo per estrarre un'ancora visiva persistente e per campione dagli aggiornamenti residui di prefill, mantenendo il modello ancorato al contesto visivo durante tutta la decodifica senza computazione aggiuntiva.
2. Beta Gate: Un meccanismo di gating adattivo, senza training, basato sulla Distribuzione Beta che bilancia l'ancoraggio visivo con la fluidità applicando correzioni solo quando la generazione si allinea con le evidenze visive.
3. Generalizzabilità: Il metodo è dimostrato essere agnostico rispetto all'architettura, funzionando efficacemente su LVLM diversi (LLaVA-1.5, Idefics2, InstructBLIP) e scalando su modelli più grandi (LLaVA-1.5-13B) e architetture moderne (Qwen2.5-VL).
4. Efficienza: RUDDER opera all'interno di un singolo passaggio in avanti, introducendo una latenza trascurabile (< 4% di sovraccarico) e mantenendo il 96,0% di throughput rispetto ai modelli vanilla, superando significativamente i metodi multi-passaggio.

4. Risultati Sperimentali

Gli autori hanno valutato RUDDER su benchmark standard di allucinazione (CHAIR, POPE) e benchmark di capacità generale (MME).

• Mitigazione delle Allucinazioni (CHAIR): Sul benchmark CHAIR (sottotitolazione a risposta aperta), RUDDER-Beta ha ridotto costantemente le allucinazioni. Con decodifica greedy, ha raggiunto una riduzione relativa media del 24,4% in CHAIRs (a livello di frase) e del 23,6% in CHAIRi (a livello di oggetto) sui modelli testati. Ha superato o eguagliato metodi all'avanguardia come VISTA e VCD evitando i loro costi di latenza.
• Sondaggio di Oggetti (POPE): Nel benchmark POPE (domande sì/no sugli oggetti), RUDDER ha migliorato l'accuratezza e i punteggi F1 su LLaVA-1.5, Idefics2 e InstructBLIP, spesso superando forti baseline basate sullo steering.
• Capacità Generali (MME): RUDDER ha mantenuto o leggermente migliorato le capacità multimodali generali (ragionamento, conteggio) sul benchmark MME, confermando che la riduzione delle allucinazioni non è avvenuta a scapito delle prestazioni generali del modello.
• Efficienza: RUDDER-Beta ha mantenuto un throughput del 96,0% rispetto ai modelli vanilla. Al contrario, i metodi che richiedono passaggi in avanti aggiuntivi (ad esempio, VISTA) hanno visto il throughput scendere a circa il 58,1%.
• Scalabilità: Il metodo è scalato efficacemente su LLaVA-1.5-13B e si è generalizzato su Qwen2.5-VL-7B, raggiungendo i tassi di allucinazione a livello di istanza più bassi (CHAIRi: 7,0) migliorando al contempo le prestazioni POPE.

5. Significato e Affermazioni

Il documento afferma che RUDDER risolve il comune compromesso efficacia-efficienza nella mitigazione delle allucinazioni. Prevenendo strutturalmente la diluizione delle informazioni visive attraverso un'ancora visiva leggera e un meccanismo di fiducia adattivo, RUDDER offre una soluzione pratica a basso sovraccarico per migliorare l'affidabilità degli LVLM in scenari reali.

Gli autori sottolineano che il loro approccio è senza training, richiedendo solo una calibrazione una tantum degli iperparametri su un piccolo set di validazione tenuto da parte. Posizionano RUDDER come un passo verso la "Green AI", riducendo l'impronta energetica dell'inferenza di modelli di alta qualità eliminando la necessità di raffinamento iterativo o passaggi in avanti multipli.

Limitazioni: Gli autori riconoscono che RUDDER è sensibile agli iperparametri (specificamente il livello di intervento, la forza dello steering e la sensibilità del gate), che devono essere sintonizzati per ogni specifica architettura di modello. Si suggerisce che il lavoro futuro si concentri sull'ottimizzazione automatizzata degli iperparametri per migliorare la robustezza e la facilità di dispiegamento.