Riepilogo Tecnico: ReVisiT – Rivelare le Semantica Visive nei Token Visivi per Guidare la Decodifica degli LVLM

Enunciato del Problema

I Modelli Linguistici Visivi di Grande Dimensione (LVLM) integrano la percezione visiva con la comprensione del linguaggio, ma soffrono frequentemente di allucinazioni di oggetti, ovvero il modello genera testo che descrive oggetti non presenti nell'immagine di input. Sebbene le informazioni visive siano codificate nei "token visivi" all'interno degli stati nascosti del modello, il meccanismo attraverso cui questi token influenzano il processo di decodifica rimane poco esplorato. Gli approcci esistenti spesso trattano i token visivi come contesti ausiliari statici o si affidano a pipeline di addestramento complesse e inferenza multi-passaggio per mitigare le allucinazioni. Il problema centrale affrontato è come sfruttare efficacemente le informazioni semantiche intrinseche all'interno dei token visivi durante il processo di decodifica senza modifiche architetturali o addestramento aggiuntivo.

Metodologia: ReVisiT

Gli autori propongono ReVisiT (Referencing Vision Tokens), una strategia di decodifica senza addestramento e agnostica rispetto al modello, progettata per guidare la generazione del testo facendo riferimento dinamicamente ai token visivi più rilevanti. Il metodo opera in tre fasi principali a ogni passo temporale di decodifica $t$:

1. Costruzione di un Sottogruppo di Vocabolario Consapevole del Contesto:
   Invece di operare sull'intero vocabolario, ReVisiT vincola dinamicamente lo spazio del vocabolario a un sottoinsieme $V_t^{cons}$. Questo sottoinsieme è definito in modo adattivo sulla base della distribuzione di output standard $p_\theta$ dell'LVLM, mantenendo i token con probabilità superiori a una soglia $\alpha \cdot \max(p_\theta)$. Questo vincolo riduce la distrazione semantica e focalizza la decodifica su candidati plausibili.

2. Selezione del Token Visivo tramite Divergenza Vincolata:
   Il metodo proietta gli stati nascosti dei token visivi ($h_i^j$) dai livelli del decoder candidati $j$ sul sottoinsieme vincolato del vocabolario $V_t^{cons} successivamente calcola la Divergenza di Jensen-Shannon (JSD) tra la distribuzione di output standard e ciascuna distribuzione proiettata del token visivo. Il token visivo$(i^, j^)$ con la JSD minima viene selezionato come segnale di riferimento più rilevante contestualmente.

   • Ottimizzazione: Per garantire l'efficienza, le proiezioni dei token visivi sull'intero vocabolario vengono pre-calcolate una volta prima della decodifica. Durante la decodifica, queste proiezioni memorizzate nella cache vengono tagliate e mascherate per adattarsi al sottoinsieme dinamico $V_t^{cons}$, evitando passaggi in avanti aggiuntivi.

3. Raffinamento dei Logit:
   La distribuzione di output standard viene raffinata fondendola con la distribuzione del token visivo selezionato. Ciò è ottenuto tramite addizione nello spazio dei logaritmi (equivalente a una combinazione Product-of-Experts nello spazio delle probabilità):
   $$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$$
   La distribuzione finale viene normalizzata sul sottoinsieme vincolato e il token successivo viene campionato da questa distribuzione raffinata.

Contributi Chiave

1. Riscontri Empirici sui Token Visivi:
   Il documento fornisce evidenze quantitative e qualitative che i token visivi codificano intrinsecamente semantica interpretabile a livello di oggetto. Gli autori dimostrano che, sebbene questi segnali siano spesso latenti sotto la decodifica non vincolata (dove oggetti allucinati possono essere selezionati nonostante gli oggetti reali abbiano probabilità elevate), diventano espliciti e ben allineati quando proiettati su sottoinsiemi di vocabolario semanticamente coerenti.

2. Algoritmo ReVisiT:
   L'introduzione di un metodo di decodifica semplice e senza addestramento che utilizza una divergenza vincolata consapevole del contesto per selezionare e fare riferimento ai token visivi. Questo approccio raffina i logit a livello di token per incorporare meglio le semantiche visive senza richiedere moduli esterni, modifiche architetturali o inferenza multi-passaggio.

3. Validazione Completa:
   Il metodo è validato su sei dimensioni di modello (da 7B a 32B parametri) che coprono tre architetture distinte (LLaVA-1.5, Qwen2.5-VL e InternVL). La valutazione copre cinque benchmark, inclusi dataset specifici per le allucinazioni (HallusionBench, CHAIR, POPE) e compiti a scopo generale (VQAv2, MMMU).

Risultati Sperimentali

• Riduzione delle Allucinazioni: ReVisiT riduce costantemente le allucinazioni su tutte le architetture testate. Sul benchmark CHAIR, ottiene punteggi F1 competitivi o superiori rispetto alle linee di base più avanzate (ad es. DoLa, VCD, M3ID) mantenendo o migliorando la copertura degli oggetti. Su HallusionBench, ottiene i migliori punteggi su quattro metriche su cinque per diversi modelli.
• Generalizzazione: Il metodo dimostra robustezza su compiti discriminativi (POPE, VQAv2) e ragionamento ricco di conoscenze (MMMU), indicando che i segnali di ancoraggio visivo emersi da ReVisiT si generalizzano attraverso diversi tipi di compiti.
• Efficienza: A differenza dei metodi di base che richiedono passaggi in avanti aggiuntivi (ad es. VCD, CODE) o proiezioni di livelli intermedi (DoLa), ReVisiT aumenta la latenza di inferenza solo dello 0,6% al 2,0%. Ottiene una riduzione fino a 2$\times$ del costo computazionale rispetto alle linee di base multi-passaggio.

Significato e Affermazioni

Il documento afferma che ReVisiT dimostra che i token visivi codificano intrinsecamente semantiche interpretabili che possono essere sbloccate attraverso vincoli semanticamente coerenti. Esplicitando queste semantiche nello spazio linguistico, il metodo fornisce un segnale di guida interpretabile per la generazione.

Gli autori posizionano ReVisiT come una soluzione scalabile e ampiamente applicabile che migliora l'ancoraggio visivo senza il sovraccarico computazionale dei metodi esistenti di allineamento intra o post-allineamento. Sottolineano che l'efficacia del metodo su diverse dimensioni e architetture di modelli suggerisce che la divergenza vincolata consapevole del contesto proposta cattura un segnale fondamentale di decodifica piuttosto che un euristico specifico del benchmark.

Limitazioni Riconosciute:
Gli autori notano che ReVisiT si basa pesantemente sulle semantiche codificate all'interno dei token visivi interni del modello, il che può portare a un'enfasi eccessiva sugli elementi fondati sulla percezione a scapito del ragionamento implicito di senso comune. Inoltre, essendo un metodo di tempo di decodifica, non può correggere errori fattuali derivanti dai dati di pre-addestramento se le evidenze visive sono insufficienti, né incorpora il recupero di conoscenze esterne, sebbene rimanga compatibile con pipeline di Generazione Aumentata dal Recupero (RAG). La valutazione è attualmente limitata a modelli open-source nella gamma di 7–32B parametri.