Riepilogo Tecnico: Mitigazione della Deriva del Prior di Maschera e del Collasso dell'Attenzione Posizionale nei Grandi Modelli Vision-Language Diffusivi

Enunciato del Problema

I Grandi Modelli Vision-Language Diffusivi (LDVLM) si sono affermati come un'alternativa promettente ai modelli autoregressivi, offrendo decodifica parallela per l'efficienza e attenzione bidirezionale per il contesto globale. Tuttavia, questo documento identifica due modalità di fallimento fondamentali che degradano le prestazioni durante la generazione multimodale di lunga durata:

1. Deriva del Prior di Maschera (Generazione Ripetitiva): Gli LDVLM inizializzano tutti i token di generazione come un token di maschera condiviso ($M$). Gli autori osservano che, man mano che la generazione procede, le rappresentazioni nascoste di questi token deviano progressivamente verso una direzione di prior condivisa (strettamente allineata con l'embedding medio del vocabolario). Questa convergenza limita la diversità semantica, causando al modello la generazione ripetuta di specifici token funzionali (ad esempio, "the", ",", "\n") indipendentemente dal contesto di input. Questo problema è aggravato quando il numero di passaggi di generazione viene ridotto per migliorare la velocità di inferenza.
2. Collasso dell'Attenzione Posizionale (Grounding Visivo Degradato): Gli LDVLM impiegano tipicamente Embedding di Posizione Rotativi (RoPE) per codificare le posizioni relative. Il documento rileva che il bias di località intrinseco di RoPE, combinato con il processo iterativo di rimozione della maschera, causa il collasso dell'attenzione verso token di maschera vicini e semanticamente incompleti. Di conseguenza, l'attenzione verso token visivi distanti e informativi viene soppressa, portando a un grounding visivo scarso e ad allucinazioni nelle descrizioni di lunga durata.

Metodologia

Per affrontare questi problemi senza riaddestramento, gli autori propongono due tecniche eseguite al momento dell'inferenza:

1. Soppressione del Prior di Maschera (MPS)

Questa tecnica mira a ridurre il bias negli stati nascosti dei token di generazione per impedire loro di collassare nel prior condiviso.

• Meccanismo: Il metodo approssima il prior del token di maschera utilizzando l'embedding medio del vocabolario ($\hat{e}$), che funge da proxy agnostico al contesto per la direzione dominante di collasso.
• Implementazione:
  • La media del vocabolario viene passata attraverso gli strati del transformer per ottenere rappresentazioni medie a livello di strato.
  • Viene eseguita un'analisi delle componenti principali (PCA) su queste rappresentazioni per definire un "sottospazio di prior" a bassa dimensionalità.
  • Per ogni token di generazione nello stato nascosto finale, la componente allineata a questo sottospazio di prior viene adattivamente soppressa in base alla similarità coseno.
  • La modifica è minima, interessando solo una piccola frazione di dimensioni (ad esempio, 3 su 4096), preservando le dinamiche apprese dal modello mentre previene il collasso rappresentazionale.

2. Scalatura Monotona di RoPE (MRS)

Questa tecnica affronta il disallineamento tra il bias di località di RoPE e la necessità di accesso visivo globale negli LDVLM.

• Meccanismo: RoPE standard tratta uniformemente tutti i componenti di frequenza. Gli autori osservano che i componenti ad alta frequenza dominano l'attenzione a breve raggio (maschera-su-maschera), mentre i componenti a bassa frequenza sono necessari per le interazioni a lungo raggio (generazione-su-visivo).
• Implementazione:
  • Viene applicata una funzione di scalatura consapevole della frequenza agli angoli di rotazione di RoPE.
  • I componenti a bassa frequenza (associati a relazioni posizionali a lungo raggio) vengono progressivamente amplificati utilizzando un programma di scalatura monotona basato su sigmoide.
  • I componenti ad alta frequenza sono in gran parte preservati (fattore di scalatura $\approx 1$).
  • Questo aggiustamento rafforza l'attenzione verso i token visivi distanti senza interrompere la struttura delle distanze relative richiesta per la coerenza locale.

Contributi Chiave

1. Analisi Sistematica: Il documento fornisce un'analisi empirica dettagliata che rivela come la generazione ripetitiva negli LDVLM derivi da una "deriva del prior di maschera" verso la media del vocabolario, e come il grounding visivo degradato sia causato dal "collasso dell'attenzione posizionale" dovuto al bias di località di RoPE.
2. Soluzioni Senza Riaddestramento: Gli autori introducono MPS e MRS, due tecniche di inferenza plug-and-play che non richiedono aggiornamenti dei parametri, riaddestramento o dati aggiuntivi.
3. Valutazione Completa: I metodi sono validati su diverse architetture LDVLM (LLaDA-V, LaViDa) e benchmark che coprono ragionamento generale, grounding visivo e generazione di lunga durata.

Risultati

Gli esperimenti dimostrano miglioramenti coerenti rispetto agli LDVLM di base:

• Grounding Visivo: Guadagni significativi sui benchmark RefCOCOg, Ferret e GQA. Ad esempio, su LaViDa, la precisione su RefCOCOg è migliorata da 36,9 a 44,0, e su Ferret da 25,9 a 35,7.
• Generazione di Lunga Durata: Riduzioni sostanziali nella ripetizione dei token e aumenti nella diversità lessicale (Distinct-n) su LLaVA-Bench, DetailCaps e MIA. I metodi mitigano efficacemente il "rapporto di ripetizione" che affligge le basi, specialmente con un numero ridotto di passaggi di generazione.
• Riduzione delle Allucinazioni: L'approccio riduce le allucinazioni di oggetti (misurate da CHAIR e AMBER-G) mantenendo il richiamo degli oggetti, indicando che i miglioramenti derivano da un grounding visivo migliore piuttosto che da una generazione conservativa.
• Efficienza: I metodi introducono un sovraccarico di latenza di inferenza trascurabile (ad esempio, <0,1s di aumento per 64 passaggi) e operano senza modificare i pesi del modello sottostante.

Significato e Affermazioni

Il documento afferma che le modalità di fallimento identificate (deriva del prior di maschera e collasso dell'attenzione) sono intrinseche all'attuale paradigma LDVLM e possono essere affrontate efficacemente attraverso interventi leggeri e fondati a livello rappresentazionale e posizionale.

• Generalizzabilità: Gli autori dimostrano che il loro approccio si generalizza su diversi backbones LDVLM e architetture vision-language unificate (ad esempio, MMaDA, Lumina-DiMOO).
• Ortogonalità: I metodi proposti operano a livello rappresentazionale e posizionale, rendendoli in gran parte ortogonali alle interventi strutturali (ad esempio, cambiare i programmi di rimozione della maschera) e compatibili con i framework di addestramento esistenti.
• Portata Modesta: Gli autori dichiarano esplicitamente che la loro analisi è empirica e non afferma che la media del vocabolario caratterizzi completamente tutte le dinamiche non lineari del collasso del token di maschera. Inoltre, i metodi sono progettati per la configurazione standard di rimozione iterativa del suffisso completo; la loro efficacia in paradigmi di decodifica alternativi (ad esempio, diffusione semi-autoregressiva o a blocchi) richiede ulteriori indagini. Il lavoro sottolinea che queste tecniche migliorano stabilità e affidabilità, ma non introducono nuove capacità generative oltre il potenziale del modello preaddestrato.