Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

1. Enunciato del Problema

I Modelli Linguistici Multimodali (MLLM) spesso falliscono in compiti visivi complessi (ad esempio, grafici, percezione ad alta risoluzione, matematica visiva) a causa di evidenze visive mancanti o scarsamente localizzate. Sebbene strumenti esterni (ritaglio, ricerca, generazione) possano fornire tali evidenze, introducono latenza, complessità e problemi di generalizzazione. Un'alternativa è il ragionamento latente visivo, in cui il modello emette token latenti continui per rappresentare internamente evidenze visive intermedie.

Tuttavia, i metodi esistenti di ragionamento latente soffrono di guadagni instabili e spesso producono miglioramenti trascurabili dopo il post-training. Gli autori identificano una fondamentale mismatch nello spazio delle caratteristiche come causa primaria:

• Problema dell'Architettura Pre-norm: I moderni MLLM (ad esempio, Qwen2.5-VL, Gemma 4) utilizzano transformer pre-norm. In queste architetture, le norme degli stati nascosti si accumulano significativamente attraverso i livelli, risultando in stati del livello finale che sono ordini di grandezza più grandi (ad esempio, ~8.7× per la visione, ~546× per il testo) rispetto agli embedding di input che il modello è stato addestrato a consumare.
• Il Mismatch: I metodi latenti attuali riutilizzano tipicamente questi stati nascosti di output ad alta norma direttamente come input per il successivo token latente ("output-as-input"). Questo crea un ciclo di feedback in cui il modello riceve input da una distribuzione su cui non è stato addestrato a elaborare, destabilizzando l'ottimizzazione e rendendo il canale latente inaffidabile.

2. Metodologia: Il Framework GAP

Gli autori propongono GAP (Granular Alignment Paradigm), una strategia di allineamento a tre livelli per stabilizzare e migliorare il ragionamento latente visivo.

A. Allineamento a Livello di Caratteristiche: Testa Latente Allineata PCA

Per risolvere il mismatch di norma e sottospazio, GAP non invia gli stati del decoder grezzi di nuovo nel modello. Invece:

• Proiezione: Gli stati nascosti finali del backbone (dopo il RMSNorm nativo) sono mappati tramite una leggera testa latente allineata PCA nel sottospazio principale degli embedding di visione delle immagini ausiliarie.
• Ricostruzione: Il modello predice coefficienti PCA a bassa dimensionalità ($c_t$) piuttosto che vettori a piena dimensionalità. Questi vengono ricostruiti utilizzando la media empirica ($\mu$) e i top-$k$ autovettori ($P_k$) degli embedding di visione del set di addestramento: $\hat{v}_t = P_k c_t + \mu$.
• Effetto: Questo forza i latenti generati a risiedere nella stessa regime di norma e sottospazio empirico degli embedding di visione di input, correggendo il mismatch nello spazio delle caratteristiche senza richiedere il retraining del backbone.

B. Allineamento a Livello di Dati: Supervisione Basata sul Contesto

Per garantire che i target latenti siano interpretabili e ispezionabili, gli autori costruiscono un dataset di 49.309 esempi curati in cui:

• Immagini Ausiliarie: Ogni query è accoppiata a un'immagine "ausiliaria" generata che rappresenta l'evidenza visiva mancante.
• Output Strutturato: La risposta di addestramento include uno span <latent> (supervisionato dalle caratteristiche ViT congelate dell'immagine ausiliaria) e uno span <parser> (una descrizione testuale del segnale visivo inteso).
• Obiettivo: Questo collega i vettori latenti continui a intenti visivi specifici e leggibili dall'uomo, rendendo trasparente il processo di addestramento.

C. Allineamento a Livello di Modello: Assegnazione Consapevole della Difficoltà

Per impedire che il rumore derivi dall'applicare supervisione latente a esempi che il modello base risolve già:

• Strategia di Selezione: Il sistema stima l'accuratezza del modello base su una query tramite campionamento ripetuto.
• Supervisione Condizionale: I target latenti sono assegnati solo quando il modello base fallisce (accuratezza $\le \tau$). Gli esempi facili ricevono supervisione standard solo testuale.
• Vantaggio: Questo concentra la capacità latente sui casi difficili in cui è effettivamente necessario il ragionamento visivo, evitando spostamenti di distribuzione su compiti facili.

3. Contributi Chiave

1. Diagnosi del Mismatch nello Spazio delle Caratteristiche: Il paper dimostra empiricamente che nei MLLM pre-norm, gli stati nascosti di output occupano un regime di norma diverso rispetto agli embedding di input, causando instabilità nel feedback latente output-as-input. Un semplice ridimensionamento della norma (EMA) migliora le prestazioni, validando questa ipotesi.
2. Il Paradigma GAP: Una ricetta leggera che combina:
   • Proiezione allineata PCA per mappare i latenti indietro al sottospazio di visione di input.
   • Supervisione basata sul contesto per l'ispezionabilità.
   • Assegnazione consapevole della difficoltà per la stabilità dell'addestramento.
3. Dataset Aperto: Rilascio di un dataset multimodale di alta qualità per supervisione latente da 49K esempi che copre CoT visivo, grafici, geometria e matematica.
4. Validazione Empirica: Dimostrazione che i latenti allineati trasportano segnali visivi rilevanti per il compito oltre ai semplici slot di token.

4. Risultati Sperimentali

Valutato su Qwen2.5-VL 7B, il modello GAP completo (LH+PCA+DA) è stato confrontato con il modello base, le baseline di captioning denso e i precedenti metodi latenti (Monet, LVR).

• Prestazioni: GAP ha ottenuto le migliori prestazioni aggregate medie attraverso i benchmark di percezione (HRBench4K, MMStar, MME-RealWorld-Lite) e ragionamento (MathVista, WeMath).
  • Ha migliorato l'aggregato di ragionamento (Avg-R) di +5.98 rispetto a Monet e di +6.31 rispetto a LVR.
  • Ha migliorato l'aggregato di percezione (Avg-P) di +1.74 rispetto a Monet.
• Studi di Ablazione:
  • Allineamento PCA: Essenziale per recuperare l'accuratezza di ragionamento persa dalle teste latenti naive.
  • Assegnazione Consapevole della Difficoltà: Cruciale per prevenire il degrado delle prestazioni su esempi facili.
  • Budget di Token: Le prestazioni raggiungono il picco a 36 token latenti (griglia 6x6); un ulteriore aumento produce rendimenti decrescenti o saturazione.
• Sondaggio tramite Intervento:
  • Checkpoint Zero-Latent: Anche senza generare latenti durante l'inferenza, il modello addestrato con supervisione latente ha superato il captioning denso, suggerendo che il processo di addestramento stesso plasma rappresentazioni migliori.
  • Iniezione di Rumore: Sostituire i coefficienti PCA predetti con rumore gaussiano ha degradato significativamente le prestazioni, confermando che i latenti generati contengono segnali visivi rilevanti per il compito, non solo artefatti di formattazione.

5. Significato e Affermazioni

Il paper afferma che il ragionamento latente visivo può essere reso robusto ed efficace negli MLLM affrontando le specifiche incompatibilità architetturali dei transformer pre-norm.

• Affermazioni Modeste: Gli autori non affermano di risolvere completamente l'allucinazione o di essere universalmente applicabili a tutti i backbone senza ulteriore validazione. Notano che la "soglia di difficoltà" è euristica e che l'approccio si basa sulla capacità di generare immagini ausiliarie significative durante la costruzione dei dati.
• Insight Principale: Il contributo primario è l'identificazione del mismatch norma/sottospazio come modalità di fallimento e la dimostrazione che un percorso di ricostruzione basato su PCA e leggero può allineare il feedback visivo continuo con la distribuzione di input del modello, abilitando un ragionamento visivo stabile e interpretabile senza strumenti esterni.