Riepilogo Tecnico: UniVLR

Enunciato del Problema

I Modelli Linguistici Multimodali (MLLM) sono sempre più chiamati a "pensare con le immagini", in particolare in scenari ad alta intensità percettiva come la risoluzione di problemi geometrici e la comprensione visiva ad alta risoluzione. Gli approcci attuali al ragionamento visivo rientrano generalmente in due categorie, entrambe con limitazioni:

1. Ragionamento Visivo Basato su Strumenti: Questi metodi intercalano espliciti Chain-of-Thought (CoT) testuali con immagini ausiliarie generate esternamente (ad esempio, ritagli, schizzi). Sebbene efficaci, questo paradigma soffre della rigidità degli strumenti predefiniti, della latenza derivante dalle chiamate esterne e dell'instabilità delle immagini generate.
2. Ragionamento Visivo Latente Esistente: Per evitare strumenti esterni, i metodi recenti generano token visivi latenti in modo autoregressivo. Tuttavia, la maggior parte dei metodi esistenti adotta ancora un design intercalato, alternando CoT testuali espliciti e token visivi latenti. Gli autori identificano due difetti critici in questo design:
   • Inefficienza: Il paradigma intercalato richiede ancora segmenti testuali espliciti completi tra i passaggi latenti visivi, non riuscendo a ridurre sostanzialmente i costi di generazione rispetto al CoT testuale standard.
   • Attenzione Frammentata: Poiché testo e token latenti appaiono in forme eterogenee, i modelli spesso fanno affidamento sui token testuali vicini, fallendo nell'attenzione coerente alle immagini ausiliarie precedenti. L'analisi mostra che i successivi token CoT presentano un'attenzione sparsa e diffusa verso le immagini ausiliarie, il che significa che le evidenze visive non sono pienamente integrate nel processo di ragionamento.

La domanda fondamentale posta è se il CoT testuale esplicito debba rimanere un canale di ragionamento separato, o se possa essere visualizzato e organizzato all'interno di uno spazio percettivo condiviso insieme alle immagini ausiliarie.

Metodologia: UniVLR

Gli autori propongono UniVLR (Ragionamento Visivo Latente Unificato), un framework che tratta il ragionamento testuale e le evidenze visive ausiliarie come uno spazio di lavoro visivo condiviso. Invece di preservare il CoT testuale come un percorso indipendente durante l'inferenza, UniVLR rende le tracce di ragionamento e le immagini ausiliarie in una tela visiva unificata, comprime questa rappresentazione in token visivi latenti compatti e ragiona esclusivamente attraverso questi latenti durante l'inferenza.

1. Rendering della Tela Visiva Unificata

UniVLR converte le tracce di ragionamento eterogenee in una singola rappresentazione visiva utilizzando una funzione di rendering $\Phi(\cdot)$:

• Costruzione: Per un'istanza di addestramento con ragionamento testuale $R$ e immagini ausiliarie $U$, la funzione le compone in una tela unificata $c = \Phi(R, U)$.
• Rendering Adattivo: Il sistema applica strategie leggere per garantire compattezza e leggibilità. Il testo viene renderizzato con dimensioni del font adattive e a capo, mentre le immagini ausiliarie vengono ridimensionate e evidenziate con indicatori visivi (ad esempio, riquadri, frecce).
• Estrazione del Target: La tela unificata viene elaborata dal codificatore visivo del MLLM di base per estrarre una mappa di caratteristiche 2D. Questa mappa viene quindi aggregata in modo adattivo (utilizzando un pooling 2D consapevole dell'aspetto) in una sequenza di lunghezza fissa di target latenti $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$.

2. Allineamento Latente in Due Fasi

Il modello viene addestrato tramite un curriculum in due fasi per allineare i suoi stati interni a queste rappresentazioni visive unificate:

• Fase I: Grounding del Latente Visivo: Il modello viene addestrato a generare in modo autoregressivo token latenti continui utilizzando solo immagini visive ausiliarie come target di allineamento. Ciò stabilisce un'interfaccia di ragionamento continuo di base tra il MLLM e lo spazio di incorporamento visivo.
• Fase II: Allineamento Unificato Testo-Visione: Il modello viene affinato utilizzando i target della tela unificata (contenenti sia testo renderizzato che immagini ausiliarie). Questa fase insegna al modello a rappresentare le tracce di ragionamento esplicite e le evidenze visive attraverso lo stesso canale visivo latente.
• Obiettivo: L'obiettivo di addestramento combina il modeling linguistico standard (per la risposta finale e i token di controllo) con una perdita di regressione normalizzata ($L_{align}$) che allinea i token latenti previsti agli incorporamenti visivi target. La perdita include componenti sia MSE (errore quadratico medio) che similarità coseno.

3. Inferenza Autoregressiva Continua

Al momento dell'inferenza, la funzione di rendering, il codificatore visivo e i target dell'insegnante vengono scartati. Il modello opera come segue:

1. Riceve il prompt multimodale originale $(Q, I)$.
2. Al generare del token <|univlr_start|>, passa alla modalità di ragionamento latente.
3. Genera in modo autoregressivo $K$ token visivi latenti continui, alimentando ogni token previsto come input per il passaggio successivo.
4. Al generare <|univlr_end|>, torna al vocabolario discreto per decodificare la risposta finale in linguaggio naturale.
   Crucialmente, nessun CoT testuale esplicito intermedio viene generato durante la fase di ragionamento.

Contributi Chiave

1. Paradigma Unificato: UniVLR introduce un paradigma in cui il ragionamento testuale e le evidenze visive ausiliarie sono unificati in un singolo canale visivo latente, eliminando la necessità di token testuali e latenti intercalati.
2. Efficienza: Rimuovendo la generazione di testo esplicito durante il ragionamento, UniVLR riduce significativamente il numero di token generati mantenendo o migliorando l'accuratezza del ragionamento.
3. Attenzione Migliorata: Il design unificato induce un'attenzione più densa e focalizzata sulle immagini ausiliarie rispetto ai design intercalati, poiché il modello elabora tutte le evidenze di ragionamento attraverso lo stesso percorso visivo.
4. Addestramento in Due Fasi: Il curriculum proposto (grounding seguito da unificazione) stabilizza l'apprendimento del ragionamento latente continuo, prevenendo il collasso della rappresentazione.

Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di percezione e ragionamento del mondo reale (V*, HRBench4K/8K, MME-RealWorld-Lite) utilizzando Qwen2.5-VL-7B come modello di base.

• Prestazioni: UniVLR supera i precedenti metodi di ragionamento visivo latente (Monet, LVR, SkiLa, CoVT) e le baseline di ragionamento testuale. In media, migliora l'accuratezza del ragionamento del 5,4% rispetto alle migliori baseline.
• Efficienza: UniVLR ottiene questi guadagni utilizzando sostanzialmente meno token generati. Riduce il numero di token di ragionamento generati di 15,2 volte rispetto ai metodi intercalati (utilizzando solo 12 token latenti contro 190–270 token testuali).
• Analisi della Rappresentazione Latente:
  • Grounding Visivo: Le distribuzioni degli stati nascosti dei token latenti di UniVLR si allineano più strettamente alle rappresentazioni dei token immagine rispetto a quelle dei token testo, confermando che il modello utilizza un canale fondato visivamente.
  • Contenuto Informativo: L'analisi di perturbazione (azzeramento o aggiunta di rumore agli stati latenti) causa cali significativi di accuratezza, dimostrando che i token latenti trasportano informazioni di ragionamento rilevanti per il compito e non sono semplici segnaposto.
• Studi di Ablazione:
  • Strategia di Rendering: Il rendering con layout verticale e il wrapping adattivo sono stati trovati critici per gestire logiche complesse.
  • Filtraggio dei Dati: Un filtraggio rigoroso dei dati di addestramento (rimozione di campioni risolvibili senza ragionamento visivo o quelli con target rumorosi) è stato essenziale per un addestramento stabile della Fase II.
  • Teacher Forcing: Il teacher forcing latente completo durante l'addestramento ha prodotto risultati migliori rispetto al campionamento programmato, suggerendo che stabilizzare la varietà latente è più importante della riduzione del bias di esposizione in questo contesto continuo.
• Generalizzazione: UniVLR non mostra oblio catastrofico su compiti multimodali generali (TextVQA, POPE, MME-translation) e migliora effettivamente le prestazioni sull'allucinazione di oggetti (POPE) e sulla comprensione di immagini ricche di testo (TextVQA).

Significato e Affermazioni

Il documento afferma che UniVLR spinge il ragionamento visivo latente verso un paradigma più unificato ed efficiente per il pensiero multimodale. Dimostrando che il CoT testuale esplicito può essere assorbito in un canale visivo latente unificato, il lavoro suggerisce che i MLLM possono eseguire ragionamenti complessi e multi-step senza il sovraccarico della generazione di testo verboso o delle chiamate a strumenti esterni.

Gli autori sottolineano che, sebbene il metodo migliori efficienza e prestazioni, comporta dei compromessi: il processo di ragionamento latente è meno direttamente ispezionabile rispetto al CoT testuale esplicito, rendendo potenzialmente più difficile il debug e l'audit. Inoltre, il metodo fa affidamento sulle capacità di OCR e comprensione del layout del codificatore visivo. Il lavoro posiziona UniVLR non come sostituto del ragionamento basato su strumenti in compiti che richiedono misurazioni esatte o ricerche esaustive, ma come un passo significativo verso l'interiorizzazione della deliberazione visiva all'interno di uno spazio latente compatto e unificato.