DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

Problema

Gli attuali Modelli Multimodali Grandi Unificati (ULMM) che tentano il ragionamento multimodale intercalato generano tipicamente stati visivi intermedi come immagini complete. Questo paradigma introduce due criticità di inefficienza:

1. Ridondanza dei Token Visivi: I passaggi di ragionamento consecutivi spesso condividono un contenuto visivo sostanziale. Generare un'immagine completa per ogni passaggio modella ripetutamente regioni invariate, portando a un enorme overhead di token visivi rispetto ai passaggi di ragionamento testuale.
2. Supervisione Diluita: Ricostruendo l'intero stato ad ogni passaggio, il segnale di apprendimento viene disperso sia nel contenuto persistente che nelle variazioni sparse e critiche che guidano il ragionamento. Ciò orienta l'ottimizzazione verso la ricostruzione a basso livello piuttosto che verso le transizioni di stato critiche per il ragionamento.

Gli approcci esistenti comprimono le informazioni visive in token latenti (sacrificando l'interpretabilità) o si affidano a pipeline aumentate da strumenti (mancando di un accoppiamento end-to-end). Anche all'interno dei modelli unificati, il costo computazionale della generazione a livello di pixel spesso domina il ragionamento semantico, limitandone la scalabilità.

Metodologia: DeltaV

Gli autori propongono DeltaV, un framework ULMM che inquadra il ragionamento intercalato come un processo di transizioni di stato visivo piuttosto che come generazioni indipendenti di immagini complete. Invece di predire $Z_t$ (lo stato completo) al passo $t$, DeltaV predice $\Delta Z_t$ (aggiornamenti visivi) condizionati dagli stati storici.

1. Modellazione Autoregressiva Unificata con Aggiornamenti Visivi
DeltaV decompone la traiettoria di ragionamento $Y$ in uno stato visivo iniziale $Z_0$ e una sequenza di token di aggiornamento visivo a lunghezza variabile $\Delta Z_t$:
$$Y = \{Z_0, X_1, \Delta Z_1, X_2, \Delta Z_2, \dots\}$$
dove $X_t$ rappresenta i token testuali. Questa formulazione sposta l'obiettivo dell'apprendimento dalla ricostruzione dello stato alla modellazione della transizione, costringendo il modello a concentrarsi solo sull'evidenza visiva necessaria per avanzare nella traiettoria di ragionamento.

2. TSIM-Tok: Tokenizzazione Consapevole della Variazione
Per implementare questo, DeltaV introduce TSIM-Tok, un tokenizer visivo composto da due componenti chiave:

• TSIM Router (Temporal Similarity Router): Questo modulo alloca dinamicamente il budget di token per ogni aggiornamento in base all'entità del cambiamento visivo. Calcola un punteggio di Similitudine Temporale (TSIM) confrontando le caratteristiche visive correnti con una storia pesata degli stati precedenti. Il peso considera la prossimità temporale (gli stati recenti contano di più) e la capacità informativa (gli stati con più token forniscono riferimenti più ricchi).
  • Il router utilizza una procedura di calibrazione offline per mappare i punteggi TSIM sui budget di token. Adatta una curva che mette in relazione il conteggio dei token con la fedeltà di ricostruzione (SSIM) e seleziona il budget in cui il guadagno marginale nella qualità della ricostruzione scende al di sotto di una soglia. Ciò garantisce che i cambiamenti complessi ricevano più token, mentre gli aggiornamenti minori ne ricevano meno.
• Modulo di Rappresentazione dell'Aggiornamento Visivo: Questo modulo codifica gli stati visivi in token di base ($Z_0$) e token di aggiornamento a lunghezza variabile ($\Delta Z_t$) utilizzando query apprendibili. Condiziona la generazione di $\Delta Z_t$ su $Z_0$ e su tutti gli aggiornamenti precedenti ($\Delta Z_{<t}$), garantendo la coerenza temporale senza rigenerare il contenuto stabile.

3. Dataset StructCoT
Riconoscendo che i dataset di ragionamento intercalato esistenti sono limitati in scala e diversità di dominio, gli autori hanno costruito StructCoT.

• Scala: 1,05 milioni di campioni.
• Copertura: 44 domini di task, organizzati in sette categorie di ragionamento: Pianificazione Strategica, Pianificazione Spaziale/Embodiment, Ragionamento Logico/Astratto, Ragionamento Matematico/Algoritmico, Ragionamento Scientifico/di Dominio, Ricerca Visiva e Restauro Immagine/Jigsaw.
• Scopo: Fornire una supervisione ampia per l'apprendimento di pattern di aggiornamento visivo e strutture di ragionamento generalizzabili.

Contributi Chiave

1. Framework DeltaV: Il primo framework di ragionamento multimodale unificato che formula esplicitamente il ragionamento intercalato come modellazione di stato visivo centrata sugli aggiornamenti. Sostituisce la generazione di immagini complete con aggiornamenti visivi compatti e consapevoli della variazione.
2. TSIM Router: Un meccanismo innovativo che allinea l'allocazione dei token all'effettiva entità del cambiamento visivo, riducendo la ridondanza interrompendo l'allocazione dei token una volta che i guadagni marginali di ricostruzione diminuiscono.
3. Dataset StructCoT: Un dataset su larga scala e diversificato progettato per supportare un ragionamento multimodale generalizzabile centrato sugli aggiornamenti, espandendo significativamente la copertura dei benchmark esistenti.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Zebra-CoT (per ablazione e valutazione in-domain) e su benchmark esterni (per la generalizzazione).

• Efficienza: Il paradigma dell'aggiornamento visivo riduce i nuovi token visivi generati del 55,6% in media rispetto alla generazione di immagini complete, senza compromettere la fedeltà della ricostruzione.
• Prestazioni di Ragionamento:
  • DeltaV migliora il ragionamento multimodale del 3,3% rispetto ai baseline di generazione di immagini complete.
  • Nelle valutazioni in-domain (Zebra-CoT e StructCoT), il modello DeltaV-2B supera sostanzialmente modelli open-source molto più grandi con una media dell'8,4%.
  • Nei benchmark esterni di comprensione e ragionamento multimodale, DeltaV-2B supera Qwen3-VL-2B di scala comparabile del 5,9%.
• Studi di Ablazione:
  • Allocazione dei Token: Il TSIM Router (basato su pendenza) supera sia l'allocazione casuale del budget che la soglia basata sul valore, confermando che l'utilità marginale è un criterio superiore per il budgeting.
  • Coerenza della Ricostruzione: L'analisi qualitativa mostra che i modelli a immagine completa soffrono di "drift semantico" (ad esempio, cambiamenti di identità o forma tra i passaggi), mentre DeltaV mantiene stati visivi coerenti ancorando gli aggiornamenti alle informazioni storiche.
  • Generalizzazione: L'addestramento basato su aggiornamenti visivi migliora le prestazioni sui benchmark di comprensione generale (es. MMBench, MathVista) rispetto ai baseline solo testuali, suggerendo che il modello apprende rappresentazioni multimodali trasferibili.

Significato e Rivendicazioni

Il documento afferma che il collo di bottiglia negli attuali ragionamenti intercalati non è la generazione a livello di pixel in sé, ma il paradigma di trattare ogni passaggio di ragionamento come un compito di generazione di immagini complete. Passando a una prospettiva di transizione di stato visivo, DeltaV ottiene:

• Maggiore Efficienza: Riduzione drastica dell'overhead dei token modellando solo i cambiamenti.
• Migliori Segnali di Ragionamento: Concentrazione della supervisione sulle variazioni sparse e critiche che guidano il ragionamento, piuttosto che sul contenuto ridondante.
• Migliore Coerenza: Mitigazione dell'accumulo di errori e del drift semantico attraverso le catene di ragionamento multi-step.

Gli autori concludono che DeltaV offre una via più efficiente e generalizzabile verso l'intelligenza multimodale unificata, suggerendo che i sistemi futuri dovrebbero adattare la selezione delle rappresentazioni intermedie (aggiornamenti compatti vs immagini complete vs strumenti esterni) in base ai requisiti del task.