Riepilogo Tecnico: TORM - Modellazione Internalizzata per il Ragionamento Spazio-Temporale nei Modelli Linguistici-Visivi Video

Enunciato del Problema

I compiti di ragionamento video richiedono ai modelli di tracciare il movimento, l'ordine temporale e gli stati visivi in evoluzione attraverso i fotogrammi. Sebbene i Modelli Linguistici-Visivi su Grande Scala (LVLM) abbiano avuto successo nella comprensione di immagini statiche, estendere questa capacità ai video rimane una sfida. Gli approcci esistenti spesso si basano sull'esternalizzazione del ragionamento tramite Chain-of-Thought (CoT) testuale, reinserimento ripetuto dei fotogrammi, decomposizione temporale o utilizzo di strumenti esterni.

Il documento individua limitazioni critiche in queste pipeline esterne:

1. Inefficienza: Introducono una latenza sostanziale al momento dell'inferenza e complessità ingegneristica.
2. Perdita di Informazioni: Costringono evidenze visivo-temporali ricche e continue a essere serializzate in token testuali discreti o a essere ri-codificate ripetutamente, rischiando di perdere informazioni dinamiche fini.
3. Compromesso: Esiste una tensione fondamentale tra la preservazione di informazioni visivo-temporali intermedie ricche (benefiche per il ragionamento) e l'efficienza dell'inferenza (ostacolata dalla generazione o dal recupero di evidenze esplicite al momento del test).

Metodologia: TORM

Gli autori propongono TORM (Ragionamento Spazio-Temporale tramite Modellazione Internalizzata), un framework a due stadi progettato per insegnare agli LVLM a ragionare attraverso traiettorie latenti continue limitate, piuttosto che tramite CoT testuale esplicito o strumenti esterni. L'intuizione di fondo è che il ragionamento visivo può avvenire implicitamente all'interno degli stati nascosti prima della verbalizzazione.

Architettura Principale

TORM potenzia il processo standard di generazione da domanda-video a risposta con un breve segmento di simulazione latente contenente $K$ token latenti (impostato a $K=8$ negli esperimenti).

• Inferenza: Quando il modello genera un token speciale <|latent_start|>, entra in una "modalità di simulazione latente". Invece di prevedere token testuali discreti, il decoder genera stati nascosti continui (token latenti) che vengono reinseriti come embedding di input per i passaggi successivi. Questo processo continua fino alla generazione di <|latent_end|>, dopodiché la decodifica testuale normale riprende per la risposta finale. Tale processo è limitato per garantire una latenza fissa.
• Nessuno Strumento Esterno: A differenza di altri metodi, TORM non rigenera video, non reinserisce fotogrammi e non chiama strumenti esterni durante l'inferenza.

Pipeline dei Dati

Per addestrare il modello a internalizzare il ragionamento, gli autori costruiscono una sequenza di addestramento con tre segnali allineati per ogni coppia domanda-risposta:

1. Fotogrammi Chiave: Fotogrammi rilevanti per la domanda estratti dal video sorgente.
2. Video Pensiero: Un breve video dinamico generato che visualizza i movimenti e i cambiamenti di stato rilevanti per la domanda (generato utilizzando un piano CoT di un modello "insegnante" e un modello di generazione video come Wan 2.1).
3. Risposta: La sequenza di token della risposta target.

Strategia di Addestramento a Due Stadi

Il processo di addestramento è diviso in due stadi per prima ancorare lo spazio latente e poi internalizzare il ragionamento:

• Stadio I: Addestramento Supervisionato Ancorato al Latente

  • Il modello viene addestrato ad allineare gli stati latenti previsti ($z_i$) con le caratteristiche del video pensiero generato ($g_i$).
  • Il video pensiero viene codificato e le sue caratteristiche vengono raggruppate (pooled) per corrispondere al numero fisso di slot latenti ($K$).
  • La funzione di perdita combina la cross-entropy standard sui token di risposta ($L_{ans}$) con una perdita MSE ($L_{latent}$) per minimizzare la distanza tra gli stati latenti e le caratteristiche del video pensiero.
  • Obiettivo: Ancorare gli slot latenti a evidenze visive dinamiche senza richiedere supervisione CoT testuale esplicita.

• Stadio II: Consolidamento Solo Risposta

  • La supervisione latente diretta (perdita MSE) viene rimossa.
  • Il modello viene addestrato solo sulla perdita dei token di risposta ($L_{ans}$), mentre gli slot latenti rimangono nella sequenza di input.
  • Obiettivo: Incoraggiare il modello a internalizzare il comportamento di ragionamento appreso nello Stadio I, rendendo il processo latente auto-organizzato e robusto per l'inferenza senza target espliciti.

Contributi Chiave

1. Framework TORM: Un framework di ragionamento video che esegue simulazione dinamica interna nello spazio latente continuo, eliminando la necessità di CoT testuale esplicito o inferenza basata su strumenti pesanti.
2. Strategia di Addestramento a Due Stadi: Un approccio innovativo che combina l'allineamento latente con la supervisione del video pensiero (Stadio I) e il consolidamento focalizzato sulla risposta (Stadio II) per internalizzare il ragionamento spazio-temporale.
3. Pipeline di Supervisione Video Pensiero: Un metodo scalabile per allineare tracce dinamiche generate, fotogrammi chiave e annotazioni QA per addestrare il ragionamento video latente.
4. Efficienza e Prestazioni: Dimostrazione che il ragionamento internalizzato può raggiungere un'alta accuratezza riducendo significativamente l'overhead di inferenza rispetto a pipeline basate su strumenti pesanti o generazione video.

Risultati Sperimentali

Gli autori hanno valutato TORM su sei benchmark: VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso e MMVU.

• Prestazioni: TORM ha costantemente superato le linee di base standard addestrate con Supervised Fine-Tuning (SFT) (ad es. Qwen2.5-VL-7B-SFT) su tutti i benchmark. Ha anche eguagliato o superato modelli specializzati che dipendono da costose pipeline di calcolo al momento del test (ad es. LongVT, Video-Thinker).
  • Esempio: Su VideoMME, TORM ha raggiunto un'accuratezza del 61,0%, superando la linea di base SFT (55,4%) e competendo con modelli proprietari come GPT-4o (71,9%) e Gemini-1.5-Pro (75,0%) pur utilizzando un backbone open-source.
  • Esempio: Su MMVU, TORM ha raggiunto il 65,9%, superando Video-R1 (64,2%) e Qwen2.5-VL-CoT (60,0%).
• Latenza: TORM ha dimostrato una riduzione massiccia della latenza di inferenza.
  • LongVT e Video-Thinker richiedevano circa 15–17 secondi per elemento.
  • TORM ha elaborato gli elementi a circa 0,47 secondi per elemento (2,14 elementi/s), un'accelerazione di circa 30 volte, evitando il recupero ripetuto dei fotogrammi e le chiamate a strumenti esterni.
• Studi di Ablazione:
  • Dimensione Latente: Un budget di 8 token latenti ha fornito il miglior equilibrio. Budget più grandi (16 o 256) hanno degradato le prestazioni, suggerendo che traiettorie latenti compatte sono più efficaci del mantenimento di token visivi ridondanti.
  • Stadi di Addestramento: Sia lo Stadio I (ancoraggio) che lo Stadio II (consolidamento) erano necessari; l'uso di uno solo degli stadi ha portato a prestazioni inferiori.
  • Analisi del Recupero: Le sonde hanno mostrato che gli stati latenti appresi hanno mantenuto informazioni temporali specifiche del video meglio delle rappresentazioni testuali, raggiungendo un Hit@1 del 71% nel recupero all'interno dello stesso video rispetto al 29% per il testo.

Significato e Affermazioni

Il documento afferma che TORM rappresenta un passo pratico verso il ragionamento visivo nativo efficiente nei modelli linguistici-visivi video. Spostando il carico del ragionamento dinamico dall'orchestrazione di strumenti al momento dell'inferenza a un processo latente internalizzato, TORM affronta il compromesso tra qualità del ragionamento ed efficienza computazionale.

Gli autori sottolineano che:

• L'evidenza visiva dinamica è utilizzata solo durante l'addestramento per insegnare agli stati latenti.
• All'inferenza, il modello riutilizza questo comportamento appreso attraverso una traiettoria latente compatta a budget fisso senza generare nuovi video o invocare strumenti esterni.
• Questo approccio permette agli LVLM di gestire compiti complessi di ragionamento spazio-temporale con l'efficienza di un processo di decodifica a singolo modello, evitando la latenza e la complessità delle pipeline di ragionamento esterne.

Il documento riconosce delle limitazioni, notando che la qualità dell'addestramento dipende dai video pensiero generati e che la valutazione attuale è focalizzata su QA a scelta multipla. Viene suggerito un lavoro futuro per il ragionamento open-ended e altre architetture.