DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

Sulla base del documento fornito, ecco un riepilogo tecnico dettagliato di DynFrame.

Enunciato del Problema

I recenti Modelli Linguistici Multimodali di grandi dimensioni (MLLM) hanno fatto progredire la comprensione video accoppiando il ragionamento passo-passo con il recupero di evidenze visive su richiesta. Tuttavia, i sistemi esistenti di "pensiero con video" soffrono di due lacune strutturali:

1. Densità di Campionamento Fissa: Sebbene i modelli possano decidere dove guardare (finestra temporale), la frequenza dei fotogrammi (densità di campionamento) all'interno di tale finestra è tipicamente un iperparametro fisso del sistema. Di conseguenza, il recupero di evidenze fini richiede spesso chiamate di recupero ripetute, il che aumenta la lunghezza del contesto di inferenza e complica l'addestramento.
2. Squilibrio nell'Attribuzione del Credito: Gli attuali approcci di apprendimento per rinforzo (RL) ottimizzano spesso l'intera traiettoria di generazione con un singolo segnale di vantaggio. Ciò intreccia il credito per la decisione "dove guardare" (token di recupero) con la decisione "come rispondere" (token di ragionamento), portando a un apprendimento subottimale quando un componente è corretto e l'altro no.

Metodologia

Gli autori propongono DynFrame, un framework addestrabile end-to-end che unifica il recupero adattivo dei fotogrammi con un ragionamento visione-linguaggio dinamicamente intercalato. I componenti principali sono:

1. Interfaccia di Recupero Tokenizzata
DynFrame tratta l'adattamento della frequenza dei fotogrammi come una decisione apprendibile all'interno della traiettoria di generazione autoregressiva. Invece di chiamate a strumenti esterni, il modello emette token nativi per specificare il comando di recupero:

• <span>ts–te</span>: Definisce la finestra temporale.
• <fps>f</fps>: Definisce la frequenza dei fotogrammi di campionamento.
  Ciò permette al modello di acquisire evidenze multi-granularità (fotogrammi densi per il movimento, sparsi per la semantica) in un singolo passo di recupero.

2. Iniezione Dinamica dei Fotogrammi
Al momento della generazione del token di chiusura </fps>, il sistema attiva un meccanismo di iniezione in tempo reale. Estrae $N$ fotogrammi dalla finestra specificata alla frequenza di fotogrammi prevista, li codifica tramite un encoder visivo congelato e aggiunge token visivi con timestamp al buffer di generazione. Il decoder quindi riprecompila gli stati KV per permettere al ragionamento post-iniezione di prestare attenzione bidirezionale ai fotogrammi appena recuperati.

3. GRPO a Segmenti Decouplati (SD-GRPO)
Per affrontare lo squilibrio nell'attribuzione del credito, gli autori introducono SD-GRPO, un algoritmo di apprendimento per rinforzo che divide la simulazione al confine di recupero ($T_{fps}$):

• Segmento di Campionamento ($t \le T_{fps}$): Riceve una ricompensa specifica ($R_{samp}$) basata sulla sovrapposizione dell'intervallo temporale previsto con il ground truth e sull'accuratezza della FPS prevista.
• Segmento di Ragionamento ($t > T_{fps}$): Riceve una ricompensa specifica per la risposta ($R_{ans}$) basata sulla correttezza del compito (ad esempio, corrispondenza esatta o IoU).
  I vantaggi a livello di token sono calcolati separatamente per questi segmenti, garantendo che il modello sia esplicitamente ricompensato per prendere buone decisioni di recupero indipendentemente dalla qualità della risposta finale, e viceversa.

4. Curatela dei Dati
Il framework è addestrato su due dataset curati:

• DM-CoT-74k: Un dataset di fine-tuning supervisionato (SFT) con comandi di recupero intercalati e ragionamento ancorato.
• DM-RL-45k: Un dataset di apprendimento per rinforzo con intervalli temporali e target FPS ground-truth, utilizzato per calcolare le ricompense decouplate.

Principali Contributi

1. Adattamento Nativo Tokenizzato: DynFrame trasforma l'acquisizione adattiva di evidenze temporali da un'operazione di strumento schedulata esternamente a una capacità di ragionamento nativa del modello, emettendo l'intervallo temporale e la densità di campionamento come token nativi.
2. Ottimizzazione a Segmenti Decouplati: L'introduzione di SD-GRPO permette un'attribuzione del credito mirata, separando l'ottimizzazione della decisione di campionamento dal ragionamento della risposta, il che stabilizza la co-adattamento tra recupero e ragionamento.
3. Dataset Curati: La creazione di DM-CoT-74k e DM-RL-45k per supportare l'addestramento di un recupero adattivo nativo tokenizzato e robusto.

Risultati Sperimentali

DynFrame è stato valutato su sei benchmark che coprono l'ancoraggio temporale, il VideoQA ancorato e la comprensione video di lunga durata (NExT-GQA, Charades-STA, ActivityNet-MR, Video-MME, MLVU, LVBench).

• Prestazioni: DynFrame-8B ha ottenuto risultati allo stato dell'arte sulla maggior parte delle metriche, superando forti baseline da 7B a 8B (inclusi Video-o3, VITAL e VideoChat-R1.5). DynFrame-4B è stato competitivo con queste baseline più grandi nonostante abbia la metà dei parametri.
• Efficienza: A differenza dei metodi di recupero multi-turno che espandono significativamente la lunghezza del contesto, DynFrame raggiunge un'alta accuratezza con un singolo round di recupero, mantenendo un contesto di inferenza più gestibile.
• Studi di Ablazione:
  • La rimozione del decoupling dei segmenti (utilizzando GRPO vanilla) ha portato a prestazioni inferiori, confermando la necessità di un'attribuzione del credito separata.
  • La sostituzione della previsione dinamica della FPS con una frequenza fissa ha degradato le prestazioni, validando la necessità di una densità adattiva.
  • Il modello ha dimostrato robustezza rispetto a un campionamento iniziale sparso ($f_1$), recuperando con successo evidenze mancanti attraverso il recupero dinamico.

Significato

Il documento afferma che DynFrame rappresenta un passaggio da passaggi visivi rigidi e definiti dal sistema a un'acquisizione di evidenze flessibile e guidata dal modello. Imparando a decidere sia dove guardare sia quanto densamente campionare, il modello può acquisire in modo efficiente evidenze multi-granularità adattive al compito. Il framework SD-GRPO proposto fornisce un meccanismo per addestrare questi complessi comportamenti di recupero-ragionamento senza intrecciare i segnali di apprendimento per le diverse fasi del processo di generazione. Questo approccio permette a modelli più piccoli (4B) di competere con baseline più grandi e stabilisce nuovi standard di prestazione per la comprensione video di lunga durata.