Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

Sintesi Tecnica: Grounding Spazio-Temporale Efficiente con Grandi Modelli Multimodali tramite Tracking a Livello di Secondo e Verifica RL

1. Definizione del Problema

Il grounding spazio-temporale nei video (STVG) richiede che un modello localizzi una query in linguaggio naturale sia nel tempo (identificando l'intervallo dell'evento) che nello spazio (tracciando il target di riferimento durante tutto quell'intervallo). Sebbene i Modelli Linguistici Multimodali Grandi (MLLM) possiedano forti capacità di ragionamento, l'applicazione diretta a video lunghi tramite inferenza frame-per-frame è computazionalmente proibitiva e instabile.

Le sfide principali identificate sono:

• Costo Computazionale: Il campionamento denso a livello di frame crea un'esplosione di token visivi, rendendo l'elaborazione di video lunghi costosa.
• Instabilità: La generazione diretta di coordinate dense porta spesso al "drift" (deriva), in cui il modello perde l'identità del target o produce traiettorie scattose a causa di piccoli errori numerici nei box generati tramite testo.
• Discrepanza della Supervisione: Il fine-tuning supervisionato (SFT) standard ottimizza la verosimiglianza dei token piuttosto che metriche specifiche del compito come la sovrapposizione temporale o la coerenza della traiettoria spaziale.

2. Metodologia

Gli autori propongono una pipeline pratica che sposta l'unità di ragionamento dal frame al secondo, accoppiata a una strategia di addestramento in tre fasi e alla verifica tramite Reinforcement Learning (RL).

A. Formulazione a Livello di Secondo
Invece di elaborare $T$ frame, il video viene convertito in $K$ unità a livello di secondo ($K = \lceil T/F \rceil$).

• Input: Il modello elabora unità video aggregate per secondo.
• Output: Il modello predice un intervallo temporale $[\hat{t}_s, \hat{t}_e]$ e una traiettoria compatta $\hat{B}$ composta da un bounding box per secondo.
• Smoothing: Durante l'inferenza viene applicato un passaggio di smoothing inter-secondo leggero per ripristinare la continuità e ridurre lo scatto, preservando al contempo i confini temporali predetti.

B. Pipeline di Addestramento in Tre Fasi
Il metodo utilizza un'architettura in stile GLM-V addestrata attraverso tre fasi distinte:

1. Pre-addestramento Continuativo (CPT):

   • Obiettivo: Costruire ampie capacità di grounding spazio-temporale.
   • Dati: Un mix di dati STVG, Multi-Object Tracking (MOT), Single-Object Tracking (SOT) e dati di segmentazione.
   • Strategia: I video sono campionati a 1 FPS per corrispondere alla formulazione a livello di secondo. Sono inclusi dati di video captioning generale e QA per evitare che il modello collassi in un compito ristretto di predizione delle coordinate, preservando le capacità di ragionamento e conversazione generale.

2. Supervised Fine-Tuning (SFT) con Ragionamento Corretto:

   • Obiettivo: Insegnare la selezione strutturata del target e il ragionamento temporale.
   • Dati: 20K esempi da VidSTG e HC-STVG.
   • Meccanismo: MLLM avanzati (es. Gemini) generano tracce di Chain-of-Thought (CoT) focalizzate su cosa tracciare e su quando avviene l'evento.
   • Correzione: Fondamentalmente, le coordinate spaziali e gli intervalli temporali generati nell'output finale vengono sostituiti con annotazioni ground-truth. Questo separa il ragionamento semantico utile dalla geometria generata inaffidabile, garantendo che il modello apprenda il corretto processo di ragionamento senza essere penalizzato per il rumore geometrico nei dati di addestramento.

3. Reinforcement Learning (RL) con Verificatore:

   • Obiettivo: Ottimizzare direttamente la qualità del grounding rispetto alle metriche di valutazione.
   • Funzione di Reward: Un verificatore valuta le predizioni utilizzando una somma pesata di:
     • tIoU: Temporal Intersection over Union (sovrapposizione tra le finestre temporali predette e quelle ground-truth).
     • mvIoU: Motion-aware spatial IoU (media della IoU dei box sull'intersezione temporale corrispondente).
   • Ottimizzazione: La policy è ottimizzata utilizzando un obiettivo di tipo GRPO con clipping asimmetrico. Il reward combinato ($tIoU + mvIoU$) fornisce un segnale di apprendimento più denso rispetto all'uso di soli reward motion-aware, aiutando il modello a localizzare prima la corretta finestra dell'evento prima di raffinare la traiettoria.

C. Inferenza
Il modello produce una risposta strutturata contenente l'intervallo temporale e la traiettoria a livello di secondo. Gli stati non validi vengono scartati e viene applicato lo smoothing inter-secondo. L'output può rimanere alla granularità del secondo o essere interpolato nuovamente a livello di frame se richiesto da un benchmark.

3. Contributi Chiave

• Formulazione del Tracking a Livello di Secondo: Un passaggio dalle unità a livello di frame a quelle a livello di secondo che riduce significativamente la lunghezza della sequenza e i costi dei token visivi, mantenendo la struttura dell'evento e la continuità della traccia tramite smoothing.
• Supervisione del Ragionamento Corretto: Una strategia di addestramento che utilizza tracce CoT generate per il ragionamento semantico ma sostituisce le coordinate generate con il ground truth, evitando che il modello apprenda da una supervisione geometrica rumorosa.
• RL Guidato dal Verificatore: Una fase di ottimizzazione che utilizza un verificatore basato su $tIoU + mvIoU$ per allineare direttamente l'output del modello con le metriche di valutazione STVG, anziché fare affidamento esclusivamente sulla verosimiglianza dei token.
• Modello ad Alte Prestazioni ed Efficiente: Dimostrazione che un modello da 9 miliardi di parametri allineato al compito può superare modelli generalisti significativamente più grandi (es. Qwen3.5 da 397B) nei compiti STVG.

4. Risultati Sperimentali

Il metodo è stato valutato sui benchmark VidSTG e HC-STVG, nonché su Video-MME-v2 per valutare la comprensione video generale.

• Prestazioni STVG:

  • Su VidSTG, il modello finale RL ha raggiunto un mtIoU di 31.35 e un mvIoU di 23.79, superando tutti i baseline inclusi i modelli da 397B e 1T di parametri.
  • Su HC-STVG, il modello ha ottenuto un mtIoU di 60.04 e un mvIoU di 40.99, superando nuovamente i modelli generalisti più grandi.
  • La progressione da SFT a RL ha mostrato che, mentre l'SFT adatta il formato, l'RL migliora significativamente l'allineamento delle metriche. Il reward combinato $tIoU + mvIoU$ è convergente più velocemente e ha prodotto risultati migliori rispetto al solo $mvIoU$.

• Comprensione Video Generale:

  • La valutazione su Video-MME-v2 ha mostrato che il modello è migliorato rispetto al baseline GLM-4.1V-Thinking sia nel ragionamento non lineare (12.6 vs 9.4) che nella semplice accuratezza (28.0 vs 23.7), indicando che la pipeline di addestramento non è andata in overfitting sulla localizzazione a scapito del ragionamento generale.

• Studi di Ablazione:

  • Sensibilità FPS: L'addestramento a 1 FPS ha prodotto i migliori risultati, bilanciando costo ed evidenza temporale.
  • Design del Reward: La combinazione di reward temporali e motion-aware è stata critica; l'uso dei soli reward motion-aware ha portato a segnali di apprendimento iniziale più deboli.

5. Significato e Rivendicazioni

Il paper sostiene che il collo di bottiglia nell'STVG basato su MLLM non è semplicemente la scala del modello, ma la formulazione del compito e il design del segnale di supervisione. Decoupling (scollegando) il ragionamento semantico dalla generazione geometrica e ottimizzando direttamente per le metriche del compito tramite RL, gli autori dimostrano che un modello più piccolo e specializzato può ottenere prestazioni superiori nel grounding di video lunghi rispetto ai massicci modelli generalisti.

Gli autori pongono questo lavoro come una soluzione pratica per il "pezzo mancante" nell'STVG basato su MLLM: gestire video lunghi in modo efficiente producendo al contempo un grounding temporale e spaziale utilizzabile e stabile. Notano che, sebbene il metodo sia efficace, il lavoro futuro potrebbe estendere queste capacità di ragionamento a compiti più ampi come il parsing di eventi e gli agenti video interattivi, o adattare l'approccio per contesti open-world in tempo reale e più rumorosi.