STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

Titolo: STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

1. Il Problema

Il campo del Video Question Answering (VQA) ha visto progressi significativi grazie ai Large Multimodal Models (LMMs). Tuttavia, l'addestramento tramite Reinforcement Learning (RL) post-training, in particolare con metodi di ottimizzazione della politica basati su gruppi (come GRPO), incontra un ostacolo critico noto come "collasso del vantaggio" (advantage collapse).

• Limitazione dei metodi attuali: I metodi GRPO standard generano diverse risposte testuali per un singolo input video fisso. Quando le risposte generate sono uniformemente corrette o uniformemente errate, la varianza delle ricompense all'interno del gruppo tende a zero.
• Conseguenze: Una varianza vicina allo zero porta a stime di vantaggio instabili (o esplosive se il denominatore è piccolo, o nulle se le ricompense sono identiche). Questo blocca l'aggiornamento del gradiente, impedendo al modello di apprendere efficacemente.
• Carenza di diversità: I metodi esistenti diversificano solo l'output testuale, ignorando la ricca struttura spaziotemporale intrinseca del video, che offre molteplici prospettive valide per il ragionamento.

2. Metodologia: Il Framework STRIVE

STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration) propone un cambiamento concettuale fondamentale: spostare la diversità dallo spazio di output a quello di input.

A. Doppia Gruppa (Dual-Grouping Paradigm)
Invece di campionare solo risposte testuali da un video fisso, STRIVE costruisce un gruppo di ottimizzazione congiunto:

1. Costruzione delle Varianti: Per ogni video di input, il sistema genera $M$ varianti visive spaziotemporali diverse ($\tilde{v}_i$).
2. Generazione Testuale: Per ogni variante visiva, la politica genera $G$ risposte testuali.
3. Matrice di Risposte: Si ottiene una matrice $G \times M$ di risposte e ricompense.
4. Normalizzazione Congiunta: Il vantaggio viene calcolato normalizzando le ricompense su tutto il pool $G \times M$, non solo sulle risposte testuali. Questo mantiene una varianza delle ricompense positiva e stabile, prevenendo il collasso del vantaggio.

B. Campionamento Consapevole dell'Importanza (Importance-Aware Sampling)
Per garantire che la diversità visiva sia semanticamente significativa e non casuale, STRIVE introduce un meccanismo di campionamento guidato:

• Punteggio di Rilevanza: Vengono calcolati punteggi di rilevanza per ogni frame ($s_f$) basati sulla similarità tra l'embedding visivo del frame e l'embedding testuale della domanda (cross-modal embedding similarity).
• Campionamento Segmentato: Il video è diviso in segmenti temporali. All'interno di ogni segmento, invece di selezionare deterministicamente il frame più rilevante (che ridurrebbe la diversità), viene utilizzato un campionamento softmax scalato con temperatura ($\tau$).
• Bilanciamento: Questo approccio bilancia l'exploit (selezionare frame critici per la domanda) con l'esplorazione (mantenere la copertura temporale globale), evitando l'overfitting su singoli momenti e preservando la coerenza narrativa.

C. Regularizzazione Implicita
L'addestramento su varianti spaziotemporali diverse agisce come un regolarizzatore di consistenza implicito. Il modello è penalizzato se genera risposte che non rimangono coerenti attraverso diverse prospettive visive valide, costringendolo a basare il ragionamento su evidenze visive solide piuttosto che su prior linguistici spuri.

3. Contributi Chiave

1. Ristrutturazione del Calcolo del Vantaggio: Sostituzione della diversità puramente testuale con una diversità strutturata spaziotemporale, risolvendo il problema della bassa varianza delle ricompense nei task di ragionamento video.
2. Meccanismo di Esplorazione Guidata: Introduzione di una strategia di campionamento che seleziona i frame più rilevanti per la domanda mantenendo la diversità temporale necessaria per un RL stabile.
3. Framework Modulare: STRIVE non modifica l'obiettivo di ottimizzazione di base (GRPO), ma agisce come un componente di costruzione delle varianti "plug-and-play", compatibile con diversi algoritmi RL.

4. Risultati Sperimentali

Il metodo è stato valutato su sei benchmark video complessi: VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench e PerceptionTest.

• Performance Complessiva: STRIVE ha mostrato miglioramenti coerenti rispetto ai baseline RL forti (incluso GRPO standard e Video-R1) su entrambi i modelli base testati (Qwen2.5-VL-7B e Qwen3-VL-8B).
  • Su Qwen2.5-VL-7B, STRIVE ha raggiunto una media di 59.8 contro 59.0 del GRPO.
  • Su Qwen3-VL-8B, STRIVE ha raggiunto 65.2 contro 64.3 del GRPO, evitando i cali di performance osservati nel GRPO standard su benchmark specifici come VideoMME.
• Analisi della Dinamica di Ottimizzazione:
  • Varianza delle Ricompense: STRIVE mantiene una varianza delle ricompense costantemente più alta rispetto al GRPO durante l'addestramento.
  • Collasso del Vantaggio: Riduce drasticamente la frazione di passaggi con vantaggio nullo (zero-advantage steps), prevenendo la "fame" di segnale di apprendimento.
  • Stabilità del Gradiente: Elimina le oscillazioni caotiche e i picchi nel gradiente osservati nel GRPO standard, garantendo un'ottimizzazione più stabile.
• Studi di Ablazione:
  • Le varianti stocastiche migliorano l'esplorazione ma possono essere rumorose.
  • Le varianti basate sull'importanza (specialmente con similarità cross-modale) offrono il miglior compromesso, guidando l'esplorazione verso frame rilevanti senza perdere informazioni critiche.
  • La configurazione ottimale bilancia varianti visive ($M=2$) e generazioni testuali ($G=4$), dimostrando che la diversità visiva è cruciale quanto quella testuale.

5. Significato e Impatto

STRIVE dimostra che l'ottimizzazione della politica per il ragionamento video non può basarsi esclusivamente sulla diversità linguistica. Sfruttare la struttura spaziotemporale intrinseca del video è essenziale per stabilizzare l'apprendimento per rinforzo multimodale.

• Robustezza: Il framework costringe il modello a ragionare su evidenze visive multiple, riducendo le allucinazioni e i ragionamenti basati su prior linguistici errati.
• Scalabilità: Il metodo scala efficacemente su modelli più potenti (es. Qwen3-VL-8B), risolvendo problemi di instabilità che affliggono i metodi RL standard su architetture avanzate.
• Generalizzazione: Essendo un approccio di costruzione delle varianti, STRIVE può essere integrato in diversi algoritmi di RL (come DR.GRPO), offrendo un segnale di ottimizzazione complementare e robusto per i task di comprensione video.

In sintesi, STRIVE rappresenta un passo avanti verso un RL multimodale più stabile ed efficace, trasformando la diversità visiva da un semplice input in una componente strutturale fondamentale del processo di apprendimento.