Riepilogo Tecnico: Apprendimento della Sensibilità Spazio-Temporale nei Video LLM tramite Apprendimento per Rinforzo Controfattuale

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione per Video (Video LLM) hanno ottenuto prestazioni elevate su benchmark standard, tuttavia studi recenti indicano che l'alta accuratezza deriva spesso da "scorciatoie" piuttosto che da una genuina comprensione spazio-temporale. I modelli fanno frequentemente affidamento su segnali statici (ad esempio, caratteristiche di singoli fotogrammi) o su prior linguistiche per rispondere alle domande, fallendo nel tracciare come gli eventi si svolgono nel tempo. Questo problema è aggravato durante il post-addestramento tramite Apprendimento per Rinforzo (RL). I metodi RL standard, come GRPO, impiegano tipicamente ricompense basate esclusivamente sulla correttezza. Se un modello può rispondere correttamente a una domanda utilizzando una scorciatoia statica, riceve un'alta ricompensa senza mai imparare a elaborare contenuti video dinamici. Di conseguenza, il RL basato solo sulla correttezza può rafforzare queste politiche di scorciatoia, migliorando i punteggi dei benchmark mentre potenzialmente indebolisce la sensibilità del modello alle evidenze dinamiche.

I tentativi esistenti di affrontare questo problema, come l'uso di video perturbati (ad esempio, fotogrammi mescolati o inversioni temporali) per modellare le ricompense, trattano spesso il video perturbato solo come segnale diagnostico per il ramo originale. Non addestrano attivamente la politica sull'input controfattuale stesso, limitando la loro capacità di imporre un ragionamento spazio-temporale coerente.

2. Metodologia: Ottimizzazione della Politica Relazionale Controfattuale (CRPO)

Gli autori propongono la Ottimizzazione della Politica Relazionale Controfattuale (CRPO), un framework RL a doppio ramo progettato per migliorare la sensibilità spazio-temporale. L'idea centrale è che un modello dovrebbe rispondere in modo prevedibile a mondi visivi controfattuali controllati: se l'evidenza visiva cambia mentre la domanda rimane fissa, la risposta dovrebbe cambiare per domande dinamiche (equivarianza) e rimanere invariata per domande statiche (invarianza).

2.1 Architettura a Doppio Ramo

CRPO estende il framework GRPO standard mantenendo due rami paralleli per ogni prompt di addestramento:

1. Ramo Originale: Elabora il video originale $X$ e la domanda $Q$.
2. Ramo Controfattuale: Elabora un video trasformato $X_T$ e la stessa domanda $Q$.

Un Router di Attività (implementato come modello di ragionamento solo testuale) classifica la domanda in uno dei quattro tipi: Spaziale, Temporale, Spazio-Temporale o Statico, basandosi su test di trasformazione ipotetici (ad esempio, "Se ribaltiamo il mondo orizzontalmente, cambierebbe la risposta?"). Sulla base di questa classificazione, viene applicata una trasformazione specifica $T$:

• Spaziale/Temporale/Spazio-Temporale: Ribaltamento orizzontale o inversione temporale.
• Statico: Viene applicata una trasformazione, ma il segnale di ricompensa incoraggia l'invarianza della risposta.

2.2 Ricompensa Relazionale Controfattuale (CRR)

L'innovazione chiave è la Ricompensa Relazionale Controfattuale (CRR), che collega i due rami. A differenza dei metodi precedenti che utilizzano le perturbazioni solo per la modellazione della ricompensa sul ramo originale, CRPO aggiorna la politica utilizzando i gradienti da entrambi i rami.

La funzione di ricompensa combina:

• Ricompensa di Correttezza ($R_{correct}$): Ricompensa standard di accuratezza per il ramo originale.
• Ricompensa Comportamentale ($R_{behave}$): Applicata al ramo controfattuale. Ricompensa il modello se la risposta cambia per compiti dinamici ($o^T \neq o^*$) e rimane corretta per compiti statici ($o^T = o^*$).
• Termine Relazionale Inter-Ramo ($R_{CRR}$):
  • Per il ramo originale, $R_{CRR}$ ricompensa la politica se le risposte del ramo controfattuale esibiscono il comportamento atteso (cambiamento per compiti dinamici, invarianza per compiti statici), condizionato alla correttezza della risposta originale.
  • Per il ramo controfattuale, $R_{CRR}$ ricompensa la politica se il ramo originale è corretto, condizionato alla risposta controfattuale che esibisce il comportamento atteso.

Ciò crea una struttura di ricompensa reciproca simmetrica. La ricompensa più alta è ottenuta solo quando il modello risponde correttamente al video originale e dimostra il comportamento relazionale corretto sul video controfattuale. Questo rende difficile per le politiche di scorciatoia (che fornirebbero la stessa risposta indipendentemente dalla trasformazione del video) massimizzare costantemente le ricompense su entrambi i rami.

2.3 Ottimizzazione e Opzione Nulla

CRPO utilizza una strategia di normalizzazione ibrida per i vantaggi, calcolando la deviazione standard congiuntamente su entrambi i rami (2G valori) per garantire un addestramento stabile. Per gestire i casi in cui la risposta corretta per un video controfattuale non è presente nelle opzioni multiple originali (ad esempio, un video invertito implica una direzione diversa), viene aggiunta un'opzione "Nessuna delle precedenti" (Opzione Nulla). La selezione di questa opzione per un compito dinamico conta come un cambiamento di risposta valido, attivando la ricompensa di equivarianza senza richiedere etichette di verità fondamentale controfattuali esplicite.

3. Contributi Chiave

1. Framework CRPO: Una semplice estensione RL a doppio ramo che utilizza Ricompense Relazionali Controfattuali per imporre la sensibilità spazio-temporale. Addestra su entrambi i rami originale e controfattuale, scoraggiando l'affidamento alle scorciatoie senza bisogno di costose annotazioni spazio-temporali o etichette controfattuali.
2. DyBench: Un nuovo benchmark accoppiato controfattuale composto da 3.014 video (1.507 coppie) che copre tre sottocompiti: Dinamiche Reversibili (ad esempio, sbocciare vs. chiudersi), Direzione di Movimento e Sequenza di Eventi.
3. Metrica di Valutazione Rigorosa: L'introduzione dell'Accuratezza di Coppia (P-Acc), che conta una coppia come corretta solo se entrambi i video originale e controfattuale sono risposti correttamente. Questa metrica previene che i modelli gonfino i punteggi utilizzando scorciatoie a risposta fissa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui backbones Qwen3-VL-4B e Qwen3-VL-8B, confrontando CRPO con GRPO standard, T-GRPO e ArrowRL.

• Sensibilità Spazio-Temporale: CRPO supera significativamente tutti i baseline su benchmark sensibili allo spazio-tempo. Su Qwen3-VL-8B, CRPO migliora l'Accuratezza di Coppia (P-Acc) su DyBench di +7.7 e l'Accuratezza Istantanea (I-Acc) su TimeBlind di +8.2 rispetto al modello base. I guadagni sulle metriche accoppiate (P-Acc) sono sproporzionatamente più grandi rispetto all'accuratezza standard, indicando una genuina riduzione dell'affidamento alle scorciatoie.
• Prestazioni Generali: CRPO mantiene prestazioni competitive su benchmark generali di comprensione video (VideoMME, MVBench), dimostrando che l'imposizione della sensibilità spazio-temporale non degrada le capacità generali.
• Studi di Ablazione:
  • Rimuovere la ricompensa CRR inter-ramo o il ramo controfattuale stesso causa cali significativi nella P-Acc, confermando che il segnale relazionale e l'ottimizzazione a doppio ramo sono essenziali.
  • I guadagni di CRPO non possono essere attribuiti semplicemente all'aumento di dati o potenza di calcolo (rollout raddoppiati), poiché i controlli con dati/rollout raddoppiati non sono riusciti a eguagliare le prestazioni di CRPO sulle metriche accoppiate.
• Dinamiche di Addestramento: CRPO mostra una convergenza iniziale più lenta sulle ricompense di correttezza rispetto ai baseline, suggerendo che sopprime l'apprendimento precoce delle scorciatoie. Tuttavia, converge a un'accuratezza finale simile mantenendo una frazione inferiore di gruppi a vantaggio zero, indicando segnali di apprendimento più ricchi.

5. Significato e Affermazioni

Il paper afferma che CRPO offre un segnale di addestramento diretto per la sensibilità spazio-temporale che è difficile da soddisfare per le scorciatoie statiche. Ricompensando esplicitamente la relazione tra le risposte a video fattuali e controfattuali, CRPO costringe il modello a fondare il suo ragionamento sul contenuto dinamico del video piuttosto che su prior statiche.

Gli autori posizionano DyBench e la metrica Accuratezza di Coppia come strumenti diagnostici necessari per distinguere la genuina comprensione spazio-temporale dal successo basato su scorciatoie. Concludono che, sebbene CRPO migliori le prestazioni sui compiti dinamici, lo fa senza sacrificare la comprensione video generale, offrendo un passo verso Video LLM più sensibili a come gli stati visivi cambiano nel tempo. Il lavoro riconosce limitazioni, come la restrizione a semplici trasformazioni geometriche/temporali e il focus su video brevi, lasciando controfattuali semantici più complessi per ricerche future.