Structured Causal Video Reasoning via Multi-Objective Alignment

1. Il Problema: Il Divario Cognitivo nel Ragionamento Video

Le attuali Large Vision-Language Models (LVLM) per la comprensione video soffrono di un "divario cognitivo" rispetto alla percezione umana. Mentre gli esseri umani costruiscono una rappresentazione mentale strutturata di entità, azioni e relazioni temporali prima di dedurre conclusioni, i modelli esistenti tendono a basarsi su un ragionamento video non strutturato (spesso tramite Chain-of-Thought, CoT).

Questo approccio non strutturato presenta diverse criticità:

• Ridondanza e Rumore: Le informazioni visive critiche vengono spesso sepolte in descrizioni testuali verbose e non lineari.
• Debole Causalità: La causalità temporale è modellata in modo debole, portando a inferenze fragili.
• Deriva del Ragionamento: I modelli tendono a perdere il focus sulla query dell'utente, riducendo la dimensione temporale a semplici recuperi di frame isolati invece di analizzare le relazioni causali.
• Inefficienza: Il processo di ragionamento diventa inefficiente e difficile da verificare.

2. Metodologia: Il Paradigma "Structure-First"

Per colmare questo divario, gli autori propongono un nuovo paradigma che introduce una rappresentazione strutturata esplicita prima della fase di ragionamento.

A. Fatti Eventi Strutturati (Structured Event Facts)

Prima di generare una risposta, il modello deve sintetizzare uno schema ad alta densità chiamato Structured Event Facts. Questo include:

• Tempo, Persona, Azione Umana, Scena, Posizione della Camera.
• Una didascalia dell'evento causale.
  Questo strato funge da vincolo esplicito, ancorando il ragionamento successivo a evidenze verificabili e concise.

B. Pipeline di Addestramento in Quattro Stadi

Per addestrare efficacemente i modelli su questi fatti strutturati, viene proposta una pipeline di quattro fasi:

1. Facts Alignment (Stage 1): Il modello impara a estrarre e descrivere accuratamente i fatti visivi (persone, azioni, scene) da segmenti video.
2. Format Warm-Start (Stage 1.5): Il modello viene addestrato a rispettare rigorosamente il formato di output strutturato (tag <facts>, <thinking>, <answering>) per evitare allucinazioni strutturali.
3. Thinking Warm-Start (Stage 2): Il modello impara a ragionare causalmente basandosi sui fatti estratti. Il processo di pensiero è diviso in tre fasi:
   • Ricerca Globale e Localizzazione: Identificare i segmenti temporali rilevanti dai fatti.
   • Verifica Causale: Analizzare le relazioni antecedente-conseguente per validare la coerenza temporale.
   • Allineamento Finale: Garantire che l'intervallo temporale inferito sia contenuto coerentemente nell'attività osservata.
4. Post-training basato su RL (Stage 3): Allineamento finale tramite Reinforcement Learning.

C. CausalFact-60K

Per supportare questo approccio, gli autori hanno creato CausalFact-60K, un nuovo dataset di 60.000 campioni derivati da benchmark esistenti (come ActivityNet-Captions e Charades-STA). Il dataset è stato curato per includere annotazioni temporali precise e ragionamenti causali strutturati, filtrando i dati a bassa qualità e riempiendo i "gap" temporali non etichettati.

D. Multi-Objective Reinforcement Learning (MORL) e P-FAB

Durante la fase di RL, emerge un conflitto di obiettivi: massimizzare la completezza strutturale e la fedeltà causale spesso entra in conflitto con la lunghezza del ragionamento (vincoli di budget). Le strategie RL standard (come GRPO) falliscono nel bilanciare questi obiettivi multipli, portando a instabilità.

Per risolvere ciò, gli autori introducono P-FAB (Pareto-Frontier guided Advantage Balancing):

• Invece di sommare i reward in un singolo scalare, P-FAB tratta ogni componente del reward come un obiettivo indipendente.
• Utilizza l'algoritmo Multiple Gradient Descent (MGDA) per trovare una direzione di aggiornamento comune che si avvicina al Fronte di Pareto.
• Questo permette di bilanciare dinamicamente i trade-off (es. completezza vs. lunghezza) senza oscurare i compromessi critici, garantendo che obiettivi rari ma cruciali non vengano sopraffatti da obiettivi più facili.

3. Risultati Sperimentali

Il modello risultante, denominato Factum-4B (basato su Qwen3-VL-4B), è stato valutato su benchmark di riferimento per il grounding temporale e la comprensione video generale.

• Grounding Temporale: Factum-4B stabilisce un nuovo stato dell'arte (SOTA) tra i modelli open-source. Su ActivityNet-Captions, raggiunge un R1@0.5 del 48.4% e un R1@0.7 del 28.1%, superando modelli più grandi (7B) e basati su ragionamento non strutturato.
• Comprensione Generale: Su VideoMME e MLVU, il modello dimostra prestazioni superiori nel ragionamento temporale e nella comprensione egocentrica, superando anche modelli proprietari come GPT-4o in compiti specifici pesanti sul tempo.
• Ablation Study: Gli esperimenti dimostrano che rimuovere i "Facts" o il processo di "Thinking" strutturato porta a un crollo delle prestazioni, confermando che entrambi sono essenziali. Inoltre, l'uso di P-FAB supera significativamente l'uso standard di GRPO, specialmente con gruppi di generazione più ampi.

4. Contributi Chiave

1. Identificazione del limite del CoT non strutturato: Dimostrazione empirica che il ragionamento video non strutturato porta a deriva e scarsa causalità.
2. CausalFact-60K: Creazione di un dataset massivo e curato per l'addestramento di fatti strutturati e ragionamento causale.
3. Algoritmo P-FAB: Introduzione di un metodo di ottimizzazione multi-obiettivo basato sul Fronte di Pareto per risolvere conflitti di reward nel RL, superando le limitazioni delle strategie di pesatura statica.
4. Factum-4B: Un modello compatto (4B) che, grazie alla struttura "Facts-First" e all'ottimizzazione P-FAB, supera modelli molto più grandi in compiti di inferenza temporale fine.

5. Significato e Impatto

Questo lavoro propone un cambio di paradigma fondamentale: invece di lasciare che il modello "pensi" liberamente su dati video caotici, impone una struttura cognitiva preliminare che simula la percezione umana degli eventi.
L'introduzione di P-FAB offre una soluzione tecnica robusta al problema dell'ottimizzazione multi-obiettivo nel RL per LLM, un problema trascurato ma critico per applicazioni complesse.
In sintesi, il paper dimostra che la strutturazione esplicita delle evidenze e il bilanciamento dinamico degli obiettivi sono la chiave per ottenere ragionamenti video affidabili, interpretabili e causalmente fondati, aprendo la strada a sistemi di ragionamento video scalabili e basati su prove concrete.