Riepilogo Tecnico: CaC – Avanzamento dei Modelli di Ricompensa Video tramite Concentrazione Spaziotemporale Gerarchica

Enunciato del Problema

I recenti modelli di generazione video hanno raggiunto progressi significativi nella fedeltà visiva globale. Tuttavia, quando sintetizzano contenuti dinamici complessi, producono frequentemente anomalie sparse e sottili (ad esempio, distorsioni strutturali, violazioni delle leggi fisiche, incoerenze temporali e testo corrotto) che sono spesso localizzate in piccole regioni o brevi finestre temporali. I modelli di ricompensa video esistenti enfatizzano principalmente la qualità visiva complessiva e l'allineamento al testo; man mano che la qualità di generazione migliora, questi difetti a grana grossa diventano meno frequenti, lasciando le anomalie strutturali e temporali sparse come un collo di bottiglia critico. I modelli attuali faticano a isolare questi deboli segnali di anomalia da enormi quantità di contesto normale a causa della mancanza di una percezione spaziotemporale a grana fine, risultando spesso in un ragionamento a livello di video globale che trascura allucinazioni sottili.

Metodologia

Il documento propone CaC (Concentrate and Concentrate), un modello di ricompensa basato su un Modello Visivo-Linguistico (VLM) progettato per rilevare e localizzare queste anomalie sparse attraverso una strategia gerarchica a due turni, da grana grossa a grana fine.

1. Costruzione del Dataset

Per addestrare e valutare il modello, gli autori hanno costruito il primo dataset su larga scala per anomalie sparse in video generati (~30K video). Le caratteristiche chiave includono:

• Annotazioni a grana fine: Bounding box per ogni fotogramma, finestre temporali di anomalia, tipi di anomalia e motivi di attribuzione.
• Tassonomia delle Anomalie: Copre anomalie riconoscibili in un singolo fotogramma (distorsione di oggetti/umani) e anomalie multi-fotogramma (anomalie di movimento, violazioni fisiche, anomalie dei personaggi).
• Sintesi CoT: Una pipeline che combina la labeling umana esperta con la sintesi della Catena di Pensiero (CoT) basata su VLM, utilizzando un processo di generazione-verifica per garantire dati di ragionamento di alta qualità.

2. Addestramento Progressivo in Tre Fasi

CaC impiega un paradigma di addestramento in tre fasi per costruire capacità di concentrazione gerarchica:

• Fase 1 (Riscaldamento a Singolo Fotogramma): Il modello impara a riconoscere e localizzare anomalie da fotogrammi anomali estratti, stabilendo una mappatura da indizi visivi a grounding spaziale e attribuzione di anomalia.
• Fase 2 (SFT Multi-fotogramma): Il modello viene addestrato sia su video globali campionati uniformemente (per la scansione temporale) sia su clip campionate densamente (per la localizzazione spaziale). Questa fase ottimizza congiuntamente la scansione temporale globale e il grounding spaziale a grana fine, preparando il modello al formato di interazione a due turni.
• Fase 3 (GRPO a Due Turni): Il modello viene ottimizzato utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) con una strategia di inferenza a due turni:
  • Turno 1: Scansione temporale globale su una sequenza di fotogrammi sparsa (4 fps) per ancorare la finestra temporale anomala.
  • Turno 2: Grounding spaziale a grana fine su una clip campionata densamente (8 fps) estratta dalla finestra prevista per confermare le anomalie ed emettere bounding box.
  • Meccanismo di Ricompensa: Oltre alla precisione standard, gli autori introducono ricompense IoU Temporale, IoU Spaziale e IoU di Attribuzione. Queste ricompense di processo supervisionano i passaggi intermedi di localizzazione, guidando il modello verso un ragionamento spaziotemporale fondato e interpretabile. Viene applicato un fattore di sconto della salienza per gestire difficoltà di riconoscimento variabili.

3. Strategia di Inferenza

Il processo di inferenza riflette la strategia di addestramento:

1. Scansione Globale: Il video in input viene sottocampionato (4 fps) e analizzato per rilevare anomalie e prevedere una finestra temporale.
2. Concentrazione Locale: La finestra prevista viene ritagliata e risampolata densamente (8 fps). Il modello esegue un ragionamento spaziale a grana fine su questa clip per confermare l'anomalia ed emettere bounding box specifici.
3. Decisione: Se il secondo turno non conferma l'anomalia, il video viene classificato conservativamente come normale.

Contributi Chiave

1. Dataset: Costruzione del primo dataset su larga scala per anomalie sparse in video generati, caratterizzato da bounding box per ogni fotogramma, finestre temporali e etichette di attribuzione a grana fine per supportare la sintesi CoT di alta qualità e segnali di ricompensa verificabili.
2. Architettura del Modello: Proposta di CaC, un modello di ricompensa a due turni da grana grossa a grana fine che utilizza il focus spaziotemporale gerarchico per rilevare anomalie sottili, convertendo giudizi strutturati in feedback di ricompensa azionabili.
3. Paradigma di Addestramento: Sviluppo di una pipeline progressiva in tre fasi. In particolare, la fase RL introduce ricompense IoU Temporale, Spaziale e di Attribuzione per guidare il VLM verso un ragionamento CoT interpretabile sulle anomalie e giudizi stabili, andando oltre le semplici metriche di accuratezza.

Risultati

Esperimenti estesi dimostrano la superiorità di CaC nel rilevare anomalie sparse e nel migliorare la qualità della generazione video:

• Rilevamento Anomalie: Sul benchmark CaC-Bench-Main, CaC raggiunge un'accuratezza complessiva dell'81,7%, un miglioramento assoluto del 25,7% rispetto alla baseline più forte.
• Sensibilità alle Anomalie Sparse: Sulla partizione CaC-Bench-Hard (caratterizzata da anomalie di durata più breve ed estensione spaziale più ridotta), CaC supera le baseline con margini che vanno dal 14% al 38%, validando la sua efficacia su difetti altamente sparsi.
• Generalizzazione: CaC migliora l'accuratezza del 19,9% su un sottoinsieme derivato da Skyra esterno, dimostrando una generalizzazione fuori dominio.
• Allineamento Video: Quando utilizzato come segnale di ricompensa per la generazione video a valle (Wan-2.1-1.3B), CaC riduce il tasso di anomalie annotate dagli esperti dell'11,7% (dal 29,0% al 17,3%) migliorando al contempo la coerenza del soggetto e la qualità dell'immagine, senza sopprimere il movimento dinamico.

Significato e Affermazioni

Il documento afferma che CaC affronta efficacemente il problema della "diluzione dell'attenzione" causata dall'estrema sparsità delle anomalie video. Concentrandosi attivamente su fotogrammi e regioni anomali attraverso un processo di ragionamento strutturato e interpretabile, CaC fornisce giudizi più affidabili e fondati rispetto ai modelli di ricompensa globali o ai rilevatori esistenti. Gli autori affermano che questo approccio non solo avanza la valutazione dei video generati, ma fornisce anche feedback azionabili che migliorano direttamente la qualità dei modelli di generazione video riducendo le allucinazioni strutturali e temporali. Il lavoro sottolinea che, man mano che la generazione video matura, sono necessari modelli di ricompensa specializzati e a grana fine per affrontare le modalità di fallimento sottili rimanenti che gli evaluator olistici trascurano.