VideoCoF: Unified Video Editing with Temporal Reasoner

1. Il Problema

Le attuali metodologie per l'editing video si trovano di fronte a un compromesso critico (trade-off):

• Modelli "Expert" (Specializzati): Offrono alta precisione e controllo locale, ma richiedono input specifici come maschere fornite dall'utente e sono limitati a compiti specifici (es. solo rimozione o solo aggiunta), rendendo difficile la creazione di un modello unificato.
• Modelli Unificati (In-Context Learning): Sono privi di maschere e possono gestire diversi compiti, ma spesso mancano di segnali spaziali espliciti. Questo porta a una mappatura debole tra l'istruzione testuale e la regione video da modificare, risultando in localizzazioni imprecise e difficoltà nel riconoscere istanze multiple (es. distinguere tra due persone simili).

L'obiettivo è mantenere la precisione dei modelli esperti e la flessibilità di quelli unificati, eliminando la dipendenza dalle maschere fornite dall'utente.

2. Metodologia: VideoCoF

Il paper propone VideoCoF, un approccio innovativo basato sul concetto di "Chain of Frames" (CoF), ispirato al ragionamento a catena (Chain-of-Thought) utilizzato nei Large Language Models (LLM).

Il Paradigma "See → Reason → Edit"

Invece di generare direttamente il video modificato, il modello è costretto a seguire una procedura in tre fasi:

1. See (Vedere): Il modello riceve il video sorgente.
2. Reason (Ragionare): Prima di generare il contenuto finale, il modello deve predire un "token di ragionamento" (o frame di ragionamento). Questo frame è una rappresentazione latente che evidenzia visivamente la regione da modificare (grounding).
   • Formato del ragionamento: Invece di maschere binarie (bianco/nero) che i modelli diffusion faticano a interpretare, viene utilizzato un evidenziatore grigio semi-trasparente che si evolve progressivamente. Questo insegna al modello a "capire" dove agire.
3. Edit (Modificare): Solo dopo aver generato il frame di ragionamento, il modello procede a generare il video target modificato all'interno della regione identificata.

Architettura e Allineamento Temporale (RoPE)

• Concatenazione Temporale: Il video sorgente, il frame di ragionamento e il video target vengono concatenati temporalmente e processati da un Video Diffusion Transformer (VideoDiT).
• Strategia RoPE (Rotary Position Embedding): Per permettere l'estrapolazione della lunghezza (generare video più lunghi di quelli su cui è stato addestrato) e garantire l'allineamento del movimento, gli autori introducono una strategia di allineamento degli indici temporali:
  • Gli indici del video sorgente e del video target sono impostati su un intervallo [1, F].
  • Il frame di ragionamento ha un indice fisso a 0.
  • Questa separazione evita collisioni di indici che causerebbero artefatti visivi e garantisce che il movimento del video originale venga preservato correttamente anche in video molto lunghi.

Curazione dei Dati

Il modello è stato addestrato su un dataset di 50.000 coppie video (molto meno rispetto ai milioni usati da altri modelli SOTA). Il dataset è stato creato tramite una pipeline automatizzata che utilizza:

• Qwen-VL per l'identificazione di istanze multiple.
• Grounding-SAM2 per la segmentazione precisa.
• VACE-14B e Minimax-Remover per generare le triple (sorgente, ragionamento, target) per compiti di aggiunta, rimozione, scambio e trasferimento di stile locale.

3. Contributi Chiave

1. Chain of Frames (CoF): Il primo framework che introduce un approccio di ragionamento esplicito ("predire la regione prima di modificare") nell'editing video unificato, eliminando la necessità di maschere manuali.
2. Strategia RoPE per l'Estrapolazione: Un nuovo schema di posizionamento temporale che risolve il problema della collisione degli indici, permettendo al modello di generalizzare su video fino a 16 volte più lunghi rispetto alla durata di addestramento (es. da 33 a 513+ frame) mantenendo la coerenza del movimento.
3. VideoCoF-Bench: Un nuovo benchmark creato per valutare l'editing video a livello di istanza (multi-oggetto, posizioni relative come "sinistra/destra"), superando i limiti dei benchmark esistenti focalizzati su scambi di oggetti generici.
4. Efficienza dei Dati: Dimostrazione che un modello addestrato su soli 50k video può superare modelli pre-addestrati su 1M+ video.

4. Risultati Sperimentali

Il modello è stato valutato su VideoCoF-Bench e confrontato con lo stato dell'arte (SOTA) come ICVE, VACE, LucyEdit e altri.

• Prestazioni Quantitative: VideoCoF ottiene il punteggio più alto in Instruction Following (+15.14% rispetto al baseline ICVE) e Success Ratio (+18.6%), pur utilizzando un dataset di addestramento 20 volte più piccolo (50k vs 1.15M).
• Prestazioni Qualitative:
  • Rimozione Multi-istanza: Riesce a rimuovere l'oggetto corretto (es. "la donna a destra") senza toccare quelli simili, dove i modelli basati su in-context learning falliscono spesso.
  • Aggiunta e Scambio: Posiziona gli oggetti aggiunti correttamente nello spazio e nel tempo, rispettando le interazioni fisiche.
  • Estensione della Lunghezza: Il modello mantiene la coerenza temporale e il movimento fluido anche quando genera video estremamente lunghi (fino a 141-513 frame), mentre i metodi naive mostrano sfocature e disallineamenti.
• Ablation Study: Le prove dimostrano che la rimozione del "frame di ragionamento" o l'uso di un design RoPE non ottimizzato degrada drasticamente le prestazioni, confermando l'importanza di entrambi i componenti.

5. Significato e Impatto

VideoCoF rappresenta un passo avanti significativo nel campo dell'editing video generativo:

• Unificazione senza compromessi: Risolve il dilemma tra precisione e flessibilità, dimostrando che il ragionamento esplicito può sostituire la necessità di maschere manuali.
• Efficienza: Sposta il paradigma verso modelli che richiedono meno dati di addestramento ma più capacità di ragionamento strutturato.
• Scalabilità Temporale: La capacità di estrapolare la lunghezza del video apre nuove possibilità per la creazione di contenuti video lunghi e coerenti, un limite storico per i modelli diffusion video.
• Accessibilità: Rendendo l'editing video basato su istruzioni testuali più robusto e preciso, il lavoro facilita l'uso di queste tecnologie per applicazioni creative complesse senza richiedere competenze tecniche avanzate nella creazione di maschere.

In sintesi, VideoCoF introduce un nuovo standard per l'editing video unificato, trasformando il processo da una semplice generazione condizionata a un compito di ragionamento spaziale e temporale guidato.