Riepilogo Tecnico: Aurora – Modifica Video Unificata con un Agente che Utilizza Strumenti

1. Enunciato del Problema

I recenti modelli unificati per la modifica video hanno convergito su un design in cui un singolo trasformatore di diffusione consuma congiuntamente istruzioni testuali, video sorgente e immagini di riferimento (o maschere) per eseguire compiti diversificati come sostituzione, rimozione, trasferimento di stile e inserimento. Sebbene flessibile, questa architettura presuppone che gli utenti forniscano input di condizionamento pronti per il modello: testo preciso, immagini di riferimento specifiche per pattern visivi e maschere spaziali per modifiche localizzate.

Nella pratica, le richieste grezze degli utenti soffrono spesso di sottospecificazione lungo due assi:

1. Sottospecificazione Visiva: L'utente nomina un'entità o un pattern specifico (ad esempio, "una sciarpa a quadri Burberry" o "La grande onda di Kanagawa") ma non fornisce alcuna immagine di riferimento.
2. Sottospecificazione Testuale: La modifica è descritta indirettamente (ad esempio, "cambia l'oggetto blu in un veicolo che corre molto più velocemente"), richiedendo al modello di inferire obiettivi concreti.

I modelli unificati attuali mancano del meccanismo per inferire, ancorare o colmare queste condizioni mancanti prima dell'inizio della generazione. Ciò crea un divario tra i ricchi canali di condizionamento disponibili per il modello e le informazioni incomplete fornite dall'utente.

2. Metodologia: Il Framework Aurora

Aurora colma questo divario disaccoppiando la costruzione delle condizioni dalla generazione video. Introduce un framework agentic che accoppia un agente VLM (Vision-Language Model) potenziato da strumenti con un trasformatore di diffusione video unificato (DiT).

2.1 L'Agente VLM (Costruzione delle Condizioni)

L'agente, implementato come Qwen3-VL-8B-Instruct fine-tunato con LoRA, funge da pre-processore. Prende in input un video sorgente ($V_{src}$), un'istruzione grezza dell'utente ($y$) e riferimenti opzionali dell'utente ($R$) per generare un piano di modifica strutturato:
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
Dove:

• $y'$ (Istruzione Riscritta): Un'istruzione standardizzata e pronta per il modello che risolve la sottospecificazione testuale.
• $c$ (Etichetta del Compito): Un tipo di modifica canonico (ad esempio, replace_object, remove_object) utilizzato per l'instradamento.
• $q$ (Query di Ricerca Immagini): Una query opzionale per attivare uno strumento di ricerca immagini web (tramite API Serper) se manca un'immagine di riferimento.
• $m$ (Frase Maschera): Una frase opzionale per attivare uno strumento di segmentazione (GroundingDINO + SAM) se manca l'ancoraggio spaziale.

Esecuzione degli Strumenti:
Se $q$ o $m$ non sono vuote, l'agente invoca strumenti esterni:

• Ricerca Immagini: Recupera immagini candidate e seleziona quella più rilevante.
• Segmentazione: Genera una maschera per la regione target e la composita sul video sorgente.

L'output finale è una tupla di condizionamento unificata $\mathbf{x} = (y', V_{src}, R^+)$, dove $R^+$ include i riferimenti originali dell'utente più eventuali immagini recuperate o immagini mascherate. L'etichetta del compito $c$ è utilizzata durante la pianificazione ma non viene inviata al modello video.

2.2 Il Video DiT (Generazione Video)

Il backbone di generazione video è un Diffusion Transformer (DiT) unificato basato su Wan2.2-TI2V-5B. Consuma la tupla di condizionamento $\mathbf{x}$ attraverso due percorsi:

1. Percorso Contesto Multimodale: Un encoder Qwen3.5-4B congelato elabora l'istruzione riscritta ($y'$), i frame sorgente campionati e le immagini di riferimento ($R^+$) in un contesto multimodale condiviso ($T_{ctx}$) per l'attenzione incrociata.
2. Percorso Token Latenti: I token video rumorosi, i token sorgente e i token di riferimento sono concatenati lungo la dimensione della sequenza di token.
   • Modulazione a Tempo Zero: Per preservare i contenuti non modificati e l'identità di riferimento, i token sorgente e di riferimento sono modulati con un embedding a tempo zero ($a(0)$), mentre i token rumorosi seguono la traiettoria standard di flow-matching ($a(t)$). Ciò garantisce che i token di condizionamento rimangano fissi mentre il video viene denoised.

2.3 Obiettivi di Addestramento

• Video DiT: Addestrato con flow matching su una miscela di dati di modifica immagini, modifica video basata su istruzioni e modifica video guidata da riferimento. Impara a gestire in modo uniforme riferimenti vuoti, forniti dall'utente e recuperati tramite strumenti.
• Agente VLM:
  • Fine-Tuning Supervisionato (SFT): Addestrato su 25k esempi di pianificazione e 10k esempi di selezione immagini di riferimento. L'obiettivo è il piano completo a 4 campi, insegnando all'agente a riscrivere le istruzioni, instradare i compiti e selezionare gli strumenti.
  • Allineamento delle Preferenze (DPO): Addestrato su 1.8k coppie di preferenze per risolvere casi limite (ad esempio, attivazioni false della ricerca immagini, frasi maschera ambigue, riscritture che perdono vincoli). Questo affina i confini decisionali senza mescolare la varianza del campionamento video nell'obiettivo di apprendimento.

3. Contributi Chiave

1. Framework Aurora: Un sistema di modifica video agentic che mappa richieste grezze e sottospecificate su tuple di condizionamento complete e pronte per il modello utilizzando un agente VLM potenziato da strumenti.
2. AgentEdit-Bench: Un nuovo benchmark progettato specificamente per valutare la modifica video in condizioni di sottospecificazione testuale e visiva. Contiene 150 casi su cinque tipi di compiti (sostituzione IP, aggiunta IP, cambio sfondo IP, ragionamento e rimozione) in cui la richiesta grezza omette condizioni necessarie.
3. Dati di Addestramento e Allineamento: Una pipeline di costruzione del dataset per la pianificazione dell'agente VLM e la selezione dei riferimenti, combinata con un allineamento delle preferenze basato su DPO per gestire i casi limite nell'attivazione degli strumenti e nella riscrittura delle istruzioni.
4. Trasferibilità del Modello: Dimostrazione che l'agente VLM Aurora può essere accoppiato con modelli unificati di modifica video esistenti e congelati (ad esempio, UniVideo, Kiwi-Edit) per migliorare le loro prestazioni su richieste sottospecificate.

4. Risultati Sperimentali

• Prestazioni su AgentEdit-Bench:
  • Il solo video DiT di Aurora (senza l'agente) ottiene un punteggio di 74.7, superando UniVideo (67.0) e Kiwi-Edit (69.7) su prompt grezzi.
  • L'aggiunta dell'agente VLM aumenta il punteggio a 87.9. I guadagni sono più significativi nei compiti IP (sostituzione e aggiunta), dove l'agente recupera con successo le immagini di riferimento mancanti.
  • Gli studi di ablazione mostrano che l'SFT contribuisce per la maggior parte del guadagno (85.0), mentre il DPO aggiunge ulteriore raffinamento (87.9) correggendo errori ai confini.
• Prestazioni su Benchmark Esistenti (EditVerse-Bench, OpenVE-Bench):
  • Su benchmark con input ben specificati, Aurora ottiene risultati all'avanguardia tra i metodi open-source (7.61 su EditVerse-Bench, 3.38 su OpenVE-Bench), colmando la maggior parte del divario con la baseline closed-source Runway Aleph.
  • Anche quando gli strumenti sono disabilitati (avviene solo la riscrittura delle istruzioni), l'agente migliora le prestazioni, indicando il valore del raffinamento delle istruzioni.
• Trasferibilità:
  • Quando l'agente VLM Aurora è accoppiato con versioni congelate di UniVideo e Kiwi-Edit, migliora costantemente i loro punteggi sia su AgentEdit-Bench che sui benchmark esistenti, dimostrando che l'utilità dell'agente è indipendente dal modello.

5. Significato e Limitazioni

Significato:
Il documento sostiene che i progressi nella modifica video dipendono non solo da DiT video più potenti, ma anche dalla traduzione affidabile delle richieste grezze degli utenti in condizioni pronte per il modello. Aurora dimostra che un livello agentic può risolvere efficacemente la sottospecificazione, permettendo ai modelli unificati di gestire input utente reali e incompleti senza richiedere che il modello video stesso venga riaddestrato per ogni nuovo strumento o condizione.

Limitazioni:

• Paradigma di Addestramento: L'agente VLM è allineato tramite DPO offline. Gli autori notano che l'RL online (ad esempio, GRPO) sull'intera pipeline, utilizzando il clip finale modificato come segnale di ricompensa, è attualmente impraticabile a causa dei vincoli computazionali.
• Complessità del Movimento: Il DiT video da 5B gestisce in modo affidabile la rimozione, la stilizzazione e l'inserimento di oggetti con movimento limitato. Tuttavia, aggiungere nuovi soggetti con movimenti ampi e fisicamente plausibili rimane difficile, attribuito sia alla capacità del backbone che alla scarsità di tali casi nei dati di addestramento.

Impatto Più Ampio:
Gli autori riconoscono i rischi relativi alla manipolazione non consensuale dell'identità e alle questioni di copyright derivanti dallo strumento di ricerca immagini web, posizionando Aurora come uno strumento creativo piuttosto che come uno strumento per la produzione di prove.