Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un video di te stesso che cammina in un parco. Vuoi cambiare lo sfondo in una spiaggia tropicale, o magari sostituire la tua maglietta rossa con una giacca di pelle nera, oppure aggiungere un cappello da cowboy alla tua testa. Fino a oggi, farlo richiedeva ore di lavoro a un editor video esperto o era quasi impossibile da fare con un semplice comando di testo.

Il paper "Kiwi-Edit" (dallo Show Lab dell'Università Nazionale di Singapore) è come un nuovo super-eroe per l'editing video che risolve questi problemi. Ecco come funziona, spiegato in modo semplice:

1. Il Problema: "Parole vs. Immagini"

Fino a ora, i computer capivano bene le istruzioni scritte (es. "cambia lo sfondo"), ma erano pessimi nel capire i dettagli visivi precisi.

L'analogia: È come se tu dicessi a un pittore: "Dipimi un cane". Lui potrebbe dipingere un cane, ma non saprebbe quale cane vuoi (il tuo barboncino? Un bulldog? Un cane con le lentiggini?). Le parole sono ambigue.
La soluzione: Gli utenti vorrebbero dire: "Cambia lo sfondo con questa foto specifica che ho qui". Ma i computer faticavano a imparare questo perché mancavano i "libri di testo" (i dati) per insegnar loro a farlo.

2. La Soluzione Magica: Costruire una "Biblioteca" di Esempi

Il team ha capito che non potevano aspettare che qualcuno creasse manualmente milioni di esempi (sarebbe costato una fortuna e ci vorrebbe un secolo).

L'analogia: Immagina di voler insegnare a un cuoco a fare un piatto specifico, ma non hai le ricette. Invece di scriverle a mano, prendi milioni di video esistenti, guardi cosa è cambiato, e usi un'intelligenza artificiale avanzata per "inventare" la foto di riferimento che avrebbe potuto ispirare quel cambiamento.
Cosa hanno fatto: Hanno creato un processo automatico che prende vecchi video, guarda le modifiche fatte, e genera una "foto di riferimento" perfetta. Hanno così creato RefVIE, una gigantesca biblioteca di 477.000 esempi (un "quadruplo" di dati: video originale + istruzione + foto di riferimento + video finale). È la prima volta che una risorsa così grande è aperta a tutti.

3. Il Cervello del Sistema: "Kiwi-Edit"

Con questa biblioteca, hanno addestrato un nuovo modello chiamato Kiwi-Edit.

Come funziona: Immagina Kiwi-Edit come un regista molto attento che ha due assistenti:
1. L'Assistente che legge: Capisce cosa vuoi dire (l'istruzione testuale).
2. L'Assistente che guarda: Analizza la foto di riferimento che hai caricato per capire esattamente come deve apparire l'oggetto o lo sfondo.
La magia: Il modello unisce queste due informazioni. Non si limita a "indovinare" come deve essere il nuovo oggetto, ma lo "copia" visivamente dalla tua foto di riferimento, mantenendo però il movimento e la struttura del video originale. È come se avesse un adesivo magico che si adatta perfettamente al movimento del video.

4. L'Allenamento: Imparare a Tre Livelli

Non hanno addestrato il modello tutto in una volta, perché sarebbe stato confuso. Hanno usato un metodo a tre livelli (come la scuola):

Scuola Elementare: Impara a collegare le parole alle immagini (solo testo e video).
Scuola Media: Impara a fare modifiche semplici (cancellare oggetti, cambiare colori) su video.
Scuola Superiore: Impara a usare le foto di riferimento per fare modifiche precise e dettagliate.

Perché è importante?

Prima, se volevi cambiare un oggetto in un video basandoti su una foto specifica, dovevi pagare un'azienda privata o usare software complessi.
Kiwi-Edit rende questa tecnologia:

Open Source: Tutti possono scaricarla e usarla.
Precisa: Se mostri una foto di un cappello, il cappello nel video sarà quello cappello, non un cappello generico.
Versatile: Funziona sia per cambiare sfondi che per aggiungere o rimuovere persone e oggetti.

In sintesi: Kiwi-Edit è come dare a chiunque uno strumento magico che dice: "Guarda questa foto, guarda questo video, e fai diventare il video uguale alla foto dove serve". È un passo enorme per rendere la creazione di video accessibile a tutti, trasformando la tua immaginazione (e le tue foto) in realtà video in pochi secondi.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

L'editing video basato su istruzioni testuali ha fatto progressi significativi, ma soffre di limitazioni intrinseche: il linguaggio naturale è ambiguo quando si tratta di descrivere dettagli visivi precisi (texture, identità esatta di un oggetto, sfumature stilistiche). Gli utenti spesso desiderano comunicare la propria intenzione tramite esempi visivi (es. "sostituisci l'auto con questa auto sportiva"), ma i modelli attuali basati solo sul testo faticano a interpretare tali riferimenti.

Sebbene l'editing guidato da riferimenti visivi offra una soluzione, il suo sviluppo è bloccato dalla scarsità di dati di addestramento. Creare dataset su larga scala che includano quadrupli di alta qualità (Video Sorgente, Istruzione Testuale, Immagine di Riferimento, Video Target) richiede un'annotazione manuale costosa e complessa. I dataset esistenti sono o privi di immagini di riferimento o sono proprietari e non accessibili alla comunità di ricerca.

2. Metodologia

Il lavoro propone un approccio completo che combina la generazione di dati scalabile con una nuova architettura di modello unificato.

A. Pipeline di Generazione Dati Scalabile (RefVIE)

Per superare la carenza di dati, gli autori hanno sviluppato una pipeline automatizzata per trasformare dataset esistenti di editing video (basati solo su testo) in quadrupli completi con riferimenti visivi:

Aggregazione e Filtraggio: Partono da 3,7 milioni di campioni da dataset open-source (Ditto, ReCo, OpenVE). Vengono filtrati utilizzando EditScore per garantire alta qualità, selezionando compiti di modifica locale o sostituzione dello sfondo.
Grounding e Segmentazione: Utilizzano modelli VLM (Qwen3-VL) per identificare le regioni di interesse nel video target e modelli di segmentazione (SAM3) per creare maschere pixel-perfect.
Sintesi dell'Immagine di Riferimento: Sfruttano modelli di editing immagini avanzati (Qwen-Image-Edit) per generare l'immagine di riferimento.
- Per il cambio sfondo: rimuovono l'oggetto in primo piano e ricostruiscono lo sfondo pulito.
- Per la modifica locale: estraggono l'oggetto target e lo posizionano su uno sfondo pulito per evidenziarne l'aspetto.
Controllo Qualità: Un MLLM verifica la coerenza semantica tra l'immagine generata e l'istruzione, mentre tecniche di deduplicazione (basate su CLIP) rimuovono i duplicati.
- Risultato: Il dataset RefVIE, contenente 477.000 quadrupli di alta qualità, il primo dataset open-source su larga scala per l'editing video guidato da istruzioni e riferimenti.

B. Architettura del Modello (Kiwi-Edit)

Kiwi-Edit è un framework unificato che integra un Large Multimodal Model (MLLM) con un Diffusion Transformer (DiT):

Condizionamento Semantico (MLLM): Utilizza un MLLM congelato (Qwen2.5-VL) con adattatori LoRA. Processa sequenze intercalate di frame video, testo e immagini di riferimento.
- Query Connector: Proietta token di query apprendibili per estrarre l'intento editoriale dal testo.
- Latent Connector: Estrae e proietta le caratteristiche visive dall'immagine di riferimento.
- Questi output formano token di contesto unificati per guidare il DiT tramite meccanismi di cross-attention.
Condizionamento Strutturale (Hybrid Latent Injection): Per preservare la struttura spaziale e temporale del video sorgente senza perdere la capacità di editing:
- Iniezione Elementare: Le latenti del video sorgente vengono aggiunte element-wise alle latenti rumorose, modulate da uno scalare dipendente dal timestep ( $\gamma(t)$ ). Questo preserva la struttura.
- Concatenazione Sequenziale: Le caratteristiche dell'immagine di riferimento vengono concatenate alla sequenza di input, permettendo al modello di "copiare" texture e dettagli fini direttamente dal riferimento.
Curriculum di Addestramento: Una strategia a tre stadi per garantire la convergenza stabile:
1. Allineamento MLLM-DiT (solo connettori e query).
2. Tuning Istruzionale (su dati testo-video).
3. Fine-tuning Guidato da Riferimento (su RefVIE).

C. Benchmark (RefVIE-Bench)

È stato creato un benchmark di 110 campioni verificati manualmente per valutare:

Coerenza dell'identità e del soggetto.
Fedeltà temporale e integrazione fisica (ombre, tracking).
Qualità del matting e armonia visiva per i cambi di sfondo.
La valutazione viene effettuata tramite un MLLM (Gemini) come giudice automatizzato.

3. Risultati Chiave

Prestazioni SOTA: Kiwi-Edit stabilisce nuovi stati dell'arte nell'editing video controllabile. Sul benchmark OpenVE-Bench, supera tutti i modelli open-source esistenti (come OpenVE-Edit, VACE, Ditto) e compete con modelli proprietari chiusi come Runway Aleph.
Superiorità nell'Editing Guidato da Riferimento: Su RefVIE-Bench, il modello addestrato su RefVIE ottiene un punteggio complessivo di 3.31, superando Runway Aleph (3.29) e mostrando prestazioni competitive in termini di coerenza dell'identità (3.98) e similarità con il riferimento (3.72).
Ablation Studies: Gli esperimenti confermano che:
- L'iniezione elementare con scalare temporale è cruciale per la stabilità strutturale.
- L'addestramento su dati immagine (Stage 1) è essenziale per il controllo spaziale fine.
- L'uso congiunto di Query e Latent Connector è necessario per combinare intenti ad alto livello con dettagli visivi densi.

4. Contributi Principali

RefVIE Dataset: La creazione del primo dataset open-source su larga scala (477K campioni) per l'editing video guidato da istruzioni e riferimenti visivi, reso possibile da una pipeline di sintesi automatizzata.
Kiwi-Edit Architecture: Un'architettura unificata innovativa che combina MLLM e DiT con meccanismi di connessione duale (Query e Latent) e una strategia di iniezione ibrida per bilanciare fedeltà al riferimento e coerenza temporale.
RefVIE-Bench: Un benchmark rigoroso e manuale per valutare specificamente l'aderenza ai riferimenti visivi, un aspetto spesso trascurato nelle valutazioni precedenti.

5. Significato e Impatto

Questo lavoro risolve il collo di bottiglia fondamentale nella ricerca sull'editing video: la mancanza di dati di addestramento di alta qualità per compiti multimodali complessi. Dimostrando che è possibile generare dati sintetici di alta fedeltà tramite pipeline automatizzate, Kiwi-Edit democratizza l'accesso a capacità di editing video avanzate, permettendo agli utenti di controllare con precisione non solo cosa modificare, ma come farlo visivamente. L'approccio basato sui dati e l'architettura proposta pongono le basi per strumenti di creazione di contenuti video più controllabili, accessibili e di alta qualità per la comunità di ricerca e l'industria.