💻 computer science

VicEdit: Learning to Edit Videos from Visual In-Context Examples

Il documento presenta VicEdit, un framework unificato che fa progredire l'editing video sfruttando un nuovo dataset su larga scala (VicEdit-400K) e tecniche innovative come la Modality-Adaptive Semantic Distillation e la Dual-Context Injection per integrare efficacemente esempi visivi in contesto con istruzioni testuali per prestazioni di editing superiori.

Autori originali: Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Per anni, il sogno del montaggio video è stato semplicemente quello di dire a un computer cosa fare. Se volevi cambiare il colore di un'auto in una scena di un film o sostituire un cielo nuvoloso con un tramonto, potevi digitare una frase come "rendi il cielo arancione" e il software avrebbe fatto del suo meglio. Questo approccio, noto come editing basato su istruzioni, ha fatto progressi straordinari. Si basa su potenti modelli di intelligenza artificiale che comprendono il linguaggio e possono generare immagini e video da zero. Tuttavia, un problema fondamentale rimane: le parole sono spesso troppo vaghe per catturare l'aspetto e la sensazione specifica di una scena. Una descrizione testuale può dire "auto rossa", ma non può trasmettere facilmente l'esatta tonalità di rosso, il modo in cui la luce colpisce il metallo o il movimento specifico del veicolo. Quando un computer cerca di indovinare questi dettagli basandosi solo su una frase, il risultato appare spesso errato, con colori che sbiadiscono, oggetti che appaiono nel posto sbagliato o movimenti che sembrano rigidi e innaturali.

Per risolvere questo problema, i ricercatori hanno iniziato a esplorare un modo diverso di insegnare ai computer: mostrare loro degli esempi invece di limitarsi a dirglielo. Questo concetto, chiamato in-context learning, è simile al modo in cui un apprendista umano impara un mestiere. Invece di leggere un manuale su come dipingere una parete, l'apprendista osserva un maestro pittore applicare una specifica pennellata su una specifica superficie. Osservando la relazione tra la parete originale e il risultato finale, l'apprendista impara la tecnica precisa. Nel mondo del montaggio video, questo significa fornire al computer dei riferimenti visivi — come una singola immagine, una coppia di immagini che mostrano un prima e un dopo, o persino un breve clip video del cambiamento desiderato. La sfida è stata che nessun singolo sistema poteva gestire tutti questi diversi tipi di indizi visivi contemporaneamente, e non esisteva una vasta collezione di esempi per insegnare al sistema come usarli efficacemente.

Un team di ricercatori ha ora colmato questa lacuna con un nuovo sistema chiamato VicEdit. Il loro lavoro rappresenta un cambiamento significativo dal fare affidamento esclusivamente su descrizioni testuali all'uso di esempi visivi come guida primaria per l'editing. Per costruire questo sistema, il team ha prima creato una massiccia libreria di dati di addestramento. Hanno generato 400.000 esempi di alta qualità, un dataset che hanno chiamato VicEdit-400K. Questa collezione è unica perché copre dieci diversi tipi di compiti di editing, dal cambiare lo stile di un'intera scena all'aggiungere o rimuovere oggetti specifici. Fondamentalmente, ogni esempio in questa libreria è accoppiato con il tipo corretto di riferimento visivo: un'immagine singola per i cambiamenti di stile, una coppia di immagini per i cambiamenti spaziali, o una coppia di video per movimenti complessi. Questa vasta libreria ha permesso loro di insegnare al computer come interpretare gli indizi visivi con un livello di precisione che il testo da solo non potrebbe mai fornire.

Il cuore del loro nuovo sistema è un metodo che permette al computer di adattare la propria comprensione in base al tipo di indizio visivo ricevuto. Quando il computer vede un'immagine singola, impara a concentrarsi su texture e colori. Quando vede una coppia di immagini, impara a capire come gli oggetti si muovono da una posizione all'altra. Quando vede una coppia di video, impara a seguire il flusso del tempo e del movimento. I ricercatori hanno progettato un processo che estrae queste lezioni specifiche dagli esempi visivi e le combina con le istruzioni scritte. Ciò assicura che il computer non segua solo ciecamente il testo, ma utilizzi gli esempi visivi per ancorare i cambiamenti alla realtà. Ad esempio, se un utente chiede di trasformare una bottiglia d'acqua in una galassia luminosa, il testo fornisce l'idea, ma un esempio visivo di una galassia luminosa assicura che il computer sappia esattamente che aspetto abbia, evitando di creare un risultato generico o distorto.

I risultati di questo approccio sono sorprendenti. Testato contro i metodi esistenti, il nuovo sistema ha prodotto costantemente video di qualità superiore che erano più fedeli all'intento dell'utente. In compiti in cui altri sistemi faticavano a mantenere gli oggetti nella posizione corretta o a mantenere lo stile corretto, questo nuovo metodo ha avuto successo. Poteva fondere perfettamente un nuovo oggetto in una scena, cambiare lo sfondo senza distorcere il primo piano o applicare stili artistici complessi che apparivano naturali e coerenti. Il sistema ha dimostrato che mostrando al computer cosa fare, piuttosto che limitarsi a dirglielo, la qualità del montaggio migliora drasticamente. Questo lavoro stabilisce un nuovo standard per il montaggio video, dimostrando che gli esempi visivi sono uno strumento potente e necessario per guidare l'intelligenza artificiale. I ricercatori hanno messo il loro dataset e il loro sistema a disposizione degli altri, aprendo la porta a strumenti di montaggio video più precisi e creativi in futuro.

Sintesi Tecnica: VicEdit: Apprendimento dell'Editing Video tramite Esempi Visivi In-Context

Problema

L'editing video guidato da istruzioni ha fatto progressi significativi attraverso interfacce basate sul testo, sfruttando i grandi modelli linguistici (LLM) e le architetture di diffusione. Tuttavia, gli autori identificano un limite fondamentale: le istruzioni testuali unimodali faticano intrinsecamente a trasmettere texture fini, trasformazioni spaziali precise e dinamiche temporali complesse. I baseline basati solo sul testo soffrono spesso di:

Deriva Stilistica (Stylistic Drift): I descrittori linguistici non riescono a ancorare con precisione specifiche texture o stili visivi.
Ambiguità Spaziale: Il testo specifica cosa modificare ma non dove, mancando degli ancoraggi spaziali forniti dalle coppie di immagini.
Dinamiche Statiche: I complessi pattern di movimento nell'editing creativo superano la capacità linguistica, un divario non affrontato dai lavori basati su riferimenti esistenti che tipicamente supportano solo modalità a immagine singola statica.

Inoltre, i dataset e i benchmark esistenti sono limitati a driver testuali o a singola immagine, mancando delle risorse multimodali su larga scala necessarie per addestrare modelli capaci di un ragionamento visivo eterogeneo.

Metodologia: Il Framework VicEdit

Il paper propone VicEdit, un framework unificato che transita dall'editing video tramite "descrizione" (telling) alla "dimostrazione" (showing) tramite l'Editing Visivo In-Context. Questo paradigma accetta input di riferimento eterogenei: Immagini Singole ( $R_{si}$ ), Coppie di Immagini ( $R_{ip}$ ) e Coppie di Video ( $R_{vp}$ ).

1. Curatela dei Dati: VicEdit-400K

Per supportare questo paradigma, gli autori introducono VicEdit-400K, il primo dataset su larga scala per l'editing video in-context visivo.

Scala e Diversità: Contiene 400.000 campioni di alta qualità attraverso 10 tipi di task distinti (es. trasferimento di stile, manipolazione di oggetti, sintesi spazio-temporale) e tre modalità di riferimento.
Pipeline di Costruzione: Una pipeline automatizzata in quattro fasi garantisce la qualità:
1. Filtraggio dei Dati Sorgente: Utilizza LAION-Aesthetic e Qwen3-VL per filtrare la coerenza semantica e la qualità estetica.
2. Sintesi delle Istruzioni: Gli MLLM generano istruzioni consapevoli della modalità, strettamente allineate ai riferimenti visivi.
3. Generazione del Riferimento Visivo: Utilizza modelli generativi allo stato dell'arte per le immagini e un Grafo di Conoscenza Semantica con clustering spettrale per le coppie di video, al fine di garantire la fedeltà temporale.
4. Verifica Semantica: Verifica multidimensionale tramite MLLM per filtrare l'aderenza alle istruzioni, la coerenza temporale e l'allineamento con il riferimento.

2. Architettura del Modello

VicEdit integra un MLLM congelato per la comprensione semantica con un Video Diffusion Transformer (DiT) per la generazione, collegati da due moduli leggeri:

Distillazione Semantica Adattiva alla Modalità (MASD):
- Sfida: I metodi esistenti utilizzano query apprendibili fisse, che non possono adattarsi alle differenze strutturali tra le modalità (es. spostamenti spaziali nelle coppie di immagini rispetto a texture globali nelle immagini singole).
- Soluzione: MASD modula le query di base ( $Q_{base}$ ) con embedding specifici per modalità apprendibili ( $E_m$ ) tramite uno shift additivo: $Q_{vis} = Q_{base} + E_m$ .
- Meccanismo: Questo decompone lo spazio di ricerca in un manifold di editing comune e sottoregioni specifiche per modalità, permettendo al modello di distillare token semantici specifici per modalità ( $T_{vis}$ ) dagli stati latenti dell'MLLM.
Iniezione di Doppio Contesto (DCI):
- Sfida: La concatenazione di token visivi e istruzioni testuali spesso porta a un disallineamento, in cui il ramo testuale estrae feature generiche che ignorano la specifica istanziazione percettiva fornita dal riferimento visivo.
- Soluzione: DCI introduce un meccanismo di shift semantico. Utilizza le query condizionate dalla modalità ( $Q_{vis}$ ) derivate da MASD per generare un vettore di shift ( $\Delta_{inst}$ ) tramite un MLP leggero.
- Meccanismo: Questo shift calibra le query delle istruzioni di base ( $Q_{inst}$ ) per produrre query visivamente consapevoli ( $Q'_{inst} = Q_{inst} + \Delta_{inst}$ ). Queste vengono poi utilizzate per estrarre i token delle istruzioni ( $T_{inst}$ ). Infine, $T_{vis}$ e $T_{inst}$ vengono concatenati in token di doppio contesto ( $T_{dual}$ ) e iniettati nel Video DiT tramite cross-attention.

3. Strategia di Addestramento

VicEdit è addestrato in tre fasi progressive sul backbone Wan-TI2V-5B:

Base Editing: Fine-tuning del DiT su task guidati da testo per stabilire il fondamentale rispetto delle istruzioni.
In-Context Branch: Addestramento dei moduli MASD e DCI (con DiT congelato) per apprendere embedding di modalità bilanciati e shift semantici.
Joint Fine-Tuning: Scongelamento del DiT per ottimizzare congiuntamente l'intero pipeline, allineando i segnali di condizionamento visivo con il processo generativo.

Contributi Chiave

Cambio di Paradigma: Formulazione di un paradigma unificato di Visual In-Context Video Editing che sfrutta indizi semantici densi da immagini singole, coppie di immagini e coppie di video.
VicEdit-400K: Creazione del primo dataset su larga scala (400K campioni) che copre tre modalità di riferimento e dieci tipi di task, fornendo una base sistematica per l'apprendimento in-context visivo.
Framework VicEdit: Un'architettura unificata caratterizzata da Modality-Adaptive Semantic Distillation (MASD) per estrarre la semantica specifica della modalità e Dual-Context Injection (DCI) per fondere sinergicamente i contesti visivi e testuali.
VicEdit-Bench: Un protocollo di valutazione standardizzato composto da 200 istanze zero-shot per valutare rigorosamente il rispetto dei riferimenti eterogenei.

Risultati Sperimentali

Valutazioni estese sono state condotte su OpenVE-Ext (editing di base) e VicEdit-Bench (editing video in-context visivo).

Performance Quantitative: VicEdit raggiunge prestazioni state-of-the-art (SOTA) in tutti i metriche. Su VicEdit-Bench, ottiene un punteggio complessivo di 3.45, superando il secondo miglior metodo (Kiwi-Edit, 2.97) con un margine significativo (miglioramento relativo del 16%). Supera i baseline basati solo su testo (VACE, Lucy-Edit, DITTO, NovaEdit, VideoCoF) e il baseline di riferimento a singola immagine (Kiwi-Edit) in tutti i sottotask, inclusi Global Style, Local Change e Creative Edit.
Analisi Qualitativa: I confronti visivi dimostrano che VicEdit risolve i problemi di deriva stilistica, ambiguità spaziale e dinamiche statiche prevalenti nei baseline. Ad esempio, nei task "local_add", VicEdit gestisce correttamente le relazioni spaziali e la scala, mentre i baseline spesso producono collassi strutturali o una scarsa fusione.
Studi di Ablazione:
- MASD: Migliora significativamente la fedeltà dei dettagli distillando adattivamente i priori specifici della modalità, prevenendo l'offuscamento semantico.
- DCI: Cruciale per raffinare la precisione del rispetto delle istruzioni calibrando le query testuali rispetto al contesto visivo, risolvendo le ambiguità del linguaggio naturale.
- Strategia di Addestramento: L'approccio a fasi assicura che il modello mantenga robuste capacità di editing di base pur padroneggiando complessi compiti in-context.

Significato e Rivendicazioni

Il paper sostiene che VicEdit stabilisce l'apprendimento in-context visivo come un paradigma potente e controllabile per l'editing video. Colmando il divario percettivo tra descrizioni testuali e realtà visiva, il framework consente un controllo fine che le istruzioni solo testuali non possono raggiungere.

Gli autori sottolineano che il loro lavoro affronta carenze sistemiche sia nel ragionamento architettonico (mancanza di flessibilità nei contesti eterogenei) che nelle risorse di dati (mancanza di dataset multimodali su larga scala). Sebbene il design attuale punti all'editing a livello semantico, il paper nota che il lavoro futuro potrebbe esplorare la precisione a livello di pixel e un ulteriore scaling del dataset. Il framework e il dataset proposti sono presentati come una base sistematica per far avanzare il campo dalla descrizione descrittiva alla dimostrazione visiva prescrittiva.