💻 computer science

InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

Il documento introduce InfinityEdit, un adapter leggero per generatori video pre-addestrati che consente l'editing illimitato e basato su istruzioni di video in streaming, garantendo una fedele continuità temporale e una qualità di generazione stabile attraverso una sequenza infinita di richieste di editing.

Autori originali: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Pubblicato 2026-08-24

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare la diretta di una partita di calcio e, all'improvviso, desiderare che l'intero stadio sembri un acquerello, o volessi che la telecamera precipitasse improvvisamente dal cielo per seguire il pallone. Nel mondo dell'intelligenza artificiale, creare tali cambiamenti è solitamente un processo rigido. Gli strumenti attuali possono prendere una breve clip video finita e alterarla, ma trattano la clip come una scatola chiusa. Possono riscrivere ciò che è già presente, ma non possono facilmente guardare nel futuro per cambiare ciò che accadrà dopo. Se il video continua a scorrere, le vecchie regole smettono di funzionare e il nuovo stile o l'inquadratura cambiano svaniscono. Questa limitazione rende difficile modificare flussi video o scene in corso in cui la storia si sta ancora svelando.

Un team di ricercatori ha affrontato questo problema sviluppando un nuovo modo per modificare video che non finiscono mai. Chiamano il loro approccio "editing video infinito". Invece di costringere un video a rientrare in una finestra temporale fissa, il loro metodo permette a un'intelligenza artificiale di applicare un cambiamento — come un nuovo stile visivo o un movimento di camera — e poi continuare a generare nuovi fotogrammi che continuino naturalmente quel cambiamento all'infinito. Il sistema non si limita a riscrivere il passato; impara a portare l'editing nel futuro, assicurando che il video rimanga coerente e di alta qualità anche quando arrivano nuove istruzioni una dopo l'altra.

I ricercatori hanno iniziato riconoscendo che gli editor video esistenti operano su un'assunzione semplice: il video è già finito. Prendono una clip sorgente e producono una versione editata della stessa identica durata. Questo funziona bene per brevi film o post sui social media, ma fallisce quando il video è uno stream continuo, come una partita dal vivo o un feed di una telecamera di sicurezza. In queste situazioni, il video continua a crescere. Se vuoi cambiare lo stile del filmato a metà strada, l'editing deve estendersi a ogni nuovo fotogramma che appare. I vecchi metodi non possono farlo perché sono progettati per guardare all'indietro verso una clip statica, non in avanti verso uno stream aperto.

Per risolvere questo, il team ha prima costruito un modo per insegnare ai computer come gestire questa sfida specifica. Hanno creato una vasta collezione di esempi di addestramento. Hanno preso video esistenti e li hanno accoppiati con istruzioni su come modificarli, come "rendi questo un fumetto" o "sposta la telecamera verso il basso". Fondamentalmente, non hanno solo chiesto al computer di cambiare i fotogrammi esistenti. Hanno generato nuovi segmenti video che continuavano dal filmato originale applicando il cambiamento richiesto. Questo ha insegnato al sistema che un editing non è solo un filtro applicato a un'istantanea, ma una nuova direzione che la storia deve prendere. Hanno filtrato attentamente questi dati per garantire che i nuovi segmenti video sembrassero realistici e che i cambiamenti fossero applicati correttamente senza rompere il flusso della scena.

Con questi dati in mano, hanno introdotto un nuovo sistema chiamato InfinityEdit. Questo sistema funziona collegando un "adapter" piccolo e leggero a un potente generatore di video che è già molto bravo a creare video lunghi. Immaginate il generatore principale come un artista esperto che può disegnare un flusso continuo di immagini, e l'adapter come un pennello speciale che può cambiare lo stile del disegno al volo. Il generatore principale rimane congelato, il che significa che la sua conoscenza fondamentale di come creare video stabili e di alta qualità non viene mai alterata. L'adapter è l'unica parte che impara. Si posiziona tra il generatore e le istruzioni dell'utente, pronto a intervenire solo quando arriva una nuova richiesta di editing.

Quando un utente invia un'istruzione, l'adapter si attiva per un solo breve segmento del video. Prende l'istruzione e la cronologia recente del video e genera un nuovo blocco di fotogrammi che applica il cambiamento. Questo nuovo blocco funge da ponte. Una volta creato questo primo segmento editato, l'adapter si spegne e il generatore principale prende il sopravvento. Poiché il generatore principale vede ora i fotogrammi appena editati come la sua cronologia, continua naturalmente il video nel nuovo stile o con la nuova inquadratura. L'editing è stato "innescato" e il sistema lo porta avanti automaticamente. Questo processo può ripetersi all'infinito. Se una seconda istruzione arriva più tardi, l'adapter si risveglia per applicare il nuovo cambiamento, e il generatore continua da lì.

I ricercatori hanno scoperto che questo approccio risolve due problemi maggiori che solitamente affliggono la generazione di video lunghi. Il primo è la coerenza. In molti sistemi, se si prova a modificare un video che viene già generato, i cambiamenti spesso svaniscono o si perdono man mano che il video procede. I nuovi fotogrammi potrebbero tornare all'aspetto originale. InfinityEdit previene questo fenomeno resettando un punto di riferimento chiave ogni volta che avviene un editing. Ciò assicura che il video rimanga ancorato al cambiamento più recente, mantenendo lo stile o l'inquadratura stabili per tutto il tempo in cui il video continua.

La seconda sfida è la qualità. Quando un computer genera video fotogramma per fotogramma, piccoli errori possono accumularsi nel tempo, rendendo l'immagine sfocata o distorta. I ricercatori hanno addestrato il loro adapter per gestire una cronologia imperfetta. Hanno deliberatamente dato al sistema esempi in cui i fotogrammi precedenti erano leggermente difettosi, insegnandogli a recuperare e produrre risultati puliti anche quando l'input non era perfetto. Questo addestramento permette al sistema di rimanere stabile anche dopo molti cicli di editing, evitando che il video si degradi man mano che diventa più lungo.

Nei loro test, il sistema ha applicato con successo una vasta gamma di modifiche a flussi video in corso. Poteva cambiare lo stile visivo di una scena, alterare il movimento della telecamera o modificare l'aspetto di oggetti, e poi continuare a generare il video mantenendo intatti quei cambiamenti. I risultati hanno mostato che il video rimane fedele alle istruzioni e non torna allo stato originale. Il sistema ha gestito questi cambiamenti ripetutamente senza perdere qualità, dimostrando che è possibile modificare uno stream video mentre accade, invece di aspettare che il video finisca.

Questo lavoro apre la porta a un nuovo tipo di interazione con il video. Invece di modificare un prodotto finito, gli utenti possono ora guidare un video mentre viene creato. Che si tratti di ridare uno stile a una diretta sportiva in tempo reale o di cambiare la prospettiva di una telecamera virtuale durante una lunga registrazione, la tecnologia offre un modo per mantenere l'editing vivo mentre la storia si svela. I ricercatori hanno dimostrato che combinando un generatore stabile e pre-addestrato con un adapter flessibile e leggero, possiamo creare strumenti di editing video che non sono limitati dal tempo, permettendo un flusso davvero infinito di possibilità creative.

Sintesi Tecnica di InfinityEdit: Editing Video Infinito con un Leggero Adattatore Edit-Ignition

1. Definizione del Problema: Infinite Video Editing

I metodi esistenti di editing video basati su istruzioni operano sotto l'assunto di editing in-place. Essi allineano un output editato fotogramma per fotogramma con una clip sorgente di durata fissa. Sebbene efficaci per clip statiche, questo paradigma fallisce per flussi video aperti (ad esempio, il restyling di un gioco live o l'applicazione di movimenti di camera a riprese in corso) dove nuovi contenuti arrivano continuamente.

Il paper definisce l'Infinite Video Editing come un compito in cui, dato un segmento video precedente ( $V_{pcd}$ ) e un'istruzione di edit ( $c_{edit}$ ), un modello deve generare un segmento successivo ( $V_{tgt}$ ) che:

Applichi fedelmente l'edit richiesto in $c_{edit}$ .
Continui il flusso naturalmente, generando futuri fotogrammi che non erano presenti nell'input, anziché riscrivere i fotogrammi esistenti.
Mantenga la stabilità su una sequenza illimitata di edit, prevenendo la propagazione degli errori e il degrado della qualità man mano che gli edit si accumulano.

Le sfide principali identificate sono:

Continuazione Fedele: Il modello non può semplicemente trasformare i fotogrammi di input; deve generare una continuazione coerente in cui le entità non influenzate dall'edit rimangano coerenti con la cronologia.
Stabilità: Poiché ogni segmento generato diventa la cronologia per quello successivo, gli errori possono accumularsi nel tempo.
Conflitto con i Prior di Streaming: I generatori di streaming standard utilizzano meccanismi come i frame ancora (anchor frames) e la cronologia in cache per prevenire il drift. Tuttavia, questi meccanismi spesso riportano il contenuto generato verso l'originale non editato, indebolendo o ignorando le nuove istruzioni di edit.

2. Metodologia

Pipeline di Raccolta Dati
Per addestrare un modello per questo compito, gli autori hanno costruito un dataset di tripletto $(V_{pcd}, c_{edit}, V_{tgt})$ :

Sorgente: Campionato dal dataset UltraVideo.
Istruzioni: Generate espandendo tipi di edit astratti (da VAP) in dettagliati prompt in linguaggio naturale usando Gemini 3 Flash, condizionati sulle didascalie sorgente.
Target: Sintetizzati usando Wan2.2-I2V-A14B. La pipeline impiega una generazione consapevole del tipo di edit (edit-type-aware generation):
- Edit di stile/aspetto: Il frame di connessione viene editato prima (usando Qwen-Image-Edit) prima di generare il video.
- Edit di camera/movimento: Il frame di connessione è preservato per garantire la coerenza della scena, con le modifiche applicate solo al punto di vista.
Filtering: I tripletto sono valutati manualmente su allineamento, coerenza, razionalità e qualità visiva.

Architettura del Modello: InfinityEdit
La soluzione proposta attacca un leggero adattatore Edit-Ignition a un backbone di generazione video streaming congelato (Helios-Distilled, un transformer di diffusione autoregressivo da 14B). L'adattatore è l'unica componente addestrabile.

L'adattatore consiste in tre moduli di attenzione inseriti dopo ogni livello del transformer:

History Cross-Attention: Ancora il nuovo chunk di denoising ai fotogrammi di input forniti. Le query sono limitate ai fotogrammi iniziali del chunk corrente, mentre le chiavi/valori provengono dai token della cronologia. Ciò assicura che l'edit rispetti il passato immediato.
Temporal Causal Self-Attention: Propaga i segnali temporali strettamente dai fotogrammi precedenti a quelli successivi all'interno del chunk, mantenendo il flusso autoregressivo richiesto per lo streaming.
Edit Cross-Attention: Inietta l'istruzione di edit ( $c_{edit}$ ) nel processo di generazione. Tutti i token nel chunk corrente interrogano il prompt di edit, permettendo all'istruzione di influenzare l'intero segmento generato.

Strategia di Addestramento

Obiettivo: Obiettivo di flow-matching con un backbone congelato.
Corruzione della Cronologia (History Corruption): Per mitigare l'exposure bias (dove il modello si condiziona sui propri output imperfetti durante l'inferenza), il processo di addestramento corrompe casualmente i fotogrammi della cronologia con rumore.
Campionamento del Rumore: Invece dello schedule piramidale del backbone, l'adattatore utilizza un campionamento Mixture-Gaussian dei livelli di rumore ( $\sigma$ ) per disaccoppiare il controllo dell'edit da specifiche fasi di risoluzione.
Curriculum a Due Fasi:
- Fase 1: Copertura uniforme dei livelli di rumore per apprendere l'editing di base.
- Fase 2: Si concentra sui livelli di rumore medio-bassi e sui fotogrammi successivi per raffinare i dettagli e migliorare la qualità.

Pipeline di Inferenza: "Ignite-Then-Continue"
Il processo di inferenza gestisce l'editing infinito attraverso una strategia specifica:

Ignition (Accensione): Quando arriva un'istruzione di edit, l'adattatore viene attivato solo per il primo chunk (il "chunk di ignition"). Questo chunk viene generato usando l'adattatore e uno schedule Euler a singolo stadio (incluso un passo di rumore quasi zero per il raffinamento dei dettagli).
Continuation (Continuazione): I chunk successivi sono generati dal backbone congelato con l'adattatore disabilitato. Poiché il primo chunk editato è ora parte della finestra di cronologia, il backbone continua naturalmente il flusso editato.
Gestione dello Stato:
- Il frame ancora (anchor frame $x_0$ ) viene resettato al primo fotogramma del nuovo chunk di ignition per evitare che il modello torni alla sorgente originale.
- Il prompt di scena viene aggiornato con l'attuale istruzione di edit.
- Una finestra scorrevole gestisce la memoria, scartando i fotogrammi vecchi per mantenere i costi limitati.

3. Contributi Chiave

Definizione del Task: Ha formalizzato l'Infinite Video Editing, distinguendolo dall'editing in-place e identificando le sfide specifiche della continuazione fedele e della stabilità a lungo termine.
Pipeline di Dati: Ha sviluppato una pipeline di sintesi per generare tripletti di addestramento consapevoli del tipo di edit che colmano il divario tra editing statico e generazione in streaming.
Architettura: Ha proposto InfinityEdit, un leggero adattatore che permette a un generatore streaming congelato di applicare edit senza compromettere i suoi prior di generazione a lungo video.
Strategia di Inferenza: Ha introdotto lo schema "ignite-then-continue", che applica gli edit localmente sfruttando al contempo i meccanismi di stabilità del backbone per il resto dello stream.

4. Risultati e Claim

Esperimenti estesi su casi out-of-distribution dimostrano che:

InfinityEdit continua fedelmente lo stream sotto ogni istruzione di edit, applicando con successo le modifiche richieste ai fotogrammi futuri.
Il sistema rimane stabile su sequenze illimitate di edit, evitando il drift e il degrado della qualità comuni negli approcci che si limitano a cambiare il prompt al modello.
Il metodo bilancia efficacemente l'applicazione di nuovi edit con la preservazione della capacità del modello originale di generare video lunghi e coerenti.

5. Significato

Il paper sostiene che InfinityEdit affronta una lacuna critica nella generazione video: l'incapacità di editare dinamicamente flussi video aperti e live. Disaccoppiando il meccanismo di iniezione dell'edit dal prior di generazione a lungo termine, il metodo consente l'editing on-the-fly (ad esempio, il restyling di filmati di gioco o il cambio di angolazioni di camera in tempo reale) senza richiedere il riaddestramento completo del modello o sacrificare la stabilità del generatore sottostante. Ciò abilita applicazioni pratiche in cui i flussi video sono continui e i requisiti di editing sono dinamici.