Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing

1. Il Problema: Incoerenza nell'Editing Multi-Turn

I modelli di diffusione "Video-to-Video" (V2V) attuali eccellono nell'editing di un singolo passaggio (single-turn), ma falliscono in scenari pratici dove l'editing è iterativo (multi-turn).

• Il Fallimento: Quando un utente applica modifiche sequenziali a un video (es. cambiare viewpoint o modificare oggetti in diverse sezioni di un video lungo), i modelli esistenti trattano ogni turno come indipendente. Questo porta a un "drift" (deriva) delle regioni già generate o alla loro sovrascrittura, rompendo la coerenza visiva globale.
• Esempi:
  • Synthesis di nuovi viewpoint: Cambiare la telecamera più volte porta a regioni nuove (non visibili nell'input originale) che appaiono diverse tra un'iterazione e l'altra.
  • Editing guidato da testo: Modificare segmenti di un video lungo porta a incoerenze nell'aspetto globale (es. un oggetto trasformato in un'arancia appare come arance visivamente diverse in segmenti diversi).

2. Metodologia: Memory-V2V

Il paper introduce Memory-V2V, un framework potenziato da memoria che tratta le modifiche precedenti non come semplice contesto temporale, ma come vincoli strutturati esterni per garantire la coerenza tra le iterazioni.

L'architettura si basa su tre pilastri fondamentali per gestire la memoria in modo scalabile senza un costo computazionale lineare:

A. Recupero Selettivo (Selective Retrieval)

Invece di condizionare il modello su tutta la storia delle modifiche (che sarebbe computazionalmente proibitivo), il sistema recupera solo i video precedenti più rilevanti.

• Per la sintesi di nuovi viewpoint (Novel View Synthesis): Viene utilizzato un algoritmo di recupero basato sul Campo Visivo (FOV). Si calcola la sovrapposizione geometrica tra la traiettoria della telecamera target e quelle dei video cached. Vengono selezionati i top-k video con la massima sovrapposizione geometrica.
• Per l'editing guidato da testo: Il recupero si basa sulla similarità semantica dei segmenti sorgente (utilizzando feature DINO), poiché le istruzioni testuali possono essere ambigue. Viene sempre incluso anche il segmento più recente per mantenere la coerenza temporale.

B. Tokenizzazione Dinamica (Dynamic Tokenization)

I video recuperati vengono codificati in token con risoluzioni spaziali diverse in base alla loro rilevanza:

• I video più rilevanti (top-k) vengono mantenuti ad alta risoluzione (fattore di compressione basso, es. 1x2x2) per preservare i dettagli fini.
• I video meno rilevanti vengono compressi aggressivamente (es. 1x8x8).
  Questo approccio bilancia la qualità visiva con l'efficienza del budget di token.

C. Fusione Adattiva dei Token (Adaptive Token Merging)

Per ridurre ulteriormente il costo computazionale dell'attenzione quadratica nei modelli DiT (Diffusion Transformer), il sistema identifica e fonde i token "non responsivi".

• Responsività: Viene calcolato un punteggio di responsività ($R_t$) per ogni frame basato su quanto i token di quel frame vengono "attentati" dalle query target.
• Fusione: I token dei frame a bassa responsività (che contribuiscono poco alla generazione corrente) vengono fusi in una rappresentazione compatta tramite un operatore convoluzionale apprendibile, invece di essere scartati completamente (che causerebbe artefatti) o mantenuti tutti (costo elevato).
• Posizione: Questa fusione avviene nelle fasi intermedie e tardive del transformer (blocchi 10 e 20), dove la responsività dei token si è stabilizzata.

3. Contributi Chiave

1. Formulazione del Problema: Definizione dell'editing video multi-turn come un problema distinto di coerenza cross-turn, dove le uscite precedenti agiscono come vincoli strutturali.
2. Framework Memory-V2V: Un'architettura che integra la memoria esterna come condizione strutturata, differenziandosi dai generatori long-video basati su continuità temporale.
3. Meccanismi di Recupero e Compressione: Introduzione di recupero geometrico (FOV) e semantico, combinati con tokenizzazione dinamica e fusione adattiva, che permettono un condizionamento scalabile senza crescita lineare dei costi computazionali.
4. Pipeline di Addestramento: Sviluppo di una pipeline di augmentation dei dati che estende temporalmente solo i video target da coppie brevi (source-target), eliminando la necessità di dataset di video lunghi già accoppiati.

4. Risultati Sperimentali

Il modello è stato valutato su due compiti principali: sintesi di nuovi viewpoint e editing di video lunghi guidato da testo.

• Sintesi di Nuovi Viewpoint (Novel View Synthesis):
  • Memory-V2V supera i baselines (ReCamMaster, TrajCrafter) mantenendo una coerenza geometrica e visiva superiore tra le iterazioni (es. tra la 1ª e la 3ª iterazione).
  • Riduce significativamente l'errore di rotazione e traslazione della camera e mantiene la consistenza del soggetto.
• Editing di Video Lunghi (Long Video Editing):
  • Rispetto a metodi come LucyEdit (indipendente o FIFO) o TokenFlow, Memory-V2V mantiene l'identità del soggetto e la coerenza dello sfondo su sequenze di oltre 200 frame.
  • Evita che oggetti modificati (es. una mela trasformata in un'arancia) appaiano diversi in segmenti diversi del video.
• Efficienza Computazionale:
  • L'uso del recupero selettivo e della fusione adattiva riduce i FLOPs e la latenza di oltre il 90% rispetto a un approccio naive di scaling della finestra di contesto, con una riduzione aggiuntiva del 30% grazie alla fusione dei token.

5. Significato e Impatto

Memory-V2V risolve una delle principali limitazioni pratiche dei modelli di generazione video: la loro incapacità di mantenere la coerenza in flussi di lavoro iterativi.

• Praticità: Abilita flussi di lavoro di editing reali dove gli utenti affinano progressivamente il risultato senza perdere la coerenza globale.
• Efficienza: Dimostra che è possibile gestire contesti di memoria complessi e lunghi senza dover addestrare modelli da zero con finestre temporali enormi, utilizzando invece strategie di recupero intelligente e compressione adattiva.
• Generalizzazione: Il framework è applicabile a diversi compiti (viewpoint synthesis, editing testuale) e può essere integrato su modelli V2V pre-addestrati esistenti.

Limitazioni: Il modello eredita i limiti del modello base (es. difficoltà con grandi cambi di viewpoint) e fatica con video contenenti tagli di scena bruschi (multi-shot), poiché i dati di addestramento sono costituiti principalmente da video a scatto singolo continuo.