Adapting VACE for Real-Time Autoregressive Video Diffusion

1. Il Problema

I modelli di generazione video in tempo reale (come LongLive, Krea Realtime Video, StreamDiffusion V2) operano in modo autoregressivo, generando video a "chunk" (blocchi) fissi utilizzando l'attenzione causale (guardano solo il passato e il presente). Questo approccio permette l'uso della cache KV (Key-Value) e un uso della memoria limitato, rendendo possibile lo streaming.

Tuttavia, questi modelli mancano delle capacità di controllo avanzate presenti nei modelli di generazione video in batch (lotti completi), come:

• Guida di riferimento (Reference-to-Video).
• Condizionamento strutturale (mappe di profondità, scheletri, layout).
• Editing selettivo (inpainting/outpainting).

Il modello esistente VACE (Video All-in-one Creation and Editing) offre queste funzionalità unificate, ma è incompatibile con lo streaming perché:

1. Assume attenzione bidirezionale su sequenze complete.
2. Concatena i frame di riferimento direttamente nello spazio latente del video, creando sequenze di lunghezza variabile.
3. Contamina la cache KV: i frame di riferimento verrebbero trattati come frame storici generati, corrompendo la coerenza temporale e rendendo impossibile la rimozione dei riferimenti senza ricalcolare l'intera cache.

2. Metodologia e Architettura

L'autore propone un adattamento architetturale che permette di utilizzare i pesi pre-addestrati di VACE all'interno di pipeline autoregressive in streaming, senza riaddestramento.

Modifiche Chiave:

• Separazione del Percorso di Condizionamento: Invece di concatenare i frame di riferimento allo spazio latente del video (come faceva VACE originale), i frame di riferimento vengono spostati in un percorso di condizionamento parallelo.
• Elaborazione Indipendente:
  • I latents del video vengono denoizzati da soli, mantenendo dimensioni di chunk fisse.
  • I frame di riferimento vengono elaborati separatamente dai Context Blocks di VACE.
  • I Context Blocks producono dei "hint" (segnali additivi) che vengono iniettati nel percorso principale del Diffusion Transformer (DiT) tramite proiezioni lineari inizializzate a zero.
• Conservazione della Cache: Poiché i riferimenti non fanno parte della sequenza temporale generata, la cache KV rimane pulita e coerente con la natura causale del modello. Le dimensioni del chunk rimangono fisse indipendentemente dal numero di riferimenti forniti.
• Trasferimento dei Pesi: L'architettura dei Context Blocks non cambia; vengono riutilizzati i pesi pre-addestrati. Poiché l'iniezione degli hint avviene tramite proiezioni a zero inizializzate e somma residuale, la struttura rimane compatibile senza necessità di fine-tuning.

3. Contributi Chiave

1. Adattamento Architetturale: Una modifica che risolve l'incompatibilità tra la gestione dei riferimenti di VACE e l'elaborazione a chunk fissi, spostando i riferimenti fuori dallo spazio latente.
2. Trasferimento Diretto dei Pesi: Dimostrazione che i pesi pre-addestrati dei Context Block di VACE funzionano immediatamente nella nuova architettura senza riaddestramento, grazie alla preservazione della struttura di iniezione degli hint.
3. Validazione Empirica Multi-Scala: Il metodo è stato testato su pipeline basate su Wan2.1 con scale di parametri di 1.3B e 14B, utilizzando lo stesso codice di adattamento senza modifiche specifiche per modello.
4. Prestazioni in Tempo Reale: Validazione che il controllo strutturale, la generazione mascherata e l'estensione temporale funzionano a frame rate in tempo reale (17–22 FPS) su hardware consumer (es. RTX 5090).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Wan2.1 (1.3B e 14B) con diverse configurazioni di controllo.

Sovraccarico di Latenza e Memoria:

• 1.3B Model (RTX 5090):
  • Baseline: 22.3 FPS.
  • Con Controllo di Profondità o Inpainting: ~17.2 FPS (aumento di latenza del 20-30%).
  • Con Estensione Temporale (I2V): ~22.5 FPS (sovraccarico trascurabile, ~1%, poiché gli hint vengono cacheati dopo il primo chunk).
  • Overhead VRAM: ~1.4 GB (trascurabile rispetto al modello base).
• 14B Model (H100):
  • Baseline: 16.2 FPS.
  • Con Controllo di Profondità: 13.5 FPS.
  • Con Inpainting: 12.5 FPS.
  • Overhead VRAM: Trascurabile rispetto ai ~45 GB del modello base.

Qualità e Limiti:

• Controllo Strutturale e Mascherato: L'aderenza al controllo (profondità, layout, inpainting) è mantenuta efficacemente.
• Reference-to-Video (R2V): La fedeltà è severamente degradata rispetto alla versione batch di VACE. Questo è dovuto ai vincoli dell'attenzione causale e all'elaborazione a chunk, che impediscono l'attenzione incrociata completa tra riferimenti e video latenti necessaria per una fedeltà perfetta.
• Coerenza Temporale: Può degradare su generazioni molto lunghe (>100 frame) senza un "ri-ancoraggio".

5. Significato e Impatto

Questo lavoro è significativo perché:

• Democratizza il Controllo in Tempo Reale: Permette di integrare capacità di controllo avanzate (spesso riservate a modelli batch lenti) in pipeline di streaming in tempo reale senza costi computazionali proibitivi di riaddestramento.
• Efficienza: Riusa pesi esistenti, evitando la necessità di addestrare modelli specifici per ogni tipo di controllo o di distillare interi modelli (come fatto in approcci alternativi come MotionStream).
• Flessibilità: Supporta composizioni arbitrarie di modalità (es. inpainting + controllo di profondità + estensione temporale) inferite automaticamente dagli input.
• Scalabilità: Funziona efficacemente sia su modelli piccoli (1.3B) che grandi (14B), rendendo le tecniche di controllo accessibili a diverse fasce di hardware.

In sintesi, l'adattamento trasforma VACE da un modello batch-only a un componente compatibile con lo streaming, offrendo un compromesso accettabile tra qualità (leggermente ridotta per i riferimenti) e latenza, abilitando nuove applicazioni di generazione video interattiva e in tempo reale.