Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep

1. Il Problema

L'editing video basato su modelli di diffusione (in particolare i Diffusion Transformers o DiT) ha rivoluzionato la generazione di contenuti, offrendo alta qualità e flessibilità. Tuttavia, questi modelli presentano due principali colli di bottiglia computazionali che ne ostacolano il deployment pratico e real-time:

1. Ridondanza temporale: Il processo iterativo di denoising richiede valutazioni ripetute della rete su molti passaggi temporali, molti dei quali producono variazioni minime nell'output.
2. Ridondanza architetturale (Token): All'interno dei DiT, le operazioni di attenzione tra token spaziali e temporali sono spesso ridondanti. In particolare, nei task di Video-to-Video (MV2V) con maschere (es. inpainting, rimozione oggetti), non tutti i token contribuiscono allo stesso modo. I token "contestuali" (aree non modificate) vengono elaborati in modo uniforme, anche se gran parte delle loro interazioni di attenzione non aggiunge valore significativo all'output finale, mentre i token "generativi" (aree mascherate) richiedono aggiornamenti completi.

Le soluzioni esistenti si concentrano principalmente sul riutilizzo delle feature a livello di passaggio temporale, trascurando l'eterogeneità intrinseca dei token all'interno dello stesso passaggio, specialmente nel contesto di editing guidato da maschere.

2. Metodologia: HetCache

Il paper propone HetCache, un framework di accelerazione senza riaddestramento (training-free) che sfrutta l'eterogeneità sia temporale che spaziale. La strategia si basa su due dimensioni complementari:

A. Selezione dei Passaggi Temporali (Timestep Selection)

Invece di eseguire calcoli completi o riutilizzare feature in modo uniforme, HetCache monitora la variazione dell'output stimata attraverso l'input modulato dal timestep.

• Calcola la differenza relativa tra input consecutivi.
• Accumula questa differenza per determinare lo stato del passaggio:
  • Full-Compute: Variazioni significative richiedono un calcolo completo e l'aggiornamento della cache.
  • Partial-Compute: Variazioni moderate richiedono un aggiornamento leggero (es. EMA) e il calcolo solo su un sottoinsieme di token.
  • Reuse Step: Variazioni minime permettono il riutilizzo diretto della cache senza ricalcolo.

B. Caching Eterogeneo dei Token (Token-Level Caching)

Nei passaggi di calcolo parziale, HetCache non tratta tutti i token allo stesso modo. Sfruttando le maschere di editing, divide i token in tre categorie:

1. Token Generativi: Le aree mascherate da sintetizzare (richiedono calcolo completo).
2. Token di Bordo (Margin): Aree non mascherate adiacenti alla maschera (richiedono calcolo completo per garantire la continuità geometrica).
3. Token Contestuali (Context): Aree non mascherate lontane dalla maschera.

Strategia di Selezione:

• I token contestuali vengono raggruppati tramite K-Means nello spazio semantico.
• Viene calcolata l'importanza di ogni token basandosi sui punteggi di attenzione (cached sparse attention scores) tra token contestuali e token generativi.
• Solo i token contestuali più rappresentativi (quelli con la maggiore correlazione semantica e forza di interazione) vengono selezionati per il calcolo dell'attenzione.
• Questo riduce drasticamente il numero di token attivi nel calcolo dell'attenzione (da $O(N^2)$ a $O((r \cdot N_{ctx} + N_{gen} + N_{mar})^2)$), eliminando le interazioni ridondanti tra token contestuali pur mantenendo la guida semantica necessaria.

3. Contributi Chiave

1. Analisi dell'Eterogeneità: Identificazione della ridondanza specifica nei task di editing video basati su DiT, evidenziando come i token contestuali abbiano un'importanza disuguale rispetto ai token generativi.
2. Meccanismo di Caching Ibrido: Introduzione di una strategia che combina la selezione dei passaggi temporali con la selezione dei token basata su priorità semantica e interazione, adattandosi dinamicamente alle esigenze del task di editing.
3. Efficienza senza Riaddestramento: Il metodo non richiede modifiche ai pesi del modello o fasi di addestramento aggiuntive, rendendolo immediatamente applicabile a modelli esistenti.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark come VACE-Benchmark (inpainting video) e VPBench (editing guidato da testo), utilizzando modelli di base come Wan2.1 e LTX-Video.

• Velocità e Efficienza:
  • Su Wan2.1-VACE, HetCache ha raggiunto un speedup di 2.67x rispetto alla baseline a 100 passaggi.
  • Riduzione significativa dei FLOPs (es. da 145.21 P a 23.60 P nel caso "fast").
  • Latenza ridotta da ~445s a ~166s.
• Qualità Visiva:
  • La degradazione della qualità è stata trascurabile. Metriche come PSNR, SSIM, VFID e i punteggi VBench sono rimasti molto vicini alla baseline completa.
  • Qualitativamente, HetCache ha evitato problemi comuni di altri metodi accelerati come "ghosting" (fantasmi), sfocature e discontinuità ai bordi, mantenendo una coerenza spaziale e temporale superiore.
• Robustezza: I risultati sono stati coerenti su diverse risoluzioni, lunghezze video e modelli di backbone.

5. Significato e Impatto

HetCache rappresenta un passo avanti significativo nell'ottimizzazione dei modelli di diffusione per video. Dimostra che l'approccio "one-size-fits-all" (trattare tutti i token e tutti i passaggi allo stesso modo) è inefficiente per l'editing video.

• Praticità: Offre una soluzione pronta all'uso per rendere l'editing video interattivo e real-time, riducendo i costi computazionali senza sacrificare la fedeltà dell'editing.
• Nuova Direzione: Introduce il concetto di sfruttare l'eterogeneità multidimensionale (temporale e spaziale/semantica) come leva principale per l'accelerazione, aprendo la strada a future ricerche su modelli DiT più efficienti.

In sintesi, HetCache risolve il compromesso tra velocità e qualità nell'editing video generativo, permettendo di eseguire calcoli complessi solo dove e quando sono realmente necessari.