6Bit-Diffusion: Inference-Time Mixed-Precision Quantization for Video Diffusion Models

1. Il Problema

I Diffusion Transformers (DiTs) hanno rivoluzionato la generazione video, offrendo alta fedeltà e coerenza temporale. Tuttavia, il loro utilizzo pratico è fortemente limitato da due fattori critici:

• Elevato consumo di memoria: Modelli grandi (es. HunyuanVideo) causano errori "Out-Of-Memory" su dispositivi consumer.
• Costo computazionale: Anche modelli più piccoli (es. CogVideoX) richiedono tempi di generazione eccessivi (es. 22 minuti per un video 1080p su una RTX 5090).

Le tecniche di quantizzazione esistenti (Post-Training Quantization - PTQ) soffrono di limiti significativi:

• Quantizzazione uniforme: Applicare la stessa larghezza di bit a tutti i livelli porta a perdita di precisione o compressione insufficiente.
• Politiche statiche: I metodi misti attuali assegnano la precisione in modo statico (offline) e la mantengono fissa durante l'inferenza. Il paper dimostra che la sensibilità alla quantizzazione delle attivazioni varia drasticamente tra i diversi step di denoising (come mostrato in Fig. 1). Una politica statica causa artefatti temporali (sfarfallio) negli step sensibili o spreca opportunità di compressione negli step stabili.
• Mancanza di supporto hardware: Le nuove architetture GPU (es. NVIDIA Blackwell) supportano nativamente formati come NVFP4 (4-bit floating point), ma i metodi attuali non li integrano efficacemente.

2. Metodologia Proposta

Gli autori propongono 6Bit-Diffusion, un framework di accelerazione training-free che combina tre componenti principali per sfruttare la ridondanza temporale e la variabilità della sensibilità alla quantizzazione:

A. Quantizzazione a Precisione Mista Dinamica (DMPQ)

Il cuore del metodo è l'osservazione di una forte correlazione lineare tra la differenza relativa input-output di un blocco Transformer allo step $t-1$ e l'errore di quantizzazione dei suoi layer lineari allo step $t$.

• Meccanismo: Viene calcolato un indicatore di instabilità temporale ($\Gamma_{t-1}$), definito come la distanza L1 relativa tra l'output e l'input del blocco allo step precedente.
• Routing Dinamico: Basandosi su un modello lineare pre-addestrato, il sistema predice online la sensibilità di ogni layer.
  • Se il blocco è instabile (alta variazione), le attivazioni vengono quantizzate in INT8 per preservare la qualità.
  • Se il blocco è stabile (bassa variazione), le attivazioni vengono quantizzate in NVFP4 (4-bit) per massimizzare la compressione.
• Smoothing: Viene utilizzata una trasformata di Hadamard locale (Block Hadamard Transform) per gestire gli outlier delle attivazioni senza fusione offline dei pesi.

B. Cache Delta Temporale (TDC)

Sfruttando l'osservazione che i residui (delta) tra input e output dei blocchi Transformer sono altamente coerenti tra step adiacenti:

• Meccanismo: Se la similarità tra gli aggiornamenti dei delta degli step precedenti ($\Delta_{t-1}$ e $\Delta_{t-2}$) è alta, il sistema salta il calcolo del blocco corrente.
• Riuso: L'output viene approssimato riutilizzando il delta cached dallo step precedente ($X_{out, t} \approx X_{in, t} + \Delta_{t-1}$).
• Controllo dell'errore: Un meccanismo di "Error-Guided Cache Switching" monitora l'errore accumulato. Se l'errore supera una soglia, il calcolo viene forzato per resettare la cache ed evitare il drift.

C. Purified Delta Refresh (PDR)

La combinazione naive di DMPQ e TDC porterebbe all'accumulo di rumore di quantizzazione nel tempo, degradando la qualità video.

• Soluzione: Prima di scrivere un delta nella cache, il sistema valuta la difficoltà di quantizzazione. Se un layer presenta outlier significativi o incertezza temporale, viene forzato a usare la precisione completa (FP16/BF16) o INT8 per quel singolo step, garantendo che il delta salvato nella cache sia "puro" e privo di rumore eccessivo. Questo interrompe la catena di accumulo dell'errore.

3. Contributi Chiave

1. DMPQ: Il primo framework di quantizzazione a precisione mista dinamica che utilizza NVFP4 e INT8 per architetture GPU moderne, adattando la precisione in tempo reale in base alla sensibilità temporale.
2. TDC: Un meccanismo di caching complementare che salta i calcoli ridondanti sfruttando la coerenza temporale, lavorando in sinergia con la quantizzazione.
3. PDR: Una strategia innovativa per prevenire l'accumulo di errori di quantizzazione quando si combinano caching e quantizzazione, mantenendo l'integrità visiva.
4. Supporto Hardware Nativo: Integrazione efficace del formato NVFP4 (E2M1), specifico per le nuove GPU NVIDIA, che non era stato sfruttato in precedenza per i Video DiT.

4. Risultati Sperimentali

Il framework è stato valutato su CogVideoX (varianti 2B e 5B) utilizzando benchmark standard (VBench, EvalCrafter).

• Accelerazione:
  • 1.92× di accelerazione end-to-end rispetto alla baseline FP16.
  • 1.36× di accelerazione solo con DMPQ (senza caching).
• Riduzione Memoria:
  • 3.32× di riduzione nell'uso della memoria GPU.
• Qualità:
  • Il metodo mantiene una qualità visiva e una coerenza temporale comparabili alla baseline FP16.
  • Superano significativamente i metodi statici (es. ViDiT-Q, SmoothQuant) sia in termini di metriche quantitative (Aesthetic Quality, Flow Score) che qualitative (nessun "hallucination" o distorsioni geometriche gravi).
  • Nella configurazione aggressiva W4A6 (pesi 4-bit, attivazioni medie 6-bit), il metodo ottiene punteggi di qualità estetica (0.5437 per 2B) superiori a tutti i baselines statici W4A6 e paragonabili ai migliori W4A8.

5. Significato e Impatto

Questo lavoro risolve il collo di bottiglia principale per il deployment dei Video Diffusion Transformers su hardware consumer. Dimostrando che la sensibilità alla quantizzazione è un fenomeno dinamico e non statico, il paper introduce un nuovo paradigma per l'inferenza efficiente:

• Abilita la generazione video ad alta risoluzione su dispositivi con risorse limitate.
• Sfrutta appieno le nuove capacità hardware (NVFP4) senza richiedere riaddestramento del modello.
• Fornisce una soluzione unificata che combina compressione e caching, superando i limiti dei metodi che trattano queste tecniche come entità separate.

In sintesi, 6Bit-Diffusion stabilisce un nuovo stato dell'arte per l'inferenza efficiente nei Video DiT, rendendo la generazione video di alta qualità accessibile e pratica.