Turbo-DDCM: Fast and Flexible Zero-Shot Diffusion-Based Image Compression

1. Il Problema

I metodi di compressione delle immagini basati su modelli di diffusione (Diffusion Models) hanno mostrato prestazioni eccezionali nel compromesso tra tasso di distorsione e percezione (rate-distortion-perception tradeoff). Tuttavia, le approcci zero-shot (che non richiedono addestramento o fine-tuning specifico per la compressione) soffrono di un limite critico: l'efficienza computazionale.
I metodi esistenti, come DDCM (Denoising Diffusion Codebook Models), richiedono centinaia di passaggi di denoising per ricostruire un'immagine con alta fedeltà, portando a tempi di inferenza che vanno da decine di secondi a diversi minuti per immagine. Questo li rende impraticabili per applicazioni reali. Inoltre, i metodi basati su hardware dedicato (es. kernel CUDA personalizzati) spesso sacrificano la flessibilità o la prevedibilità del bitrate.

2. Metodologia: Turbo-DDCM

Il paper propone Turbo-DDCM, un metodo zero-shot che accelera drasticamente il processo di compressione basata su diffusione mantenendo la qualità dello stato dell'arte. La metodologia si fonda su tre pilastri principali:

A. Selezione Multi-Atomo Efficiente (Efficient Multi-Atom Selection)

Il metodo originale DDCM seleziona un singolo vettore di rumore da un codicebook (codebook) a ogni passo di diffusione per minimizzare l'errore di ricostruzione. Turbo-DDCM modifica questo approccio combinando un gran numero di vettori di rumore ($M$) a ogni passo.

• Ottimizzazione a forma chiusa: Invece di utilizzare una strategia di "Matching Pursuit" (MP) iterativa e greedy (usata in DDCM), che è computazionalmente costosa, Turbo-DDCM risolve un problema di minimi quadrati sparsi in forma chiusa.
• Ortogonalità Approssimata: Sfruttando il fatto che i vettori di rumore gaussiani in spazi ad alta dimensione sono quasi ortogonali, l'algoritmo utilizza un semplice algoritmo di thresholding (soglia). Questo permette di selezionare i $M$ atomi più correlati con il residuo di denoising ($x_0 - \hat{x}_{0|t}$) e i loro coefficienti quantizzati in modo estremamente rapido.
• Riduzione dei Passi: Grazie alla capacità di combinare molti atomi ($M$ può essere centinaia) a ogni passo, Turbo-DDCM riduce il numero totale di passi di diffusione necessari da centinaia (in DDCM) a pochi decenni (es. $T=30$), ottenendo una riduzione del 92% dei passi necessari.

B. Protocollo di Codifica dei Bit (Efficient Bit Protocol)

Quando si combinano molti atomi ($M$), l'encoding naive degli indici crea ridondanze fattoriali ($M!$).

• Il paper introduce un nuovo protocollo di trasmissione che codifica la combinazione di $M$ indici (senza ordine) utilizzando il loro indice lessicografico.
• Questo protocollo elimina la ridondanza fattoriale, riducendo il numero di bit necessari per rappresentare la selezione degli atomi di circa il 40% rispetto al protocollo DDCM, mantenendo l'efficienza di compressione.

C. Variabili Ibride e Controllo

• DDIM Finale: Per migliorare la qualità percettiva a bassi bitrate, gli ultimi $N$ passi di diffusione vengono eseguiti utilizzando il campionamento DDIM (senza trasmissione di bit aggiuntivi), mentre i primi passi utilizzano la selezione degli atomi.
• Zero-Shot: Il metodo utilizza un generatore latente pre-addestrato (Stable Diffusion 2.1 Base) senza alcun fine-tuning, permettendo di sostituire facilmente il backbone con versioni future.

3. Contributi Chiave

1. Velocità Senza Precedenti: Turbo-DDCM è il metodo zero-shot più veloce, con un tempo di andata e ritorno (compressione + decompressione) di circa 1.8 secondi per immagine su GPU standard (NVIDIA A40), senza ottimizzazioni hardware specifiche. È circa 10 volte più veloce del metodo zero-shot più rapido esistente e oltre 30 volte più veloce di DDCM.
2. Controllo del Bitrate Perfetto: A differenza di altri metodi zero-shot che mostrano grandi variazioni di bitrate tra immagini diverse, Turbo-DDCM offre un bitrate costante e prevedibile controllato da un singolo iperparametro ($M$).
3. Varianti Flessibili:
   • Priority-Aware (ROI): Permette di allocare più bit a regioni specifiche dell'immagine (es. volti in una videochiamata o dettagli medici) definendo una maschera di priorità, migliorando la fedeltà in quelle aree senza aumentare il bitrate totale.
   • Distortion-Controlled: Invece di fissare un bitrate target, l'utente può fissare un target di PSNR. Il sistema stima il bitrate necessario basandosi sulla correlazione tra la dimensione di un file JPEG di alta qualità e la distorsione ottenuta dal modello di diffusione.
4. Efficienza Computazionale Teorica: La complessità della selezione degli atomi è $\Theta(Kd)$, indipendente da $M$ e $C$ (a differenza di DDCM MP che è $\Theta(M^2CKd)$), permettendo l'uso di parametri $M$ molto elevati senza penalità temporali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset Kodak24 e DIV2K (ritagliati a 512x512).

• Qualità: Turbo-DDCM raggiunge prestazioni di distorsione (PSNR) e qualità percettiva (LPIPS, FID) competitive rispetto ai metodi zero-shot (PSC, DDCM, DiffC) e superiori alla maggior parte dei metodi basati su addestramento (tranne StableCodec, che è specializzato per bitrate specifici).
• Velocità:
  • Rispetto a DDCM: Speedup di oltre 34x ad alti bitrate.
  • Rispetto a DiffC (che usa kernel CUDA ottimizzati): Turbo-DDCM è 3x più veloce a bassi bitrate e quasi 10x più veloce ad alti bitrate.
  • Il tempo di esecuzione rimane quasi costante al variare del bitrate, a differenza di altri metodi dove il tempo cresce significativamente.
• Variante Priority-Aware: Dimostra la capacità di ricostruire fedelmente regioni critiche (es. testo su un cartello) a bitrate estremamente bassi (0.0057 BPP), dove i metodi standard falliscono completamente.

5. Significato e Impatto

Il lavoro di Turbo-DDCM è significativo perché colma il divario tra l'alta qualità teorica dei modelli di diffusione e la praticità necessaria per l'implementazione reale.

• Praticità: Rende la compressione zero-shot basata su diffusione fattibile per applicazioni in tempo reale o near-real-time, eliminando la necessità di hardware specializzato.
• Flessibilità: La capacità di gestire priorità spaziali e obiettivi di distorsione apre nuove possibilità per applicazioni come la telemedicina, le videoconferenze e la trasmissione di contenuti multimediali adattivi.
• Efficienza: Dimostra che è possibile ottenere un'alta efficienza computazionale nei modelli di diffusione attraverso strategie di campionamento intelligente e ottimizzazioni matematiche (thresholding su spazi quasi ortogonali), piuttosto che affidarsi esclusivamente all'hardware.

In sintesi, Turbo-DDCM stabilisce un nuovo standard per la compressione di immagini zero-shot, offrendo un compromesso ottimale tra velocità, qualità e flessibilità, rendendo i modelli di diffusione un'alternativa concreta ai codec tradizionali e ai metodi neurali addestrati.