ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization

Il paper propone ProGIC, un codec di compressione immagini generativa progressivo e leggero basato sulla quantizzazione vettoriale residua, che offre un'alta qualità percettiva, trasmissione flessibile e un'efficienza computazionale superiore rispetto ai metodi esistenti.

L'essenziale

Immagina di dover inviare una foto a un amico che si trova in mezzo al deserto, con una connessione internet lentissima e instabile (come un vecchio telefono satellitare). Se provi a mandare l'immagine intera, ci vorrà un'eternità e potresti non riceverla mai.

Il Problema: Le vecchie "valigie" rigide

Fino a poco tempo fa, i metodi per comprimere le immagini funzionavano come delle valigie rigide e pesanti.

1. Le vecchie valigie (Codec tradizionali): Erano molto compatte, ma se le guardavi da vicino, l'immagine sembrava sgranata, sfocata o piena di "mattoncini" (artefatti). Per farla tornare bella, dovevi inviare tutta la valigia. Niente preview, niente "assaggio".
2. Le nuove valigie "Intelligenti" (GIC generativi): I ricercatori hanno creato metodi che "inventano" i dettagli mancanti per rendere l'immagine bella anche con pochissimi dati. Il problema? Queste valigie erano enormi e pesantissime. Per aprirle serviva un computer potente (come un server da 1000 euro) e ci volevano minuti. Non erano adatte per un telefono economico o per una connessione lenta.

La Soluzione: ProGIC, la "Valigina Magica"

Gli autori di questo paper hanno creato ProGIC. Immaginalo non come una valigia, ma come un disegno a strati o una torta a più piani.

1. Il concetto di "Disegno a Strati" (RVQ)

Invece di inviare l'immagine tutta insieme, ProGIC la spezza in livelli, proprio come un artista che disegna un ritratto:

• Livello 1 (La base): Invia solo la sagoma e i colori principali. Il tuo amico vede subito un'immagine sfocata ma riconoscibile: "Ah, è una faccia che sorride!". Questo arriva in un secondo.
• Livello 2 (I dettagli): Arriva un po' di più di dati. Ora si vedono gli occhi e la bocca meglio.
• Livello 3, 4, 5... (La perfezione): Arrivano gli ultimi dettagli, le rughe, la texture della pelle. L'immagine diventa perfetta.

Il vantaggio: Se la connessione si interrompe dopo il primo livello, il tuo amico ha comunque ricevuto un'immagine utile. Non deve aspettare la fine del download per capire cosa sta guardando. È come guardare un video su YouTube che si carica progressivamente: prima vedi il video in bassa qualità, poi diventa HD.

2. Il motore leggero (Backbone Leggero)

La parte più geniale è come è costruita questa valigina.

• I metodi precedenti usavano "motori" enormi (come un camioncino da corsa) che consumavano molta benzina (energia) e richiedevano strade larghe (computer potenti).
• ProGIC usa un motino leggero e intelligente (chiamato "convoluzione separabile per profondità"). È come se avessero sostituito il motore di un camion con quello di una Fiat 500 elettrica: consuma pochissimo, è velocissimo e può girare anche su strade sterrate (telefoni vecchi o computer senza scheda video potente).

Perché è una rivoluzione?

Ecco i tre punti chiave, tradotti in metafore:

1. Velocità Lampo: ProGIC è 10 volte più veloce dei metodi precedenti. Se prima per decodificare un'immagine serviva il tempo di preparare un caffè, ora ci vuole il tempo di accendere la luce. Funziona anche su telefoni Android di qualche anno fa.
2. Qualità "Sognante": Grazie all'intelligenza artificiale, non si limita a comprimere i pixel, ma "immagina" i dettagli mancanti in modo realistico. È come se un artista ti desse una bozza veloce e poi, man mano che riceve più istruzioni, la perfezionasse senza mai sbagliare il soggetto.
3. Flessibilità: Puoi fermarti quando vuoi. Se hai solo 10 secondi di connessione, ricevi la bozza. Se ne hai 5 minuti, ricevi l'opera d'arte.

Un esempio reale: L'incendio nella foresta

Immagina un vigile del fuoco in una zona remota che deve inviare una foto di un incendio via satellite.

• Senza ProGIC: Deve aspettare che l'immagine completa (alta qualità) sia caricata. Se la connessione cade a metà, non riceve nulla.
• Con ProGIC: Appena invia il primo pacchetto di dati, il comando vede subito la sagoma dell'incendio e può prendere decisioni immediate. Man mano che arrivano i pacchetti successivi, la foto diventa più chiara, confermando la posizione esatta.

In sintesi

ProGIC è come avere un mastro d'arte che ti invia un disegno.

1. Ti manda prima lo schizzo veloce (per farti capire subito di cosa si tratta).
2. Poi aggiunge i colori (per migliorare la visione).
3. Infine aggiunge i dettagli fini (per la perfezione).
   E tutto questo lo fa con un matite e un foglio di carta (un telefono economico), invece di aver bisogno di un'intera officina di pittura (un supercomputer).

È la soluzione perfetta per un mondo dove la connessione è lenta, ma la necessità di vedere le cose subito è urgente.

Sommario tecnico

1. Il Problema

L'evoluzione recente della compressione delle immagini generativa (GIC) ha portato a notevoli miglioramenti nella qualità percettiva, superando i limiti dei codec tradizionali (ottimizzati per MSE) che tendono a produrre immagini sfocate o con artefatti a blocchi a bassi bitrate. Tuttavia, le soluzioni GIC esistenti presentano due criticità fondamentali che ne limitano l'adozione pratica:

• Mancanza di flessibilità nella trasmissione: Molti metodi sono progettati per scenari a bitrate estremamente bassi, ma richiedono l'intero flusso di bit per generare un'immagine utilizzabile. Questo impedisce la visualizzazione rapida (preview) in scenari con larghezza di banda limitata (es. comunicazioni satellitari), dove è necessario ricevere una bozza dell'immagine prima che la trasmissione sia completa.
• Complessità computazionale eccessiva: Le architetture GIC più avanzate (spesso basate su modelli di diffusione o GAN su larga scala) sono troppo pesanti per essere eseguite su dispositivi edge o CPU-only, rendendo il loro dispiegamento su dispositivi mobili o in ambienti con risorse limitate impraticabile.

2. Metodologia: ProGIC

Gli autori propongono ProGIC, un codec generativo compatto che risolve questi problemi combinando la Quantizzazione Vettoriale Residuale (RVQ) con un'architettura di rete neurale leggera.

Architettura Principale

• Quantizzazione Vettoriale Residuale (RVQ): A differenza dei metodi che utilizzano un singolo codicebook, ProGIC scompone lo spazio latente dell'immagine in una somma di vettori residui quantizzati.

  • Il processo avviene in più stadi: il primo codicebook quantizza le feature latenti originali per ottenere una base grezza.
  • I successivi codicebook quantizzano i residui (la differenza tra l'immagine originale e la ricostruzione corrente) in modo sequenziale.
  • La somma dei vettori quantizzati di tutti gli stadi produce una ricostruzione finale fine.
  • Vantaggio: Questo permette una decodifica progressiva. È possibile ricostruire un'immagine di bassa qualità utilizzando solo i primi stadi (pochi bit) e migliorarla man mano che arrivano i dati successivi, senza attendere il flusso completo.

• Backbone Leggero: Per garantire l'efficienza su CPU e GPU, il modello utilizza un'architettura basata su:

  • Convolutioni Depthwise-Separable: Sostituiscono le convoluzioni standard per ridurre drasticamente il numero di parametri e le operazioni (FLOPs).
  • Blocchi di Attenzione Compatti: Piccoli blocchi di attenzione sono inseriti per catturare dipendenze a lungo raggio e compensare la ridotta capacità di aggregazione spaziale delle convoluzioni depthwise.
  • Modulazione delle Feature: Per rendere il modello consapevole dello stadio di decodifica progressiva, vengono applicati fattori di scala e bias specifici per ogni stadio alle feature prima delle connessioni residue.

• Strategia di Apprendimento: Il modello viene addestrato ottimizzando una funzione di perdita cumulativa che considera tutte le fasi di ricostruzione (dalla prima all'ultima). Una perdita pesata ($\lambda_i$) bilancia l'importanza tra la qualità finale e la qualità delle ricostruzioni intermedie.

3. Contributi Chiave

1. ProGIC: Un nuovo framework di compressione che rappresenta il latente come somma di vettori residui quantizzati da più codicebook, abilitando la ricostruzione da "grezzo a fine" (coarse-to-fine) da flussi di bit parziali.
2. Efficienza e Compattezza: Integrazione della RVQ con un backbone leggero (depthwise conv + attention), che permette il dispiegamento reale su dispositivi mobili e CPU senza sacrificare eccessivamente la qualità.
3. Prestazioni Superiori: Il modello raggiunge prestazioni di compressione comparabili o superiori agli stati dell'arte (SOTA) pur essendo significativamente più veloce.

4. Risultati Sperimentali

I test sono stati condotti su dataset standard (Kodak, Tecnick, DIV2K, CLIC 2020) confrontando ProGIC con metodi tradizionali (VTM-23.10), codec appresi non generativi (DCVC-RT) e metodi generativi SOTA (MS-ILLM, HiFiC, OSCAR, DiffEIC).

• Qualità di Compressione (Rate-Distortion):

  • Su Kodak, ProGIC ottiene un risparmio di bitrate (BD-rate) del 57,57% rispetto a MS-ILLM sulla metrica DISTS e del 58,83% su LPIPS.
  • Supera i metodi basati su diffusione (come DiffEIC e OSCAR) in termini di fedeltà strutturale e percettiva, evitando allucinazioni di dettagli inesistenti.

• Velocità ed Efficienza:

  • GPU: ProGIC è oltre 10 volte più veloce nell'encoding e decoding rispetto a MS-ILLM.
  • CPU: Su dispositivi laptop (AMD Ryzen) e mobili (Snapdragon 870, Dimensity 8000), ProGIC-s (versione piccola) è significativamente più veloce di tutti gli altri metodi, inclusi i codec tradizionali, rendendo possibile l'elaborazione in tempo reale.

• Trasmissione Progressiva:

  • Dimostrazione pratica in scenari di comunicazione satellitare: ProGIC permette di inviare un'anteprima utilizzabile immediatamente con pochi byte, migliorando la qualità man mano che arrivano i pacchetti successivi. I metodi non progressivi richiedono l'attesa di tutto il flusso per mostrare qualsiasi immagine.

5. Significato e Impatto

Il lavoro di ProGIC è significativo perché colma il divario tra l'alta qualità percettiva offerta dai modelli generativi e le esigenze pratiche di efficienza computazionale e flessibilità di trasmissione.

• Democratizzazione dell'AI: Rende possibile l'uso di tecniche di compressione generativa avanzata su dispositivi mobili e in ambienti con risorse limitate, non solo su server GPU potenti.
• Applicazioni Critiche: La capacità di trasmissione progressiva è cruciale per scenari reali come le comunicazioni satellitari, il monitoraggio di disastri e le aree remote, dove la larghezza di banda è scarsa e la latenza deve essere minima.
• Nuovo Paradigma: Sposta l'attenzione da modelli "monolitici" e pesanti a soluzioni modulari e progressive, dimostrando che è possibile ottenere alta fedeltà percettiva senza il costo computazionale proibitivo dei modelli di diffusione attuali.