Riepilogo Tecnico: Quantizzazione del Codebook Clusterizzata per la Compressione di Immagini basata su Gaussiane 2D

Definizione del Problema

Le rappresentazioni di immagini basate su Gaussiane, come quelle proposte da Zhang et al. [2025a], modellano il contenuto dell'immagine utilizzando primitive parametriche compatte (Gaussiane 2D) per ottenere un'elevata fedeltà visiva e una resa indipendente dalla risoluzione. Tuttavia, la memorizzazione dell'elevato numero di parametri in virgola mobile non vincolati richiesti per ogni primitiva (posizione, rotazione-scala e colore) degrada significativamente l'efficienza rate-distorsione, in particolare per obiettivi di alta fedeltà.

Sebbene il lavoro precedente (GI) abbia tentato di affrontare questo problema utilizzando la Quantizzazione Vettoriale (VQ) globale e la Quantizzazione Vettoriale Residua (RQ) per comprimere questi attributi in codebook discreti, un singolo codebook globale fatica a mappare l'immensa varianza dei parametri delle immagini naturali. Questo limite di capacità porta inevitabilmente a errori di quantizzazione e artefatti visivi. La sfida principale è preservare la ricostruzione accurata della Gaussiana pur limitando l'entropia dei parametri per migliorare l'efficienza del codebook.

Metodologia: Cluster-Guided Vector Quantization (CGVQ)

Gli autori propongono la CGVQ, un metodo che partiziona i parametri delle Gaussiane 2D in gruppi omogenei prima della quantizzazione. Il principio sottostante è che, per una capacità di codebook fissa, distribuzioni di parametri più strette producono risultati di quantizzazione migliori.

1. Strategia di Clustering

Prima dell'addestramento del codebook, il metodo raggruppa le primitive Gaussiane 2D in base alla somiglianza delle caratteristiche utilizzando il clustering K-Means:

• Vettore di Caratteristiche: Per ogni primitiva $G_i$, viene costruito un vettore di caratteristiche $f_i$ concatenando gli attributi di rotazione ($r_i$), scala ($s_i$) e colore RGB ($c_i$).
• Esclusione della Posizione: La posizione 2D ($\mu_i$) è deliberatamente esclusa dalle caratteristiche di clustering perché la qualità della compressione è altamente sensibile all'accuratezza spaziale; il raggruppamento basato sulla posizione potrebbe degradare la fedeltà geometrica.
• Processo: Le caratteristiche normalizzate sono partizionate in $K$ cluster disgiunti per minimizzare la varianza intra-cluster. Il numero di cluster $K$ è selezionato manualmente (tipicamente tra 4 e 16) per bilanciare la fedeltà di ricostruzione e l'efficienza della compressione.
• Coerenza: Il clustering viene eseguito una sola volta dopo la convergenza dell'addestramento iniziale, e le assegnazioni dei cluster risultanti sono condivise tra tutti i quantizzatori specifici per ogni parametro.

2. Addestramento del Codebook Per-Cluster

Invece di un singolo codebook globale, la CGVQ addestra tre codebook indipendenti per ogni cluster per sfruttare le distinte proprietà statistiche di ogni tipo di attributo:

1. Posizione ($\mu$): Modellata utilizzando la Quantizzazione-Aware Training (QAT) a 16 bit in virgola mobile con un estimatore "Straight-Through" FakeVQ.
2. Rotazione-Scala (RS): Modellata utilizzando un codebook di Quantizzazione Vettoriale Uniforme (UQ).
3. Colore ($c$): Modellato utilizzando un codebook di Quantizzazione Vettoriale Residua (RQ) per un raffinamento fine dei residui.

Questi codebook sono addestrati end-to-end minimizzando una funzione di perdita congiunta: $L = L_{recon} + L_{vq}$. La perdita di ricostruzione ($L_{recon}$) combina la perdita $L_1$ per pixel e la perdita $L_1$ percettiva nello spazio delle feature, mentre $L_{vq}$ agisce come una perdita di impegno (commitment loss) per regolarizzare gli output dell'encoder verso le loro voci di codebook assegnate.

3. Pipeline di Decodifica

Durante la decodifica, ogni cluster compresso viene elaborato indipendentemente:

• Gli indici di quantizzazione vengono utilizzati per cercare i valori in i tre codebook dedicati (FP16 per la posizione, UQ per RS, RQ per il colore).
• Le primitive decodificate da tutti i $K$ cluster vengono composte in un unico set di Gaussiane per la resa (rendering).
• Riduzione del Bitrate: Le tabelle degli indici di quantizzazione subiscono un Partial Bits Back Encoding per ridurre ulteriormente il bitrate finale.

Contributi Chiave

1. Quantizzazione Partizionata: La proposta della CGVQ, che partiziona le primitive Gaussiane 2D in gruppi a bassa varianza prima della quantizzazione, invece di applicare una strategia di quantizzazione globale.
2. Codebook Localizzati: La dimostrazione che i codebook localizzati e specifici per cluster forniscono un trade-off compressione-fedeltà superiore rispetto ai baseline dei codebook globali, migliorando PSNR e SSIM a parità di bitrate.
3. Ottimizzazione del Clustering: L'evidenziazione del potenziale del clustering K-Means come direzione per ottimizzare la futura quantizzazione dei codebook nelle rappresentazioni Gaussiane.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Kodak con primitive Gaussiane da 10K a 25K.

• Prestazioni Rate-Distortion: La CGVQ supera costantemente il baseline GI. A una fedeltà di ricostruzione simile (circa 31.0 dB), la CGVQ ottiene una riduzione del 20% dei bit per pixel (bpp) (1.92 bpp rispetto a 2.40 bpp per GI).
• Regime di Alta Fedeltà: Il vantaggio è più pronunciato nei regimi di alta qualità (sopra i 30 dB), dove la CGVQ mantiene un PSNR più elevato e una maggiore somiglianza strutturale (SSIM).
• Efficienza dei Parametri: Con un conteggio fisso di 15K primitive, la CGVQ migliora il PSNR di 1.68 dB rispetto a GI. Inoltre, la CGVQ con 15K primitive raggiunge una qualità visiva comparabile a GI con 19K primitive, rappresentando una riduzione del 21% del numero di primitive richieste.
• Trade-off Computazionale: L'aumento del numero di cluster ($K$) migliora la qualità della compressione ma introduce un overhead di runtime. All'aumentare di $K$ da 1 a 16, il frame rate (FPS) di encoding scende da $2.91 \times 10^{-2}$ a $1.9 \times 10^{-3}$, e il frame rate di decoding scende da 133.3 a 33.3.

Significato e Rivendicazioni

Il paper afferma che la CGVQ affronta efficacementamente il costo di memorizzazione delle primitive Gaussiane 2D sfruttando il principio secondo cui le distribuzioni di parametri più strette sono più facili da quantizzare accuratamente. Partizionando le primitive in cluster omogenei basati sull'aspetto e l'anisotropia, il metodo restringe la varianza dei parametri all'interno dei gruppi, consentendo ai design multi-codebook localizzati di catturare i dettagli ad alta frequenza in modo più preciso rispetto agli approcci globali.

Gli autori posizionano questo lavoro come un'estensione del framework GI, offrendo una strategia di quantizzazione più efficiente che migliora le prestazioni rate-distorsione. Tuttavia, riconoscono esplicitamente un compromesso: sebbene la qualità della compressione migliori con un clustering più fine, ciò avviene a scapito della velocità di encoding e decoding. Il metodo è presentato come un passo verso l'ottimizzazione della quantizzazione dei codebook per la compressione di immagini basata su Gaussiane, bilanciando la fedeltà visiva con l'efficienza computazionale.