Technische Samenvatting: Geclusterde Codeboek-kwantisatie voor 2D Gaussische Beeldcompressie

Probleemstelling

Gaussische beeldrepresentaties, zoals voorgesteld door Zhang et al. [2025a], modelleren beeldinhoud met behulp van compacte parametrische primitieven (2D Gaussische verdelingen) om een hoge visuele getrouwheid en resolutie-onafhankelijke rendering te bereiken. Het opslaan van het grote aantal ongeconstrueerde drijvende-kommagetallen dat nodig is voor elke primitief (positie, rotatie-schaal en kleur) verslechtert echter aanzienlijk de rate-distortion-efficiëntie, met name bij hoge getrouwheidsdoelstellingen.

Hoewel eerder werk (GI) probeerde dit aan te pakken met behulp van globale Vector Kwantisatie (VQ) en Residuele Vector Kwantisatie (RQ) om deze attributen te comprimeren naar discrete codeboeken, heeft een enkel globaal codeboek moeite om de enorme variantie van natuurlijke beeldparameters in kaart te brengen. Deze capaciteitsbeperking leidt onvermijdelijk tot kwantisatiefouten en visuele artefacten. De kernuitdaging is het behouden van nauwkeurige Gaussische reconstructie terwijl de parameterentropie wordt beperkt om de codeboekefficiëntie te verbeteren.

Methodologie: Cluster-gestuurde Vector Kwantisatie (CGVQ)

De auteurs stellen CGVQ voor, een methode die Gaussische primitieven verdeelt in homogene groepen voorafgaand aan de kwantisatie. Het onderliggende principe is dat voor een vaste codeboekcapaciteit, smallere parameterverdelingen betere kwantisatieresultaten opleveren.

1. Clusteringstrategie

Voordat de codeboektraining plaatsvindt, groepeert de methode 2D Gaussische primitieven op basis van kenmerkovereenkomst met behulp van K-Means clustering:

• Kenmerkvector: Voor elke primitief $G_i$ wordt een kenmerkvector $f_i$ geconstrueerd door de attributen rotatie ($r_i$), schaal ($s_i$) en RGB-kleur ($c_i$) te concateneren.
• Uitsluiting van Positie: De 2D-positie ($\mu_i$) wordt doelbewust uitgesloten van de clusteringkenmerken omdat de kwaliteit van de compressie zeer gevoelig is voor ruimtelijke nauwkeurigheid; groeperen op basis van positie zou de geometrische getrouwheid kunnen verslechteren.
• Proces: De genormaliseerde kenmerken worden gepartitioneerd in $K$ disjuncte clusters om de intra-clustervariantie te minimaliseren. Het aantal clusters $K$ wordt handmatig geselecteerd (meestal tussen 4 en 16) om een balans te vinden tussen reconstructiegetrouwheid en compressie-efficiëntie.
• Consistentie: Clustering wordt eenmalig uitgevoerd nadat de initiële training is geconvergeerd, en de resulterende clustertoewijzingen worden gedeeld over alle parameterspecifieke kwantiseerders.

2. Per-Cluster Codeboektraining

In plaats van één globaal codeboek, traint CGVQ drie onafhankelijke codeboeken per cluster om de onderscheidende statistische eigenschappen van elk type attribuut te benutten:

1. Positie ($\mu$): Gemodelleerd met 16-bit floating-point Quantization-Aware Training (QAT) met een "Straight-Through" FakeVQ-estimator.
2. Rotatie-Schaal (RS): Gemodelleerd met een Uniform Vector Kwantisatie (UQ) codeboek.
3. Kleur ($c$): Gemodelleerd met een Residuele Vector Kwantisatie (RQ) codeboek voor fijngestuurde residuele verfijning.

Deze codeboeken worden end-to-end getraind door een gezamenlijke verliesfunctie te minimaliseren: $L = L_{recon} + L_{vq}$. De reconstructieverliesfunctie ($L_{recon}$) combineert pixelwijze $L_1$-loss en perceptuele $L_1$-loss in de feature-ruimte, terwijl $L_{vq}$ fungeert als een commitment-loss om encoder-outputs te regulariseren naar hun toegewezen codeboek-entries.

3. Decoding Pipeline

Tijdens het decoderen wordt elk gecomprimeerd cluster onafhankelijk verwerkt:

• Kwantisatie-indices worden gebruikt om waarden op te zoeken in de drie toegewezen codeboeken (FP16 voor positie, UQ voor RS, RQ voor kleur).
• De gedecodeerde primitieven uit alle $K$ clusters worden samengesteld tot een enkele Gaussische set voor rendering.
• Bitrate Reductie: De kwantisatie-indextabellen ondergaan Partial Bits Back Encoding om de uiteindelijke bitrate verder te verlagen.

Belangrijkste Bijdragen

1. Gepartitioneerde Kwantisatie: Het voorstel van CGVQ, dat 2D Gaussische primitieven in laag-variante groepen verdeelt vóór de kwantisatie, in plaats van een globale kwantisatiestrategie toe te passen.
2. Gelokaliseerde Codeboeken: De demonstratie dat gelokaliseerde, cluster-specifieke codeboeken een superieure compressie-getrouwheid-balans bieden vergeleken met globale codeboek-baselines, wat PSNR en SSIM verbetert bij vergelijkbare bitrates.
3. Clustering Optimalisatie: Het benadrukken van het potentieel van K-Means clustering als een richting voor het optimaliseren van toekomstige codeboek-kwantisatie in Gaussische representaties.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Kodak-dataset met Gaussische primitieven variërend van 10K tot 25K.

• Rate-Distortion Prestaties: CGVQ presteert consequent beter dan de GI-baseline. Bij een vergelijkbare reconstructiegetrouwheid (ongeveer 31,0 dB), bereikt CGVQ een reductie van 20% in bits-per-pixel (bpp) (1,92 bpp vs. 2,40 bpp voor GI).
• High-Fidelity Regime: Het voordeel is het meest uitgesproken in hoogwaardige regimes (boven 30 dB), waar CGVQ een hogere PSNR en sterkere structurele gelijkenis (SSism) behoudt.
• Parameter Efficiëntie: Met een vast aantal van 15K primitieven verbetert CGVQ de PSNR met 1,68 dB ten opzichte van GI. Bovendien bereikt CGVQ met 15K primitieven een visuele kwaliteit die vergelijkbaar is met GI met 19K primitieven, wat een reductie van 21% betekent in het vereiste aantal primitieven.
• Computationele Afweging: Het verhogen van het aantal clusters ($K$) verbetert de compressiekwaliteit maar introduceert runtime overhead. Naarmate $K$ toeneemt van 1 naar 16, daalt de encoding FPS van $2,91 \times 10^{-2}$ naar $1,9 \times 10^{-3}$, en de decoding FPS daalt van 133,3 naar 33,3.

Betekenis en Claims

Het artikel claimt dat CGVQ effectief de opslagkosten van 2D Gaussische primitieven aanpakt door gebruik te maken van het principe dat smallere parameterverdelingen gemakkelijker nauwkeurig te kwantiseren zijn. Door primitieven in homogene clusters te verdelen op basis van uiterlijk en anisotropie, beperkt de methode de parametervariantie binnen groepen, waardoor gelokaliseerde multi-codeboekontwerpen fijnere details nauwkeuriger kunnen vastleggen dan globale benaderingen.

De auteurs positioneren dit werk als een uitbreiding van het GI-framework, wat een efficiëntere kwantisatiestrategie biedt die de rate-distortion-prestaties verbetert. Ze erkennen echter expliciet een afweging: hoewel de compressiekwaliteit verbetert met fijnere clustering, gaat dit ten koste van de snelheid van encoding en decoding. De methode wordt gepresenteerd als een stap naar het optimaliseren van codeboek-kwantisatie voor Gaussische beeldcompressie, waarbij een balans wordt gezocht tussen visuele getrouwheid en computationele efficiëntie.