💻 computer science

Clustered Codebook Quantization for 2D Gaussian-based Image Compression

Dieses Paper stellt Cluster-Guided Vector Quantization (CGVQ) vor, eine Methode, die Gauß-Parameter vor der Quantisierung in homogene Gruppen unterteilt, um eine Reduktion der Bits pro Pixel um 20 % zu erreichen, während die visuelle Qualität im Vergleich zur Baseline für die 2D-Gauß-basierte Bildkompression vergleichbar bleibt.

Ursprüngliche Autoren: Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

Veröffentlicht 2026-07-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein massives, hochauflösendes digitales Gemälde, das aus Millionen winziger, leuchtender, ovaler Aufkleber besteht (genannt „2D-Gaussian-Primitive“). Jeder Aufkleber hat spezifische Anweisungen, wo er sitzen soll, wie groß er sein soll, wie er sich drehen soll und welche Farbe er leuchten soll. Diese Methode ist großartig, um Bilder scharf und realistisch aussehen zu lassen, aber es gibt ein Problem: Das Speichern der exakten Anweisungen für jeden einzelnen Aufkleber verbraucht eine riesige Menge digitalen Platz, als würde man versuchen, eine ganze Bibliothek in seinem Rucksack zu tragen.

Das Paper stellt einen neuen Trick namens CGVQ (Clustered Codebook Quantization) vor, um den Rucksack zu verkleinern, ohne die Qualität des Bildes zu verlieren. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Eine Einheitsgröße passt nicht für alle

Früher versuchten Forscher, um Platz zu sparen, alle Aufkleber in ein einziges, riesiges „Anweisungs-Wörterbuch“ (ein globales Codebook) zu pressen. Stellen Sie sich vor, Sie versuchen, jedes einzelne Objekt in einer Stadt – von einer winzigen Ameise bis zu einem Wolkenkratzer – mit nur einer Liste von 1.000 Wörtern zu beschreiben. Sie müssten sehr vage Wörter wie „großes Ding“ oder „kleines Ding“ verwenden, was die Beschreibung ungenau macht. Dies führt zu unscharfen Bildern oder „Artefakten“ (seltsamen Fehlern), weil das Wörterbuch nicht spezifisch genug war.

Die Lösung: Sortieren nach Stil

Die Idee der Autoren ist es, die Aufkleber in Gruppen zu sortieren, bevor sie versucht werden zu schrumpfen.

Das Sortieren (K-Means Clustering): Stellen Sie sich vor, Sie haben eine Kiste mit gemischten LEGO-Steinen. Anstatt zu versuchen, sie alle auf einmal zu beschreiben, sortieren Sie sie in Haufen: einen Haufen für rote Steine, einen für blaue Steine, einen für winzige 1x1-Steine und einen für riesige 4x4-Steine. In dem Paper sortieren sie die Bild-Aufkleber basierend auf ihrer „Persönlichkeit“ – wie sie rotiert sind, wie groß sie sind und welche Farbe sie haben.
Die spezialisierten Wörterbücher (Cluster-spezifische Codebooks): Sobald die Aufkleber in diese ordentlichen Haufen sortiert sind, erstellt das System ein kleines, spezialisiertes Wörterbuch für jeden Haufen.
- Der „Rote Stein“-Haufen erhält ein Wörterbuch voller spezifischer Rottöne.
- Der „Winzige Stein“-Haufen erhält ein Wörterbuch voller präziser kleiner Größen.
- Da jedes Wörterbuch nur eine bestimmte Art von Aufkleber beschreiben muss, kann es viel präziser sein und weniger Wörter (Bits) verwenden, um die Aufgabe zu erledigen.

Das Ergebnis: Ein kleinerer Rucksack, dasselbe Bild

Durch die Verwendung dieser spezialisierten Wörterbücher kann das System das Bild viel effizienter beschreiben.

Die Behauptung: Das Paper besagt, dass diese Methode die Dateigröße im Vergleich zur bisher besten Methode (GI) um etwa 20 % schrumpft, während das Bild genauso scharf aussieht.
Der Kompromiss: Es gibt einen kleinen Preis. Das Sortieren der Aufkleber in Gruppen und das Verwalten mehrerer Wörterbücher nimmt etwas mehr Zeit bei der Verarbeitung in Anspruch. Das Paper stellt fest, dass die Geschwindigkeit beim Speichern und Laden des Bildes langsamer wird, wenn man mehr Gruppen verwendet (um eine bessere Qualität zu erreichen). Es ist ein Kompromiss zwischen wie klein Sie die Datei haben wollen und wie schnell Sie sie öffnen können.

Zusammenfassend

Denken Sie an das Packen für eine Reise.

Alter Weg: Sie werfen alles in einen einzigen riesigen Koffer und versuchen, ihn mit „Sachen“ zu beschriften. Er ist schwer und unordentlich.
Neuer Weg (CGVQ): Sie sortieren Ihre Kleidung in „Shirts“, „Hosen“ und „Schuhe“ und packen sie in separate, perfekt passende Taschen. Sie können die gleiche Menge an Sachen in einen kleineren Gesamtplatz unterbringen und können schneller finden, was Sie brauchen (obwohl das Sortieren am Anfang eine Minute dauert).

Das Paper beweist, dass das Organisieren der Bilddaten in ähnliche Gruppen zuerst die Komprimierung des Bildes erheblich verbessert, ohne dass es unscharf aussieht.

Technisches Resümee: Geklusterte Codebook-Quantisierung für die 2D-Gauß-basierte Bildkompression

Problemstellung

Gauß-basierte Bildrepräsentationen, wie sie von Zhang et al. [2025a] vorgeschlagen wurden, modellieren Bildinhalte mithilfe kompakter parametrischer Primitiven (2D-Gauß-Verteilungen), um eine hohe visuelle Treue und resolutionsunabhängiges Rendering zu erreichen. Das Speichern der großen Anzahl unbeschränkter Fließkommaparameter, die für jedes Primitive erforderlich sind (Position, Rotation-Skalierung und Farbe), verschlechtert jedoch die Rate-Distortion-Effizienz erheblich, insbesondere bei hohen Fidelity-Zielen.

Während vorangegangene Arbeiten (GI) versuchten, dies durch globale Vektorquantisierung (VQ) und Residual-Vektorquantisierung (RQ) zu adressieren, um diese Attribute in diskrete Codebooks zu komprimieren, hat ein einzelnes globales Codebook Schwierigkeiten, die immense Varianz natürlicher Bildparameter abzubilden. Diese Kapazitätsbeschränkung führt unweigerlich zu Quantisierungsfehlern und visuellen Artefakten. Die zentrale Herausforderung besteht darin, eine genaue Gauß-Rekonstruktion zu bewahren und gleichzeitig die Parameterentropie zur Verbesserung der Codebook-Effizienz zu begrenzen.

Methodik: Cluster-geleitete Vektorquantisierung (CGVQ)

Die Autoren schlagen CGVQ vor, eine Methode, die 2D-Gauß-Primitive vor der Quantisierung in homogene Gruppen unterteilt. Das zugrunde liegende Prinzip ist, dass engere Parameterverteilungen bei einer festen Codebook-Kapazität bessere Quantisierungsergebnisse liefern.

1. Clustering-Strategie

Vor dem Training des Codebooks gruppiert die Methode 2D-Gauß-Primitive bassierend auf der Ähnlichkeit ihrer Merkmale mittels K-Means-Clustering:

Merkmalsvektor: Für jedes Primitive $G_i$ wird ein Merkmalsvektor $f_i$ erstellt, der die Attribute Rotation ( $r_i$ ), Skalierung ( $s_i$ ) und RGB-Farbe ( $c_i$ ) konkateniert.
Ausschluss der Position: Die 2D-Position ( $\mu_i$ ) wird bei den Clustering-Merkmalen bewusst ausgeschlossen, da die Kompressionsqualität sehr empfindlich auf räumliche Genauigkeit reagiert; eine Gruppierung basierend auf der Position könnte die geometrische Treue beeinträchtigen.
Prozess: Die normalisierten Merkmale werden in $K$ disjunkte Cluster unterteilt, um die Intra-Cluster-Varianz zu minimieren. Die Anzahl der Cluster $K$ wird manuell ausgewählt (typischerweise zwischen 4 und 16), um ein Gleichgewicht zwischen Rekonstruktionstreue und Kompressionseffizienz zu finden.
Konsistenz: Das Clustering wird einmal nach der Konvergenz des initialen Trainings durchgeführt, und die resultierenden Cluster-Zuweisungen werden über alle parameterspezifischen Quantisierer hinweg geteilt.

2. Per-Cluster Codebook-Training

Anstatt eines einzelnen globalen Codebooks trainiert CGVQ drei unabhängige Codebooks pro Cluster, um die unterschiedlichen statistischen Eigenschaften der jeweiligen Attributtypen auszunutzen:

Position ( $\mu$ ): Modelliert mittels 16-Bit-Fließkomma-Quantization-Aware-Training (QAT) mit einem „Straight-Through“-FakeVQ-Estimator.
Rotation-Skalierung (RS): Modelliert mittels eines Uniformen Vektorquantisierungs-Codebooks (UQ).
Farbe ( $c$ ): Modelliert mittels eines Residual-Vektorquantisierungs-Codebooks (RQ) für eine feingliedrige Residual-Verfeinerung.

Diese Codebooks werden End-to-End durch Minimierung einer gemeinsamen Verlustfunktion trainiert: $L = L_{recon} + L_{vq}$ . Der Rekonstruktionsverlust ( $L_{recon}$ ) kombiniert einen pixelweisen $L_1$ -Verlust und einen perzeptuellen $L_1$ -Verlust im Merkmalsraum, während $L_{vq}$ als Commitment-Loss fungiert, um die Encoder-Ausgaben in Richtung ihrer zugewiesenen Codebook-Einträge zu regularisieren.

3. Decoding-Pipeline

Während des Decodings wird jeder komprimierte Cluster unabhängig verarbeitet:

Quantisierungsindizes werden verwendet, um Werte in den drei dedizierten Codebooks nachzuschlagen (FP16 für Position, UQ für RS, RQ für Farbe).
Die dekodierten Primitives aus allen $K$ Clustern werden zu einem einzigen Gauß-Satz für das Rendering zusammengesetzt.
Bitratenreduktion: Die Quantisierungsindex-Tabellen durchlaufen eine „Partial Bits Back Encoding“, um die endgültige Bitrate weiter zu reduzieren.

Zentrale Beiträge

Partitionierte Quantisierung: Der Vorschlag von CGVQ, der 2D-Gauß-Primitive in niedrigvariante Gruppen unterteilt, bevor die Quantisierung erfolgt, anstatt eine globale Quantisierungsstrategie anzuwenden.
Lokalisierte Codebooks: Der Nachweis, dass lokalisierte, cluster-spezifische Codebooks einen überlegenen Kompressions–Fidelity-Trade-off im Vergleich zu globalen Codebook-Baselines bieten und PSNR sowie SSIM bei vergleichbaren Bitraten verbessern.
Optimierung des Clusterings: Hervorhebung des Potenzials von K-Means-Clustering als Richtung zur Optimierung der zukünftigen Codebook-Quantisierung in Gauß-Repräsentationen.

Experimentelle Ergebnisse

Die Experimente wurden am Kodak-Datensatz mit Gauß-Primitiven im Bereich von 10K bis 25K durchgeführt.

Rate-Distortion-Performance: CGVQ übertrifft die GI-Baseline konsistent. Bei ähnlicher Rekonstruktionstreue (ca. 31,0 dB) erreicht CGVQ eine Reduktion der Bits pro Pixel (bpp) um 20 % (1,92 bpp gegenüber 2,40 bpp bei GI).
High-Fidelity-Regime: Der Vorteil ist im Hochqualitätsbereich (über 30 dB) am ausgeprägtesten, wo CGVQ eine höhere PSNR und eine stärkere strukturelle Ähnlichkeit (SSIM) beibehält.
Parameter-Effizienz: Mit einer festen Anzahl von 15K Primitiven verbessert CGVQ die PSNR um 1,68 dB gegenüber GI. Darüber hinaus erreicht CGVQ mit 15K Primitiven eine visuelle Qualität, die mit GI mit 19K Primitiven vergleichbar ist, was einer Reduktion der benötigten Primitivanzahl um 21 % entspricht.
Rechenaufwand-Trade-off: Eine Erhöhung der Anzahl der Cluster ( $K$ ) verbessert die Kompressionsqualität, führt jedoch zu einem Overhead bei der Laufzeit. Wenn $K$ von 1 auf 16 steigt, sinkt die Encoding-FPS von $2,91 \times 10^{-2}$ auf $1,9 \times 10^{-3}$ und die Decoding-FPS sinkt von 133,3 auf 33,3.

Bedeutung und Behauptungen

Das Paper behauptet, dass CGVQ die Speicherkosten von 2D-Gauß-Primitiven effektiv adressiert, indem es das Prinzip nutzt, dass engere Parameterverteilungen leichter präzise quantisiert werden können. Durch die Partitionierung der Primitives in homogene Cluster basierend auf Erscheinungsbild und Anisotropie begrenzt die Methode die Parameter-Varianz innerhalb der Gruppen, wodurch lokalisierte Multi-Codebook-Designs hochfrequente Details präziser erfassen können als globale Ansätze.

Die Autoren positionieren diese Arbeit als Erweiterung des GI-Frameworks, die eine effizientere Quantisierungsstrategie bietet und die Rate-Distortion-Performance verbessert. Sie räumen jedoch explizit einen Trade-off ein: Während die Kompressionsqualität mit feinerem Clustering steigt, geht dies zu Lasten der Encoding- und Decoding-Geschwindigkeit. Die Methode wird als Schritt zur Optimierung der Codebook-Quantisierung für die Gauß-basierte Bildkompression präsentiert, wobei ein Gleichgewicht zwischen visueller Treue und Recheneffizienz angestrebt wird.