Résumé Technique : Quantification de Codebooks par Regroupement pour la Compression d'Images Basée sur les Gaussiennes 2D

Énoncé du Problème

Les représentations d'images basées sur les gaussiennes, telles que celles proposées par Zhang et al. [2025a], modélisent le contenu de l'image à l'aide de primitives paramétriques compactes (gaussiennes 2D) afin d'obtenir une haute fidélité visuelle et un rendu indépendant de la résolution. Cependant, le stockage du grand nombre de paramètres en virgule flottante non contraints requis pour chaque primitive (position, rotation-échelle et couleur) dégrade considérablement l'efficacité du compromis taux-distorsion, particulièrement pour les cibles de haute fidélité.

Bien que des travaux antérieurs (GI) aient tenté d'aborder ce problème en utilisant une quantification vectorielle (VQ) globale et une quantification vectorielle résiduelle (RQ) pour compresser ces attributs en codebooks discrets, un codebook global unique peine à cartographier l'immense variance des paramètres d'images naturelles. Cette contrainte de capacité entraîne inévitablement des erreurs de quantification et des artefacts visuels. Le défi central consiste à préserver une reconstruction gaussienne précise tout en contraignant l'entropie des paramètres pour améliorer l'efficacité du codebook.

Méthodologie : Quantification Vectorielle Guidée par le Regroupement (CGVQ)

Les auteurs proposent la CGVQ, une méthode qui partitionne les paramètres gaussiens en groupes homogènes avant la quantification. Le principe sous-jacent est que, pour une capacité de codebook fixe, des distributions de paramètres plus étroites produisent de meilleurs résultats de quantification.

1. Stratégie de Regroupement (Clustering)

Avant l'entraînement du codebook, la méthode regroupe les primitives gaussiennes 2D en fonction de la similitude de leurs caractéristiques via un regroupement K-Means :

• Vecteur de Caractéristiques : Pour chaque primitive $G_i$, un vecteur de caractéristiques $f_i$ est construit en concaténant les attributs de rotation ($r_i$), d'échelle ($s_i$) et de couleur RGB ($c_i$).
• Exclusion de la Position : La position 2D ($\mu_i$) est délibérément exclue des caractéristiques de regroupement car la qualité de la compression est hautement sensible à la précision spatiale ; un regroupement basé sur la position pourrait dégrader la fidélité géométrique.
• Processus : Les caractéristiques normalisées sont partitionnées en $K$ clusters disjoints pour minimiser la variance intra-cluster. Le nombre de clusters $K$ est sélectionné manuellement (généralement entre 4 et 16) pour équilibrer la fidélité de reconstruction et l'efficacité de la compression.
• Cohérence : Le regroupement est effectué une seule fois après la convergence de l'entraînement initial, et les affectations de clusters résultantes sont partagées entre tous les quantificateurs spécifiques aux paramètres.

2. Entraînement de Codebook par Cluster

Au lieu d'un codebook global unique, la CGVQ entraîne trois codebooks indépendants par cluster pour exploiter les propriétés statistiques distinctes de chaque type d'attribut :

1. Position ($\mu$) : Modélisée par une quantification sensible à la quantification (QAT) en virgule flottante 16 bits avec un estimateur "Straight-Through" FakeVQ.
2. Rotation-Échelle (RS) : Modélisée par un codebook de quantification vectorielle uniforme (UQ).
3. Couleur ($c$) : Modélisée par un codebook de quantification vectorielle résiduelle (RQ) pour un raffinement précis des résidus.

Ces codebooks sont entraînés de bout en bout en minimisant une fonction de perte jointe : $L = L_{recon} + L_{vq}$. La perte de reconstruction ($L_{recon}$) combine une perte $L_1$ par pixel et une perte $L_1$ perceptuelle dans l'espace de caractéristiques, tandis que $L_{vq}$ agit comme une perte d'engagement pour régulariser les sorties de l'encodeur vers leurs entrées de codebook assignées.

3. Pipeline de Décodage

Lors du décodage, chaque cluster compressé est traité indépendamment :

• Les indices de quantification sont utilisés pour rechercher les valeurs dans les trois codebooks dédiés (FP16 pour la position, UQ pour RS, RQ pour la couleur).
• Les primitives décodées de tous les $K$ clusters sont composées en un ensemble de gaussiennes unique pour le rendu.
• Réduction du Débit : Les tables d'index de quantification subissent un codage de type "Partial Bits Back" pour réduire davantage le débit final.

Contributions Clés

1. Quantification Partitionnée : La proposition de la CGVQ, qui partitionne les primitives gaussiennes 2D en groupes à faible variance avant la quantification, plutôt que d'appliquer une stratégie de quantification globale.
2. Codebooks Localisés : La démonstration que des codebooks localisés et spécifiques à chaque cluster offrent un meilleur compromis compression-fidélité par rapport aux bases de comparaison à codebook global, améliorant le PSNR et le SSIM à des débits comparables.
3. Optimisation du Regroupement : La mise en évidence du potentiel du regroupement K-Means comme direction pour optimiser la quantification des codebooks dans les représentations gaussiennes futures.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Kodak avec des primitives gaussiennes allant de 10K à 25K.

• Performance Taux-Distorsion : La CGVQ surpasse systématiquement la base GI. À fidélité de reconstruction similaire (environ 31,0 dB), la CGVQ réalise une réduction de 20 % des bits par pixel (bpp) (1,92 bpp contre 2,40 bpp pour GI).
• Régime de Haute Fidélité : L'avantage est plus marqué dans les régimes de haute qualité (au-dessus de 30 dB), où la CGVQ maintient un PSNR plus élevé et une similitude structurelle (SSIM) plus forte.
• Efficacité des Paramètres : Avec un nombre fixe de 15K primitives, la CGVQ améliore le PSNR de 1,68 dB par rapport à GI. De plus, la CGVQ avec 15K primitives atteint une qualité visuelle comparable à GI avec 19K primitives, ce qui représente une réduction de 21 % du nombre de primitives requis.
• Compromis Computationnel : L'augmentation du nombre de clusters ($K$) améliore la qualité de compression mais introduit une surcharge de temps d'exécution. Lorsque $K$ passe de 1 à 16, le FPS d'encodage chute de $2,91 \times 10^{-2}$ à $1,9 \times 10^{-3}$, et le FPS de décodage chute de 133,3 à 33,3.

Signification et Revendications

L'article affirme que la CGVQ traite efficacement le coût de stockage des primitives gaussiennes 2D en exploitant le principe selon lequel des distributions de paramètres plus étroites sont plus faciles à quantifier avec précision. En partitionnant les primitives en clusters homogènes basés sur l'apparence et l'anisotropie, la méthode contraint la variance des paramètres au sein des groupes, permettant aux conceptions de multi-codebooks localisés de capturer les détails à haute fréquence plus précisément que les approches globales.

Les auteurs positionnent ce travail comme une extension du cadre GI, offrant une stratégie de quantification plus efficace qui améliore les performances taux-distorsion. Cependant, ils reconnaissent explicitement un compromis : bien que la qualité de compression s'améliore avec un regroupement plus fin, cela se fait au détriment des vitesses d'encodage et de décodage. La méthode est présentée comme une étape vers l'optimisation de la quantification des codebooks pour la compression d'images basée sur les gaussiennes, équilibrant la fidélité visuelle et l'efficacité computationnelle.