Learning Hierarchical Sparse Transform Coding for 3DGS Compression

Cet article propose une méthode de codage par transformée d'entraînement (TTC) hiérarchique et parcimonieuse qui intègre une transformée analyse-synthèse aux 3DGS pour optimiser conjointement la représentation et le modèle d'entropie, améliorant ainsi significativement les performances taux-distorsion tout en maintenant un temps de décodage rapide.

L'essentiel

Imaginez que vous essayez d'envoyer un modèle 3D ultra-détaillé d'une scène (comme une pièce de jeu ou un paysage) à un ami. Avec la technologie actuelle, appelée 3DGS (Gaussians Splatting), cette scène est composée de millions de petits "nuages" de couleur et de forme (des gaussiennes). C'est magnifique et rapide à afficher, mais le fichier est énorme, comme essayer d'envoyer une bibliothèque entière par email.

Les méthodes actuelles pour compresser ce fichier sont un peu comme essayer de faire tenir une valise trop pleine en la forçant de force, ou en enlevant des objets au hasard. Cela fonctionne, mais on perd de la qualité ou le fichier reste trop gros.

Voici comment les auteurs de cette nouvelle étude ont trouvé une solution plus intelligente, en utilisant une analogie culinaire et architecturale.

1. Le Problème : La Valise Mal Remplie

Actuellement, les méthodes de compression se concentrent uniquement sur le "serrage" final (l'encodage). C'est comme si vous aviez une valise remplie de vêtements froissés et vous essayiez juste de la fermer avec une sangle très forte.

• Le résultat : La sangle (le codeur) doit travailler dur, le processus est lent, et vous finissez souvent par casser quelque chose (perte de qualité) ou la valise reste trop grosse.
• L'erreur : On n'a pas plié les vêtements avant de les mettre dans la valise.

2. La Solution : L'Architecture "Haut de Gamme" (TTC)

Les auteurs proposent une nouvelle approche appelée TTC (Transform Coding au moment de l'entraînement). Au lieu de juste serrer la valise, ils changent la façon dont les vêtements sont préparés pendant qu'on les fabrique.

Imaginez que vous êtes un chef cuisinier (l'ordinateur) qui prépare un plat complexe pour un voyage.

• L'ancienne méthode : Vous mettez tous les ingrédients crus, en vrac, dans un sac, et vous espérez qu'ils ne se mélange pas trop.
• La nouvelle méthode (TTC) : Vous apprenez à vos ingrédients à se comporter ensemble pendant la cuisson. Vous créez une recette qui dit : "Toi, l'oignon, tu te mets ici, et toi, la carotte, tu te mets là, pour qu'ils prennent le moins de place possible."

3. La Recette Magique : SHTC (Le Couteau Suisse)

Le cœur de leur invention est une technique appelée SHTC. C'est une architecture en deux étages, comme un immeuble très bien conçu :

Étage 1 : Le Tri Intelligent (KLT)

Imaginez que vous avez un tas de 50 couleurs différentes mélangées. La plupart sont très similaires (du rouge foncé, du rouge clair, du rose...).

• L'astuce : Au lieu de garder les 50 couleurs, le système utilise un "tri magique" (appelé KLT) pour dire : "Garde seulement les 15 couleurs les plus importantes qui définissent l'ambiance générale."
• Le gain : Vous jetez 35 couleurs inutiles. Le fichier devient beaucoup plus petit.
• Le problème : En jetant ces couleurs, vous perdez un peu de détails fins (comme la texture d'un tissu).

Étage 2 : Le Rattrapage Malin (Réseau de neurones économe)

C'est ici que la magie opère. Au lieu de garder toutes les couleurs jetées (ce qui annulerait le gain), le système utilise un réseau de neurones très léger et intelligent pour ne garder que les "trous" laissés par le tri.

• L'analogie : Imaginez que vous avez un dessin au trait (les 15 couleurs principales). Il manque un peu de nuance. Au lieu de redessiner tout le tableau, vous utilisez un crayon spécial qui ne dessine que les petites ombres manquantes.
• Pourquoi c'est génial ? Ce réseau de neurones est conçu pour être "paranoid" sur l'espace. Il ne garde que les informations vraiment nécessaires (les parties "rares" ou "sparses" du signal). C'est comme utiliser un code secret très court pour décrire les détails manquants.

4. Pourquoi c'est révolutionnaire ?

Dans les méthodes précédentes, le "pliage" (la transformation) et le "serrage" (la compression) étaient séparés. C'était comme si un architecte dessinait la maison, puis un autre essayait de la compresser dans un carton sans connaître les plans.

Ici, tout est appris ensemble :

1. La façon de représenter la scène.
2. La façon de trier les données.
3. La façon de les compresser.

C'est comme si l'architecte, le maçon et l'emballeur travaillaient dans la même équipe, en temps réel, pour créer une maison qui rentre parfaitement dans un carton de la taille d'une boîte à chaussures, sans que le meuble ne soit abîmé.

Les Résultats Concrets

• Taille : Le fichier est beaucoup plus petit (jusqu'à 60% de réduction par rapport aux meilleurs systèmes actuels).
• Vitesse : Comme le système est plus simple et mieux organisé, il se décompresse beaucoup plus vite. C'est crucial pour la réalité virtuelle ou les jeux en ligne où l'on ne veut pas attendre que l'image charge.
• Qualité : L'image reste aussi belle, voire plus belle, car on a mieux préservé les détails importants.

En résumé : Cette méthode ne force pas le fichier à entrer dans un petit espace. Elle réorganise intelligemment les données dès le départ, en utilisant un tri mathématique suivi d'un "nettoyage" ultra-efficace, pour que le résultat soit à la fois petit, rapide et de haute qualité. C'est passer de "forcer la valise" à "concevoir une valise parfaite pour le contenu".

Résumé technique

1. Problématique

Le 3D Gaussian Splatting (3DGS) a révolutionné la synthèse de nouvelles vues en temps réel avec une haute qualité. Cependant, la représentation brute d'une scène 3DGS nécessite des millions de primitives gaussiennes, entraînant un surcoût de stockage et de bande passante considérable.

Les méthodes de compression existantes souffrent de limitations majeures :

• Approches non structurées (élagage, quantification) : Elles offrent des taux de compression limités.
• Approches structurées basées sur des ancres (ex: HAC, ContextGS) : Elles reposent sur des modèles d'entropie de plus en plus complexes pour capturer les dépendances statistiques entre les attributs des gaussiennes. Cela alourdit le décodage (latence élevée) et ne supprime pas efficacement la redondance avant le codage.
• Codage transformé post-entraînement (PTC) : Certaines méthodes appliquent des transformées (comme la DCT ou des réseaux de neurones) après l'entraînement du 3DGS. Cette approche découple l'apprentissage de la transformée de celui de la représentation 3DGS, empêchant une adaptation mutuelle optimale et limitant les gains en taux-distorsion (R-D).

Le défi central est de concevoir un système qui intègre une transformée d'analyse-synthèse directement dans le processus d'entraînement, tout en respectant une contrainte stricte de budget de paramètres (car les paramètres de la transformée spécifique à la scène doivent être transmis dans le flux de bits).

2. Méthodologie : TTC et SHTC

Les auteurs proposent un nouveau paradigme appelé TTC (Training-time Transform Coding), où la transformée, le modèle d'entropie et la représentation 3DGS sont optimisés conjointement sous un objectif unique de taux-distorsion.

Au cœur de cette méthode se trouve l'architecture SHTC (Sparsity-guided Hierarchical Transform Coding), conçue pour être efficace en paramètres et en calcul.

A. Architecture Hiérarchique à Deux Couches

SHTC évite les graphes spatiaux coûteux (KNN) en se limitant au domaine des canaux (attributs des ancres) et utilise une hiérarchie légère :

1. Couche 1 : Transformée de Karhunen-Loève (KLT)

   • Objectif : Décorrélation et compaction d'énergie.
   • Fonctionnement : Une KLT est appliquée aux vecteurs d'attributs des ancres. Elle concentre la majeure partie de l'énergie du signal dans un petit nombre de coefficients principaux.
   • Compression : Seuls les $M$ coefficients principaux (les plus énergétiques) sont conservés, quantifiés et codés. Cela réduit considérablement le débit mais introduit une erreur de troncature.

2. Couche 2 : Raffinement par Transformée Neuronale (Residual Coding)

   • Objectif : Compenser l'erreur de troncature de la couche 1 avec un coût de débit minimal.
   • Hypothèse : Le résidu (la différence entre le signal original et la reconstruction KLT) est parcimonieux (contient beaucoup de valeurs proches de zéro).
   • Implémentation : Inspiré de la Compressed Sensing (CS), la méthode encode le résidu via un petit nombre de mesures linéaires apprises. La reconstruction utilise un décodeur par "deep unfolding" (déploiement profond) basé sur l'algorithme ISTA (Iterative Shrinkage-Thresholding Algorithm).
   • Avantage : Cette approche intègre une induction de parcimonie (sparsity prior) directement dans l'architecture, permettant d'utiliser un réseau de neurones très petit (peu de paramètres) tout en obtenant une reconstruction précise.

B. Intégration dans le Pipeline

La méthode est intégrée dans le cadre HAC (Hash-grid Assisted Context).

• Les coordonnées des ancres sont compressées via MPEG-GPCC.
• Les attributs transformés (coefficients KLT et mesures du résidu) sont quantifiés et codés par entropie en utilisant un modèle de contexte assisté par des grilles de hachage multi-échelles.
• L'ensemble (3DGS, transformée, modèle d'entropie) est entraîné de bout en bout.

3. Contributions Clés

1. Paradigme TTC (Training-time Transform Coding) : Première approche à optimiser conjointement la représentation 3DGS, le modèle d'entropie et la transformée d'analyse-synthèse, permettant une adaptation mutuelle pour une meilleure efficacité de compression.
2. Architecture SHTC : Conception d'une transformée hiérarchique légère combinant une KLT (linéaire, optimale pour la décorrélation) et un raffinement neuronal parcimonieux (inspiré de la CS et du deep unfolding).
3. Efficacité des Paramètres : Contrairement aux réseaux de neurones "boîte noire" lourds, SHTC utilise une structure interprétable qui nécessite très peu de paramètres supplémentaires (seulement ~1 154 paramètres nets ajoutés par rapport à la base HAC), ce qui est crucial car ces paramètres doivent être transmis.
4. Compromis Taux-Décodeur : La méthode offre un excellent compromis entre la qualité de reconstruction (R-D) et la vitesse de décodage, évitant la latence élevée des modèles d'entropie complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données réels et synthétiques (Mip-NeRF360, Tanks&Temples, DeepBlending, etc.).

• Performance Taux-Distorsion (R-D) :
  • SHTC surpasse systématiquement les méthodes de l'état de l'art (SOTA) comme HAC++, ContextGS, et CAT-3DGS.
  • Sur le jeu de données Mip-NeRF360, la méthode atteint un gain de BD-rate de -64,82% par rapport à HAC (la base) et -20,81% par rapport à HAC++. Cela signifie une réduction massive de la taille du fichier pour une qualité équivalente.
• Efficacité de Décodage :
  • Grâce à la simplification du modèle d'entropie (rendu possible par la décorrélation préalable via la KLT), le temps de décodage est faible.
  • La méthode se situe sur la frontière de Pareto du compromis "Temps de décodage vs Gain BD-rate", surpassant les méthodes complexes qui ont une latence de décodage beaucoup plus élevée.
• Comparaison avec d'autres approches :
  • SHTC bat les méthodes de compression post-entraînement (PTC) comme SOG, CodecGS, et MesonGS, confirmant que l'optimisation conjointe est supérieure à l'application de transformées fixes sur un modèle gelé.
  • Elle réduit la taille mémoire d'environ 349x par rapport au 3DGS brut et 33x par rapport à Scaffold-GS, tout en maintenant une qualité visuelle comparable.

5. Signification et Impact

Cette recherche marque un tournant dans la compression de scènes 3D basées sur des gaussiennes :

• Changement de Paradigme : Elle démontre que l'intégration de transformées apprises pendant l'entraînement (TTC) est supérieure aux approches post-entraînement ou purement basées sur des modèles d'entropie complexes.
• Efficacité pour le Réel : En minimisant la latence de décodage et la taille du modèle, SHTC rend le 3DGS beaucoup plus viable pour des applications en temps réel et à bande passante limitée (VR, jeux immersifs, préservation du patrimoine culturel).
• Généralité : La stratégie de conception de transformées parcimonieuses et à faible coût paramétrique (via le deep unfolding et la parcimonie) pourrait servir de modèle pour le développement de codecs neuronaux légers pour l'image et la vidéo.

En résumé, l'article propose une solution élégante et performante qui résout le problème de la redondance dans le 3DGS non pas en alourdissant le décodeur, mais en apprenant une représentation plus compressible dès la phase d'entraînement.