💻 computer science

Smol-GS: Compact Representations for Abstract 3D Gaussian Splatting

Le papier présente Smol-GS, une méthode novatrice qui apprend des représentations compactes pour le splatting gaussien 3D en utilisant un encodage positionnel dérivé des octrees et une compression basée sur l'entropie pour réduire considérablement le stockage tout en préservant la qualité du rendu.

Auteurs originaux : Haishan Wang, Mohammad Hassan Vali, Arno Solin

Publié 2026-03-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haishan Wang, Mohammad Hassan Vali, Arno Solin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Le "Gros Sac à Dos" de la 3D

Imaginez que vous voulez créer un monde virtuel ultra-réaliste (comme dans un jeu vidéo ou pour la réalité virtuelle). La technologie actuelle, appelée 3DGS (Gaussian Splatting), fonctionne comme une boîte à outils remplie de millions de petites "gouttes de peinture" flottantes (des gaussiennes). Chaque goutte contient une quantité énorme d'informations : sa position exacte, sa couleur, sa transparence, sa rotation, et même comment elle réagit à la lumière.

Le problème ? Pour stocker tout ce monde, il faut un sac à dos énorme (plusieurs gigaoctets). C'est comme si vous deviez transporter une bibliothèque entière pour lire un seul livre. C'est lourd, lent à télécharger et difficile à partager sur internet.

💡 La Solution : Smol-GS (Le "Petit Génie")

Les auteurs de ce papier, Haishan Wang et son équipe, ont créé Smol-GS. C'est une méthode magique pour réduire la taille de ces mondes virtuels de 100 à 150 fois sans perdre la qualité de l'image.

Voici comment ils y arrivent, avec trois astuces principales :

1. L'Arbre de la Forêt (Au lieu d'une liste de coordonnées)

Dans la méthode classique, on note la position de chaque goutte comme une adresse postale précise : "Rue X, Numéro Y". C'est long à écrire.
Smol-GS utilise une arborescence (un octree). Imaginez une boîte géante qui contient tout le monde.

Si une partie de la boîte est vide, on ne l'ouvre pas.
Si elle contient des gouttes, on la divise en 8 petites boîtes.
On continue de diviser uniquement les boîtes qui ont du contenu.

C'est comme chercher un trésor dans une forêt : au lieu de noter la position de chaque arbre, on dit juste "Le trésor est dans la 3ème branche de l'arbre du nord". Cela permet de stocker les positions de manière ultra-efficace, comme un code secret très court.

2. Le "Cerveau" Local (Au lieu de tout mémoriser)

Dans l'ancienne méthode, chaque goutte de peinture devait se souvenir de sa propre couleur exacte et de sa forme. C'est du gaspillage ! Si vous avez un mur rouge, pourquoi chaque goutte du mur doit-elle répéter "Je suis rouge" ?
Smol-GS utilise un petit cerveau (un réseau de neurones) très léger.

Au lieu de stocker la couleur de chaque goutte, on stocke juste une petite "clé" (un code abstrait).
Quand on veut voir l'image, le petit cerveau regarde la clé, la position de la goutte et la direction de la caméra, puis il devine la couleur et la forme exactes.
C'est comme si vous aviez un chef cuisinier qui, au lieu de noter la recette de chaque plat, se souvenait juste des ingrédients de base et recréait le plat à la demande.

3. La Compression Intelligente (Le pliage de linge)

Une fois que les données sont transformées en "clés" et en "coordonnées d'arbre", Smol-GS les compresse encore plus.

Il utilise des mathématiques pour trouver les répétitions (comme un plieur de linge expert qui sait exactement comment plier un drap pour qu'il prenne le moins de place possible).
Il supprime tout ce qui est inutile ou redondant.

🎨 Le Résultat : Merveilleux et Minuscule

Le résultat est bluffant :

Taille : Un monde qui prenait 700 Mo (comme un film HD) ne pèse plus que 4 à 5 Mo (comme une photo de haute qualité).
Qualité : L'image reste aussi nette, avec les mêmes reflets sur le verre, les mêmes ombres et les mêmes détails. On ne voit presque pas la différence avec l'original.
Vitesse : Comme le fichier est si petit, il se charge instantanément sur votre téléphone ou votre ordinateur, même avec une connexion internet lente.

En Résumé

Smol-GS est comme un magicien du rangement. Il prend un désordre immense de millions de détails 3D, les transforme en un code intelligent et compact, et les range dans une petite boîte. Quand vous voulez voir le monde, il sort la boîte, ouvre le code, et le monde réapparaît, aussi beau que jamais, mais sans avoir besoin d'un camion pour le transporter.

C'est une avancée majeure pour rendre la réalité virtuelle, les jeux vidéo et la modélisation 3D accessibles à tout le monde, partout, tout de suite.

Titre : Smol-GS : Représentations compactes pour le Splatting Gaussien 3D Abstrait

1. Problématique

Le Splatting Gaussien 3D (3DGS) est devenu un paradigme de référence pour la synthèse de nouvelles vues, offrant un rendu en temps réel et une haute qualité visuelle en modélisant une scène comme un ensemble de "splats" (gaussiennes) rasterisés. Cependant, cette méthode souffre d'une inefficacité mémoire majeure :

Les scènes complexes nécessitent souvent plusieurs millions de splats, occupant plusieurs gigaoctets (Go) de stockage.
Les méthodes de compression existantes se divisent en deux catégories :
1. Approches par traitement du signal : Quantification des attributs (couleur, opacité), mais elles n'exploitent pas pleinement les corrélations spatiales locales.
2. Approches basées sur l'apprentissage (ex: Scaffold-GS) : Utilisent des hiérarchies "ancrage-décalage" (anchor-offset) pour partager la structure. Cependant, ces méthodes introduisent des décalages transparents/invisibles, des heuristiques complexes et évitent souvent de compresser les coordonnées spatiales car la reconstruction y est très sensible.

L'objectif de Smol-GS est de surmonter ces limitations en réduisant drastiquement la taille du modèle (de plusieurs Go à quelques Mo) tout en préservant une qualité de rendu compétitive, sans sacrifier la flexibilité pour des applications comme l'édition 3D.

2. Méthodologie

Smol-GS propose une représentation neuronale compacte qui découple la géométrie explicite des attributs visuels abstraits. L'architecture repose sur cinq composantes clés :

A. Compression des Coordonnées (Encodage Octree d'Occupation)
Contrairement aux méthodes précédentes qui évitent la compression des coordonnées, Smol-GS utilise une structure Octree d'occupation :

L'espace 3D est divisé récursivement en 8 sous-boîtes.
Seules les boîtes non vides (contenant au moins un splat) sont subdivisées.
La position d'un splat est quantifiée au centre de la boîte la plus fine (profondeur $R$ ).
La structure est encodée sous forme de séquences d'octets d'occupation (1 pour occupé, 0 pour vide), puis compressée sans perte via un codage de Huffman. Cela permet une compression géométrique très efficace.

B. Encodage Positionnel (Positional Encoding)
Chaque splat hérite d'un identifiant unique dérivé de sa cellule octree finale.

Cet encodage, noté $f_{oct}$ , est une séquence binaire (code Morton) représentant la position hiérarchique du splat.
Il sert d'entrée aux réseaux de neurones pour améliorer la cohérence structurelle et l'efficacité de la représentation, remplaçant la nécessité de stocker des coordonnées flottantes de haute précision.

C. Splatting Gaussien Neuronale (Tiny Decoders)
Au lieu de stocker des attributs complets (couleur, rotation, échelle) pour chaque splat, Smol-GS apprend des caractéristiques abstraites de bas niveau ( $f \in \mathbb{R}^8$ ) et utilise de petits MLP (réseaux de neurones) pour reconstruire les attributs à la volée :

Entrées du MLP : Caractéristiques abstraites $f$ , direction de vue, distance caméra-splat, et l'encodage positionnel $f_{oct}$ .
Sorties : Opacité, couleur, rotation et facteur de mise à l'échelle (modulation).
Cela permet de capturer des indices visuels complexes (matériaux, reflets) de manière beaucoup plus compacte que les harmoniques sphériques (SH) traditionnelles.

D. Compression des Caractéristiques (Feature Compression)
Les caractéristiques abstraites $f$ et les contrôleurs de mise à l'échelle $s$ sont compressés via :

Quantification apprise : Utilisation de pas de quantification appris.
Codage arithmétique : Les distributions sont prédites par un petit réseau ( $MLP_h$ ) assisté par un encodage par hachage spatial (inspiré de InstantNGP).
Une perte de vraisemblance négative (NLL) est utilisée comme terme de régularisation pendant l'entraînement pour minimiser le nombre de bits nécessaires.

E. Pipeline d'Entraînement Adaptatif
L'entraînement se déroule en 5 étapes pour équilibrer fidélité et taille :

Warm-up : Initialisation depuis un nuage de points SfM.
Densification : Ajout de splats dans les zones sous-représentées (basé sur le gradient).
Compaction : Élagage (pruning) et régularisation de l'opacité pour réduire le nombre de splats.
Compression des caractéristiques : Quantification et encodage arithmétique des attributs.
Compression des coordonnées : Quantification finale et encodage octree des positions.

3. Contributions Clés

Smol-GS : Une nouvelle méthode de compression 3DGS qui élimine le surcoût des structures "ancrage-décalage" en utilisant une formulation neuronale directe au niveau du splat.
Encodage Positionnel Octree : Une méthode novatrice pour encoder la position spatiale, améliorant l'efficacité de la représentation neuronale et permettant une compression géométrique sans perte (dans la grille).
Réduction de Stockage Massive : La méthode atteint des taux de compression supérieurs à l'état de l'art tout en maintenant une haute qualité de rendu, validée par des évaluations quantitatives et qualitatives.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards : Mip-NeRF 360, Tanks and Temples et Deep Blending.

Performance de Compression :
- Smol-GS réduit la taille du modèle d'un facteur d'environ 150x par rapport au 3DGS standard (Vanilla 3DGS).
- Sur Mip-NeRF 360, Smol-GS atteint une taille de ~4.87 Mo pour un PSNR de 27.61 dB, surpassant les méthodes concurrentes comme HAC++, ContextGS et HEMGS qui nécessitent généralement plus de mémoire pour une qualité similaire ou inférieure.
- Il établit un nouveau meilleur compromis (Pareto frontier) entre taille du modèle et qualité (PSNR, SSIM, LPIPS).
Qualité Visuelle :
- Les reconstructions préservent les bords nets, les ombres et les effets de matériaux (spéculaires, verre) mieux que le 3DGS standard, malgré une taille de modèle inférieure.
- Moins d'artefacts visuels sont observés, grâce à la capacité des MLP à apprendre les propriétés optiques de manière adaptative.
Efficacité Temporelle :
- Temps d'entraînement : ~26 minutes par scène (sur GPU H200), comparable aux méthodes de pointe.
- Vitesse de rendu : ~241 fps en moyenne, permettant un rendu en temps réel.
- Encodage/Décodage : Très rapide (quelques secondes par scène), facilitant le transfert et le stockage.
Analyse des Composantes :
- Les caractéristiques abstraites ( $f$ ) occupent la moitié de l'espace, tandis que les coordonnées ( $x$ ) sont extrêmement efficaces grâce à l'octree. Les paramètres des MLP sont négligeables (< 0.2 Mo).

5. Signification et Impact

Smol-GS représente une avancée significative pour le domaine du rendu 3D et de la compression de scènes :

Démocratisation du 3DGS : En réduisant la taille des modèles de plusieurs Go à quelques Mo, Smol-GS rend le 3DGS viable pour des applications embarquées, mobiles et en réalité virtuelle (VR) où la bande passante et la mémoire sont limitées.
Flexibilité : Contrairement aux méthodes basées sur des grilles fixes ou des ancrages, Smol-GS conserve une structure de primitives explicite, ce qui permet des opérations d'édition 3D directes (modification de splats individuels).
Nouvelle Direction : L'approche démontre que la séparation entre géométrie explicite (compressée par octree) et attributs visuels abstraits (compressés par apprentissage) est une voie plus efficace que les méthodes purement heuristiques ou purement basées sur l'apprentissage de structures complexes.

En conclusion, Smol-GS repousse les limites de la compression 3DGS, offrant une solution "state-of-the-art" qui combine compacité extrême, haute fidélité visuelle et compatibilité avec les applications interactives.