💻 computer science

GoDe: Gaussians on Demand for Progressive Level of Detail and Scalable Compression

GoDe est un cadre général qui permet la compression évolutive et le contrôle progressif du niveau de détail pour le splatting gaussien 3D en réorganisant les primitives d'un modèle unique en une hiérarchie adaptative sans nécessiter de réentraînement.

Auteurs originaux : Francesco Di Sario, Riccardo Renzulli, Marco Grangetto, Akihiro Sugimoto, Enzo Tartaglione

Publié 2026-03-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francesco Di Sario, Riccardo Renzulli, Marco Grangetto, Akihiro Sugimoto, Enzo Tartaglione

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Le Dilemme du "Tout ou Rien"

Imaginez que vous voulez envoyer une photo de votre maison à un ami.

Si vous envoyez une photo en ultra-haute définition (4K), elle est magnifique, mais elle pèse lourd et met des heures à charger si votre connexion est lente.
Si vous envoyez une photo en basse qualité (thumbnail), elle charge instantanément, mais vous ne voyez que des taches floues.

Jusqu'à présent, avec les technologies de réalité virtuelle et de modélisation 3D (comme le 3D Gaussian Splatting), c'était le même problème. Pour avoir une version légère, il fallait créer un modèle spécial. Pour avoir une version lourde, il fallait en créer un autre. C'était comme avoir trois versions différentes de la même maison : une en carton, une en bois, et une en marbre. Si vous vouliez changer de version, il fallait tout recommencer.

💡 La Solution : GoDe (Gaussians on Demand)

Les auteurs de cet article, Francesco, Riccardo, Marco, Akihiro et Enzo, ont inventé une méthode géniale appelée GoDe (Gaussians on Demand ou "Gaussiens à la demande").

Au lieu de créer plusieurs modèles séparés, ils ont créé un seul modèle "intelligent" qui peut se transformer instantanément selon les besoins.

L'Analogie du "Lego Progressif" 🧱

Imaginez que votre modèle 3D n'est pas une statue fixe, mais une tour de Lego géante.

Le niveau 0 (Le socle) : C'est juste les grosses briques de base. Ça forme la forme générale de la maison. C'est très petit, ça charge en une seconde, mais c'est un peu grossier.
Le niveau 1 : On ajoute des briques un peu plus petites pour définir les fenêtres et la porte.
Le niveau 2, 3, 4... : On ajoute des détails de plus en plus fins : la texture de la brique, les fleurs sur le balcon, les reflets dans les vitres.

La magie de GoDe, c'est que cette tour est construite de manière à ce que vous puissiez arrêter de construire à n'importe quel étage.

Si votre téléphone est lent ou si vous êtes en 4G, vous ne téléchargez que le socle (Niveau 0). La maison s'affiche tout de suite !
Si vous passez en Wi-Fi rapide, le système ajoute automatiquement les étages suivants (Niveau 1, 2, etc.) pour affiner l'image, sans avoir besoin de tout recharger.

🔍 Comment ça marche ? (La "Recette" Magique)

Comment font-ils pour que ces briques soient dans le bon ordre ?

L'Enquêteur de Gradients (Le détective) 🔎
Pendant l'entraînement du modèle, l'ordinateur regarde chaque petite brique (appelée "Gaussienne") et se demande : "À quel point es-tu importante pour que l'image soit belle ?".
- Les briques qui définissent la forme globale (les murs) sont très importantes.
- Les briques qui ne font que des détails (une feuille d'arbre lointaine) sont moins importantes.
  GoDe classe toutes ces briques de la plus importante à la moins importante.
La Pyramide Inversée 🏔️
Ils construisent une hiérarchie :
- Bas de la pyramide : Les briques les plus importantes (la structure).
- Haut de la pyramide : Les détails fins.
  Ainsi, si on enlève le haut de la pyramide, le bas tient toujours debout et reste cohérent.
L'Entraînement "Préparé" 🎓
Avant de livrer le modèle, ils font un petit entraînement spécial où ils simulent l'ajout ou le retrait de briques aléatoirement. Cela apprend au modèle à être robuste : peu importe l'étage où on s'arrête, l'image reste belle et sans défauts bizarres.

🚀 Pourquoi c'est génial pour vous ?

Adaptabilité Instantanée : Vous jouez à un jeu vidéo sur votre téléphone. Si votre batterie faiblit ou si la connexion coupe, le jeu passe automatiquement en "mode économie" (basse qualité) sans que vous ne voyiez de coupure. Si la connexion revient, la qualité remonte doucement.
Économie de Stockage : Au lieu de stocker 10 versions différentes d'un même objet (une pour chaque qualité), vous ne stockez qu'une seule version. C'est comme avoir un seul fichier vidéo qui peut être lu en 144p, 720p ou 4K selon votre choix.
Pas de Re-entraînement : Vous n'avez pas besoin de faire recréer le modèle à chaque fois que vous voulez une nouvelle qualité. C'est prêt à l'emploi.

🎬 En Résumé

GoDe, c'est comme avoir un camion de déménagement magique.
Au lieu de charger 10 camions différents pour transporter des meubles de tailles différentes, vous avez un seul camion.

Si vous avez un petit appartement, vous ne déchargez que les gros meubles (le canapé, le lit).
Si vous avez une grande maison, vous déchargez tout, y compris les petits bibelots et les couverts.
Le camion s'adapte à la taille de la pièce en temps réel, sans avoir besoin de changer de véhicule.

C'est une avancée majeure pour rendre la réalité virtuelle et les images 3D ultra-réalistes accessibles à tout le monde, sur n'importe quel appareil, avec n'importe quelle connexion internet.

1. Problématique

Les champs de rayonnement explicites, et en particulier le 3D Gaussian Splatting (3DGS), ont révolutionné la synthèse de vues nouvelles en permettant un rendu en temps réel avec une haute fidélité. Cependant, ces modèles souffrent d'une empreinte mémoire importante (souvent des millions de primitives) et d'une limitation fondamentale : l'absence de compression évolutive (scalable).

Les approches de compression existantes sont intrinsèquement mono-taux (single-rate). Pour chaque niveau de compression ou de performance cible (par exemple, une taille de fichier spécifique ou un débit binaire donné), il faut entraîner ou affiner un modèle séparé. Cela crée une collection de points de fonctionnement fixes plutôt qu'une représentation véritablement évolutive. Cette limitation rend le déploiement difficile dans des scénarios réels où la mémoire, la bande passante ou les budgets de calcul varient dynamiquement selon les appareils ou au fil du temps.

2. Méthodologie : GoDe (Gaussians on Demand)

Les auteurs proposent GoDe, un cadre général pour la compression évolutive et le contrôle progressif du niveau de détail (LoD) dans le 3DGS. L'idée centrale est que les modèles de rayonnement explicites entraînés possèdent naturellement une distribution structurée d'informations qui peut être exploitée sans réentraînement massif.

Le processus se déroule en trois étapes principales :

A. Construction d'une Hiérarchie Progressive

À partir d'un seul modèle 3DGS pré-entraîné, GoDe réorganise les primitives gaussiennes en une hiérarchie fixe et progressive.

Décomposition : L'ensemble complet des gaussiennes $G$ est divisé en un ensemble de base $G_0$ (approximation grossière) et une séquence d'ensembles d'amélioration disjoints $\{E_1, ..., E_{L-1}\}$ .
Critère de tri (Gradient-Informed) : Pour attribuer les gaussiennes à chaque niveau, l'algorithme utilise une méthode de masquage itératif basée sur le gradient. Il calcule la sensibilité agrégée du gradient de la fonction de perte par rapport à tous les paramètres de chaque gaussienne (position, opacité, échelle, rotation, apparence).
Stratégie : Les gaussiennes ayant la plus faible sensibilité (contribution minimale à la qualité de reconstruction) sont sélectionnées pour les niveaux d'amélioration supérieurs (détails fins), tandis que celles ayant la plus forte sensibilité forment la base. Ce processus est répété de manière itérative (du haut vers le bas) pour garantir une hiérarchie stable.

B. Affinement Joint Sensible à la Quantification

Une fois la hiérarchie construite, une étape unique d'affinement (fine-tuning) est effectuée.

Échantillonnage aléatoire : Durant l'optimisation, un niveau de détail $l$ est échantillonné aléatoirement à chaque itération. Le modèle est optimisé uniquement sur les gaussiennes de ce niveau. Cela force les paramètres partagés (notamment dans les niveaux inférieurs) à rester robustes quel que soit le niveau de détail utilisé.
Quantification : Un entraînement sensible à la quantification est appliqué pour simuler la réduction de précision (ex: 8 bits pour les coefficients sphériques, 16 bits pour les positions), assurant une cohérence du modèle sur tous les niveaux de compression.
Sparsité : Une pénalité $L_1$ est ajoutée sur les coefficients d'apparence pour réduire davantage la taille du modèle.

C. Compression et Rendu Adaptatif

Compression : Chaque niveau de la hiérarchie est compressé indépendamment en utilisant l'algorithme Zstandard (ZSTD) avec des dictionnaires partagés pour la géométrie et l'apparence. Cela génère un flux binaire évolutif.
Rendu : À l'exécution, le système peut décoder progressivement les couches d'amélioration pour s'adapter aux contraintes de bande passante. Pour éviter les artefacts de "pop-in" lors du changement de niveau, une interpolation linéaire de l'opacité est appliquée aux nouvelles gaussiennes ajoutées.

3. Contributions Clés

Compression évolutive à partir d'un seul pipeline : GoDe dérive plusieurs niveaux de compression discrets à partir d'un seul modèle pré-entraîné, éliminant le besoin d'entraîner des modèles séparés pour chaque point de fonctionnement.
Organisation hiérarchique induite par le gradient : Introduction d'une stratégie de masquage itératif qui agrège les informations de gradient pour construire une hiérarchie de niveau de détail stable et efficace.
Conception agnostique au modèle : La méthode repose uniquement sur des signaux d'optimisation génériques, ce qui la rend applicable à diverses variantes de 3DGS (explicites, neurales, hiérarchiques) sans modification architecturale.
Déploiement pratique : Grâce à l'affinement sensible à la quantification et au codage entropique rapide, GoDe permet un stockage efficace, un décodage progressif et un rendu adaptatif sur des matériels hétérogènes.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (Mip-NeRF360, Tanks&Temples, DeepBlending) et sur différentes architectures (3DGS standard, Scaffold-GS, Octree-GS).

Performance Rate-Distortion : GoDe atteint des performances comparables, et souvent supérieures, aux méthodes de compression mono-taux de l'état de l'art (comme HAC, Context-GS, RDO-GS) sur la courbe de distorsion-taux.
Flexibilité : Un seul modèle GoDe couvre une large gamme de tailles (de quelques Mo à ~60 Mo) tout en maintenant une qualité de reconstruction compétitive.
Efficacité de décodage : Le décodage progressif est extrêmement rapide (jusqu'à 1762x plus rapide que les méthodes précédentes pour les taux de compression élevés), rendant le streaming adaptatif réalisable.
Comparaison avec PUP-3DGS : Dans une comparaison équitable (même budget d'optimisation et même nombre de gaussiennes), la méthode de tri basée sur le gradient de GoDe surpasse les méthodes basées sur l'incertitude (PUP-3DGS) en termes de qualité de reconstruction (PSNR).
Compromis Hiérarchique : Bien qu'il existe un léger écart de performance (0.42 à 0.96 dB) par rapport à des modèles optimisés indépendamment pour chaque point, ce compromis est largement compensé par les gains en déploiabilité, en efficacité de stockage et par la capacité d'accès instantané à plusieurs niveaux de détail.

5. Signification et Impact

Ce travail démontre que la compression évolutive et le rendu adaptatif dans le 3DGS ne nécessitent pas d'architectures spécialisées complexes ni de procédures d'entraînement par taux. En élevant les signaux d'optimisation génériques (comme les gradients) en une représentation hiérarchique cohérente, GoDe résout le problème de la scalabilité pratique.

Cela ouvre la voie à des applications réelles où les ressources varient dynamiquement (réalité augmentée sur mobile, streaming 3D, métavers), permettant d'ajuster la qualité et la vitesse de rendu en temps réel sans rechargement de modèles ni réentraînement.