ProGS: Towards Progressive Coding for 3D Gaussian Splatting

Le papier présente ProGS, un nouveau codec de streaming qui organise les données de 3D Gaussian Splatting dans une structure d'octree pour permettre un codage progressif, réduisant ainsi la taille de stockage de 45 fois tout en améliorant la fidélité visuelle de plus de 10 %.

L'essentiel

🎨 ProGS : La "Tour Eiffel" de la 3D qui s'adapte à votre connexion

Imaginez que vous voulez envoyer une photo de la Tour Eiffel à un ami.

• L'ancienne méthode (3DGS classique) : Vous envoyez une photo ultra-haute définition de 500 Mo. Si la connexion de votre ami est lente, il doit attendre 10 minutes avant de voir quoi que ce soit. S'il coupe la connexion à la 9ème minute, il ne voit rien.
• La nouvelle méthode (ProGS) : Vous envoyez d'abord un petit croquis rapide de la Tour (5 Mo). Votre ami la voit tout de suite ! Ensuite, vous envoyez des détails supplémentaires (la couleur de la pierre, les fenêtres), puis encore plus de détails. À chaque étape, l'image devient plus belle, mais il peut déjà l'apprécier dès le début.

C'est exactement ce que fait ProGS pour les scènes 3D.

1. Le Problème : Des millions de "bulles" trop lourdes

La technologie actuelle, appelée 3DGS (Gaussian Splatting), représente le monde 3D non pas comme un maillage solide, mais comme une collection de millions de petites "bulles" (des ellipsoïdes) colorées et brillantes. C'est magnifique et rapide à regarder, mais c'est énorme.
C'est comme essayer de transporter un océan dans une valise. Pour les applications en streaming (comme la réalité virtuelle ou les jeux en ligne), c'est impossible : les fichiers sont trop gros et trop lents à charger.

2. La Solution : Construire une "Pyramide de Lego"

Les chercheurs de ProGS ont eu une idée brillante : au lieu de jeter toutes les "bulles" en vrac, ils les organisent en une structure d'arbre (appelée octree), un peu comme une pyramide de Lego ou un arbre généalogique.

• Le niveau 1 (La base) : C'est le gros bloc. Il contient juste les grandes formes de la scène. C'est flou, mais on reconnaît tout de suite le sujet. C'est très léger à envoyer.
• Le niveau 2, 3, 4... : À chaque étage de la pyramide, on ajoute des détails plus fins. On affine les formes, on ajoute les textures.
• Le résultat : Vous pouvez arrêter de télécharger à n'importe quel étage. Si votre connexion est lente, vous gardez le niveau 1. Si elle est rapide, vous téléchargez jusqu'au niveau 5 pour une qualité parfaite. C'est ce qu'on appelle le codage progressif.

3. L'astuce secrète : La "Télépathie" entre les niveaux

Le plus grand défi était que les niveaux bas (les images floues) étaient souvent trop moches pour être utiles. Comment faire en sorte qu'un niveau bas soit aussi intelligent que possible ?

Les chercheurs ont utilisé une technique appelée renforcement de l'information mutuelle.

• L'analogie : Imaginez un chef d'orchestre (le niveau haut) et un musicien débutant (le niveau bas). D'habitude, le débutant joue tout seul et fait des fautes.
• L'innovation ProGS : Le chef d'orchestre "parle" au débutant pendant l'entraînement. Il lui dit : "Écoute, ce que je joue plus tard, c'est basé sur ce que tu joues maintenant. Essaie de prédire ma mélodie !".
• Grâce à cette "télépathie" (mathématiquement appelée InfoNCE), même les niveaux bas apprennent à représenter la scène de manière beaucoup plus intelligente. Le flou devient un "flou intelligent" qui garde les contours et les couleurs justes, même sans les détails fins.

4. Les Résultats : Moins de poids, plus de qualité

Grâce à cette méthode, ProGS a réussi des exploits impressionnants :

• Compression : Ils ont réduit la taille des fichiers de 45 fois par rapport à l'original. C'est comme transformer un camion de déménagement en une petite voiture citadine.
• Qualité : Même avec cette réduction massive, l'image est 10 % plus belle que les meilleures méthodes actuelles.
• Adaptabilité : Si vous êtes en 4G, vous voyez une version légère. Si vous passez en 5G ou en Wi-Fi, la scène se "remplit" de détails instantanément, sans avoir besoin de recharger la page.

En résumé

ProGS est comme un service de streaming vidéo intelligent pour le monde 3D. Au lieu de vous forcer à attendre le téléchargement complet d'un film, il vous montre d'abord l'intrigue principale, puis ajoute les effets spéciaux, les costumes et les décors au fur et à mesure que votre connexion le permet. C'est une révolution pour rendre la réalité virtuelle fluide, même sur des connexions internet imparfaites.

Résumé technique

Résumé Technique : ProGS

1. Problématique

Le 3D Gaussian Splatting (3DGS) est devenu une référence pour la synthèse de nouvelles vues (NVS), offrant un rendu rapide et de haute qualité grâce à une représentation explicite de la scène par des gaussiennes 3D apprissables. Cependant, cette méthode souffre d'un inconvénient majeur : la taille des données générées est massive (souvent plusieurs millions de gaussiennes), ce qui pose des défis critiques pour le stockage et la transmission, en particulier dans des applications de streaming en temps réel avec des bandes passantes variables.

Les méthodes de compression existantes se concentrent principalement sur la réduction de la taille des fichiers statiques (via l'élagage, la quantification vectorielle ou l'utilisation d'ancres) mais échouent à prendre en charge le codage progressif. Elles ne permettent pas de décompresser une scène de manière incrémentale (du grossier au fin), ce qui est essentiel pour s'adapter dynamiquement aux conditions réseau. De plus, les structures hiérarchiques existantes (comme les octrees) peinent souvent à maintenir une fidélité visuelle acceptable aux niveaux de détail (LoD) inférieurs.

2. Méthodologie

ProGS propose un codec de streaming conçu spécifiquement pour le codage progressif des scènes 3DGS. L'approche repose sur quatre piliers techniques :

• Structure Hiérarchique en Octree :
  Contrairement aux formats 3DGS non structurés, ProGS organise les données de la scène en une structure d'octree. La scène est divisée en plusieurs niveaux de détail (LoD). Le LoD $l$ contient tous les ancres (nœuds) des niveaux 1 à $l$. Cela permet de transmettre d'abord une représentation grossière de la scène (LoD 1) et d'ajouter progressivement des détails fins (LoD 2, 3, etc.) au fur et à mesure que la bande passante le permet.

• Ajustement Adaptatif des Ancres (Adaptive Anchor Adjustment) :
  Inspiré par Scaffold-GS, ProGS utilise des ancres pour générer des clusters de gaussiennes via des MLP. Pendant l'entraînement, une stratégie dynamique fait croître et élague les branches de l'octree en fonction des gradients d'optimisation :

  • Croissance : Des ancres candidates sont ajoutées aux niveaux supérieurs si les gaussiennes associées présentent des gradients significatifs.
  • Élagage : Les ancres (nœuds feuilles) avec une opacité accumulée faible sont supprimées pour réduire la redondance.
    Cette approche garantit que la structure de l'octree reste stricte et compacte tout en reflétant fidèlement les caractéristiques de la scène.

• Amélioration de l'Information Mutuelle (MI Enhancement) :
  Un défi majeur du codage progressif est la dégradation visuelle aux LoD inférieurs (représentation incomplète). ProGS introduit deux mécanismes pour renforcer l'information mutuelle entre les nœuds parents et enfants de l'octree :

  1. Perte InfoNCE : Une fonction de perte contrastive qui traite les paires parent-enfant comme des échantillons positifs, forçant les ancres de bas niveau à héberger les informations contextuelles des niveaux supérieurs.
  2. Optimisation du Grossier au Fin (Coarse-to-Fine) : Une perte de supervision ($L_{c2f}$) qui force les ancres de bas niveau à approximer le rendu de la scène complète, améliorant ainsi la qualité initiale avant l'ajout des détails fins.

• Codage Entropique Contextuel :
  ProGS utilise un codage arithmétique (AE) basé sur le contexte. Les attributs des ancres sont quantifiés et encodés en utilisant un hash-grid mixte (3D-2D) qui fournit des caractéristiques contextuelles basées sur la position de l'ancre et celle de son parent. Cela permet de prédire la distribution des attributs et de réduire l'entropie, optimisant ainsi le débit binaire.

3. Contributions Clés

1. Premier Codec Progressif pour 3DGS : ProGS est la première méthode à permettre le codage et le décodage progressifs de scènes 3DGS, facilitant le streaming adaptatif.
2. Mécanismes d'Amélioration de l'Information Mutuelle : L'introduction de la perte InfoNCE et de l'optimisation coarse-to-fine résout le problème de la qualité visuelle médiocre aux LoD inférieurs, permettant une transition fluide entre les niveaux de détail.
3. Stratégie d'Ajustement Dynamique des Ancres : Une méthode efficace pour construire des octrees compacts qui s'adaptent à la complexité de la scène, réduisant la redondance structurelle.
4. Validation Expérimentale Étendue : Des résultats démontrant une compression supérieure sans sacrifier la qualité de rendu.

4. Résultats Expérimentaux

Les expériences ont été menées sur des jeux de données réels (Mip-NeRF360, BungeeNeRF, Tanks and Temples) et comparées aux méthodes de l'état de l'art (SOTA) comme HAC, Scaffold-GS, EAGLES, etc.

• Compression : ProGS atteint une réduction de stockage d'environ 45 fois par rapport au format 3DGS original.
• Qualité Visuelle : Par rapport aux méthodes SOTA actuelles, ProGS améliore la performance visuelle de plus de 10 % tout en utilisant jusqu'à 67 % d'ancres en moins pour une représentation de scène équivalente.
• Courbes Débit-Distorsion (RD) : Les courbes montrent que ProGS offre un compromis débit-qualité supérieur, en particulier aux débits faibles (LoD 1), où il maintient une qualité utilisable là où d'autres méthodes échouent.
• Performance Temps Réel : Le décodage par niveau permet un démarrage rapide de la scène. Le rendu reste en temps réel (FPS élevé) même aux LoD profonds, grâce à l'élagage et au culling de visibilité.

5. Signification et Impact

ProGS représente une avancée majeure pour l'application du 3DGS dans des environnements réels et dynamiques. En permettant un streaming adaptatif, il rend possible la diffusion de scènes 3D complexes sur des réseaux à bande passante variable (mobile, VR/AR en temps réel) sans nécessiter le téléchargement de fichiers statiques lourds.

La capacité à fournir une représentation progressive, où la qualité s'améliore au fur et à mesure de la réception des données, tout en maintenant une haute fidélité visuelle dès les premiers instants, positionne ProGS comme une solution robuste pour l'avenir du rendu 3D interactif et du métavers. De plus, l'intégration réussie de l'information mutuelle dans une structure d'octree ouvre de nouvelles pistes pour la compression de données géométriques et texturées hiérarchiques.