💻 computer science

Eulerian Gaussian Splatting using Hashed Probability Pyramids

Ce papier présente Eulerian Gaussian Splatting, un cadre de champ de luminance probabiliste qui remplace la manipulation heuristique des gaussiennes par une optimisation basée sur le gradient d'une densité de probabilité volumétrique apprenable utilisant des pyramides de probabilités hachées, permettant ainsi d'atteindre une qualité de reconstruction à la pointe de l'art sur mip-NeRF 360 tout en maintenant une vitesse de rendu au niveau de 3DGS.

Auteurs originaux : Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de recréer une scène 3D (comme une pièce ou un jardin) en utilisant des millions de petites boules lumineuses et floues (des Gaussiennes). C'est ce que fait une technologie populaire appelée 3D Gaussian Splatting. Elle est incroyablement rapide et donne de superbes résultats, mais elle présente un défaut : elle gère ces boules à l'aide d'un ensemble de règles rigides et écrites à la main. Si une boule se trouve au mauvais endroit, l'ordinateur doit deviner s'il faut la déplacer, la diviser en deux ou la supprimer. Parfois, ces règles se trompent, ce qui conduit à une reconstruction désordonnée.

Ce papier présente une nouvelle méthode appelée Eulerian Gaussian Splatting (EGS). Au lieu de déplacer manuellement les boules, les auteurs traitent l'espace 3D entier comme une carte météorologique.

Voici la décomposition de leur approche à l'aide d'analogies simples :

1. La carte météorologique contre les camions en mouvement

L'ancienne méthode (Lagrangienne) : Imaginez que vous avez une flotte de camions de livraison (les boules) circulant dans une ville. Si un colis doit être envoyé vers un nouvel endroit, vous devez dire à un camion spécifique de s'y rendre, ou ordonner à un camion de se diviser en deux. Cela nécessite un contrôleur de trafic complexe (des heuristiques) pour décider quel camion fait quoi.
La nouvelle méthode (Eulérienne) : Au lieu de déplacer des camions, imaginez que vous avez une carte météorologique indiquant où il est « susceptible de pleuvoir ». Vous ne déplacez pas la pluie ; vous modifiez simplement la carte. Si la carte indique « fortes pluies » à un endroit précis, une goutte de pluie y est automatiquement générée. Si elle indique « sec », aucune goutte n'apparaît.
- Dans ce papier, la « carte météorologique » est une densité de probabilité apprenable. L'ordinateur ne déplace pas les boules ; il apprend une carte qui lui indique où faire apparaître de nouvelles boules et où arrêter de les faire apparaître, uniquement en fonction de la qualité de l'image.

2. La « Pyramide de probabilités hachée » (La carte intelligente)

Créer une carte météorologique pour toute une ville à l'échelle microscopique nécessiterait trop de mémoire informatique. Pour résoudre ce problème, les auteurs ont construit une Pyramide de probabilités hachée.

L'analogie : Imaginez une carte qui commence comme une grille de basse résolution (comme une image pixelisée). À mesure que vous zoomez, la carte devient plus détaillée. Cependant, au lieu de stocker les données de chaque pixel individuel, la carte utilise un astucieux « hachage » (comme un code secret) pour réutiliser les informations pour les zones vides.
Pourquoi cela aide : Cela permet à l'ordinateur d'avoir une carte ultra-détaillée de la scène sans épuiser sa mémoire. Il peut concentrer ses « capacités de calcul » sur les parties complexes de la scène (comme un arbre aux nombreuses feuilles) tout en gardant le ciel vide simple.

3. La « Variable de contrôle » (Le réducteur de bruit)

Lorsque l'ordinateur tente d'apprendre cette carte, il doit deviner où placer les boules, observer le résultat, puis ajuster la carte. Comme il fait des suppositions aléatoires, le « retour d'information » (les gradients) qu'il reçoit est très bruyant, comme essayer d'entendre un chuchotement dans un concert bruyant. Cela rend généralement l'apprentissage lent et instable.

L'innovation : Les auteurs ont inventé une astuce mathématique spéciale appelée Variable de contrôle.
L'analogie : Imaginez que vous essayez de juger dans quelle mesure un chanteur unique contribue au son d'un chœur. Si vous écoutez tout le chœur, il est difficile de le dire. Mais si vous imaginez le chœur sans ce chanteur, vous pouvez facilement entendre la différence.
L'astuce mathématique des auteurs calcule exactement dans quelle mesure chaque boule individuelle a contribué à l'image finale en comparant l'image complète à l'image sans cette boule spécifique. Cela annule le bruit de fond, offrant à l'ordinateur un signal très clair et stable sur la façon d'améliorer la carte.

4. Le résultat : Un jardin auto-organisé

En combinant ces idées, le système fonctionne comme un jardin qui s'organise lui-même :

Il commence avec une toile blanche et une « carte de probabilités ».
Il fait pousser aléatoirement des « graines » (des boules gaussiennes) en fonction de la carte.
Il examine l'image. Si une partie du jardin semble floue ou incorrecte, la carte augmente automatiquement la « probabilité » que des graines y poussent. Si une partie semble trop encombrée ou incorrecte, la carte diminue la probabilité.
Aucune règle humaine n'est nécessaire pour dire à l'ordinateur de « diviser cette boule » ou de « supprimer cette boule ». Les mathématiques déplacent naturellement la « masse » de la probabilité là où elle est nécessaire.

L'essentiel

Le papier affirme que cette méthode atteint une qualité de pointe (elle donne de meilleurs résultats que les méthodes précédentes) sur des scènes 3D complexes, tout en maintenant la vitesse de rendu aussi rapide que le 3D Gaussian Splatting original.

Crucialement, elle le fait sans avoir besoin d'un pré-balayage de la scène (comme un scan laser 3D) pour commencer. Elle peut partir d'une supposition complètement aléatoire et déterminer la forme du monde simplement en regardant les photos, grâce à sa capacité à apprendre la « carte de probabilités » directement par descente de gradient. Elle comble le fossé entre la stabilité des mathématiques continues (comme les NeRF) et la rapidité des objets discrets (comme les 3DGS).

Résumé Technique : Splatting Gaussien Eulérien utilisant des Pyramides de Probabilités Hachées

Énoncé du Problème
Les méthodes actuelles de Splatting Gaussien 3D (3DGS) réalisent un rendu en temps réel en représentant les scènes avec des primitives gaussiennes discrètes. Cependant, l'optimisation de ces scènes repose sur un « Contrôle Adaptatif de la Densité » (ADC), un ensemble d'heuristiques réglées manuellement (par exemple, division, clonage, élimination) pour ajouter ou supprimer des primitives durant l'entraînement. Ces heuristiques peuvent être fragiles et conduire à des minima locaux sous-optimaux. À l'inverse, les Champs de Radiance Neuronaux (NeRF) optimisent des densités volumiques continues via la descente de gradient, offrant une plus grande stabilité mais souffrant de vitesses de rendu lentes. L'article répond au besoin d'un cadre qui conserve l'efficacité du rendu du 3DGS tout en adoptant l'optimisation fondée sur des principes et basée sur le gradient des champs continus, éliminant ainsi le besoin de manipulation heuristique des primitives.

Méthodologie
Les auteurs proposent le Splatting Gaussien Eulérien (EGS), un cadre probabiliste qui passe d'une vue lagrangienne (déplacement explicite des primitives) à une vue eulérienne (optimisation d'une fonction de densité de probabilité sur le volume de la scène).

Modèle de Rendu Probabiliste :
Au lieu d'optimiser les positions individuelles des Gaussiennes, l'EGS définit une fonction de densité de probabilité volumique $p_\theta(\mu)$ sur l'espace 3D. À chaque itération d'entraînement, un ensemble discret de $N$ centres gaussiens $\mu_i$ est échantillonné à partir de cette distribution. Ces centres échantillonnés sont ensuite rendus en utilisant le rasterisation standard du 3DGS. La perte est minimisée en optimisant les paramètres de la distribution de probabilité sous-jacente $\theta$ et les attributs gaussiens $\phi$ (couleur, échelle, rotation, opacité).
Pyramide de Probabilités Hachée :
Pour représenter la densité de probabilité $p_\theta(\mu)$ efficacement à haute résolution sans une croissance de mémoire infeasible, les auteurs introduisent une Pyramide de Probabilités Hachée.
- Structure : Il s'agit d'une grille hiérarchique multi-échelle où la densité de probabilité est paramétrée comme un produit de fonctions constantes par morceaux à travers $L$ niveaux.
- Efficacité Mémoire : Pour éviter la croissance cubique des paramètres, la méthode utilise un encodage par hachage. À chaque niveau, la grille est pavée avec un budget limité ( $B$ ) de blocs de $2\times2\times2$ . Une fonction de hachage mappe les indices de la grille vers ces blocs, permettant la représentation d'une distribution haute résolution (par exemple $4096^3$ ) en utilisant un ensemble compact de paramètres (environ 86 millions de paramètres pour une grille $4096^3$ , nécessitant seulement 0,33 Go).
- Échantillonnage : L'échantillonnage est effectué efficacement en parcourant la hiérarchie des niveaux grossiers aux niveaux fins. Le processus est rendu différentiable de bout en bout en liant les échantillons aléatoires à travers les niveaux via des fonctions déterministes de partie fractionnaire.
Estimation du Gradient et Réduction de la Variance :
L'optimisation d'une distribution via la descente de gradient stochastique introduit une variance élevée. L'estimateur de chemin standard (utilisant la différenciation automatique à travers le processus d'échantillonnage) s'avère instable.
- Variables de Contrôle : Les auteurs dérivent un estimateur de gradient non biaisé basé sur la fonction de score, amélioré par des variables de contrôle.
- Insight Clé : La contribution du gradient d'un échantillon spécifique est pondérée par son impact individuel sur l'image rendue. Spécifiquement, la différence entre l'image complète $I$ et l'image rendue sans la $i$ -ème Gaussienne ( $I_{-i}$ ) est utilisée.
- Efficacité : Crucialement, l'article prouve que $(I - I_{-i})$ peut être calculé directement à partir de l'opacité $o_i$ et du gradient de la perte par rapport à l'opacité ( $\partial I / \partial o_i$ ) durant le passage arrière standard. Cela évite le coût computationnel du rendu de $M$ images séparées tout en réduisant considérablement la variance du gradient.
Stratégies d'Entraînement :
- Échantillonnage Défensif : Du bruit gaussien est ajouté à un sous-ensemble d'échantillons au début de l'entraînement pour empêcher la densité de probabilité de s'effondrer vers zéro dans des régions qui pourraient devenir importantes plus tard.
- Arrondi des Échantillons : Les positions des échantillons sont arrondies au centre de leur plus fine bin de grille pour réduire la variance causée par de légers décalages de position.
- Suppression des Dupliqués : Les échantillons dupliqués (résultant de l'arrondi) sont supprimés avant le rendu, élaguant naturellement le nombre de Gaussiennes à mesure que le modèle s'optimise.
- Raffinement : Après l'optimisation des grilles de probabilité et d'attributs, une étape finale de raffinement exécute une optimisation standard basée sur le gradient sur l'ensemble discret de Gaussiennes échantillonnées pendant 5 000 itérations.

Contributions Clés

Formulation Eulérienne : Une approche novatrice qui fait le pont entre NeRF et 3DGS en optimisant un champ de probabilité continu pour régir le placement des Gaussiennes discrètes, supprimant le besoin de contrôle de densité heuristique.
Pyramide de Probabilités Hachée : Une représentation multi-échelle normalisée globalement et économe en mémoire pour les densités de probabilité 3D qui permet une optimisation haute résolution sur un seul GPU.
Estimateur de Gradient à Faible Variance : Un estimateur basé sur les variables de contrôle qui isole la contribution de chaque Gaussienne à l'image rendue, permettant un entraînement stable de la distribution de probabilité sans la variance élevée des estimateurs de chemin standard.
Entraînement Sans Heuristiques : La méthode atteint des résultats de pointe en partant d'une initialisation aléatoire uniforme, sans dépendre de points Structure-from-Motion (SfM) ou de règles de division/élimination réglées manuellement.

Résultats
La méthode a été évaluée sur les ensembles de données mip-NeRF 360, Tanks & Temples et Deep Blending.

Performance : L'EGS atteint une qualité de reconstruction de pointe parmi les modèles initialisés aléatoirement, surpassant des bases comme 3DGS-MCMC et Taming-3DGS en PSNR global.
Comparaison avec les Méthodes Basées sur SfM : Bien que les modèles initialisés avec des points COLMAP fonctionnent généralement légèrement mieux, l'EGS partant d'une initialisation aléatoire comble une grande partie de cet écart, démontrant sa robustesse.
Études d'Ablation : L'estimateur de gradient personnalisé est identifié comme le composant le plus critique ; sans lui, l'entraînement devient instable et converge vers de mauvais résultats. La régularisation de l'opacité et l'échantillonnage défensif apportent également des bénéfices significatifs en termes de stabilité.
Efficacité : Bien que le processus d'entraînement soit plus lent et plus gourmand en mémoire que le 3DGS standard en raison du grand nombre d'échantillons et de requêtes de grille hachée, la vitesse de rendu finale reste comparable à celle du 3DGS.

Signification
L'article affirme que l'EGS offre un « pont principiel » entre l'optimisation de champs continus et le rendu gaussien discret. En remplaçant les heuristiques fragiles par une distribution de probabilité apprenable, le cadre permet à la géométrie de la scène d'émerger purement à partir des signaux de gradient. Cela permet une procédure d'entraînement simple et de bout en bout qui se généralise à travers des scènes diverses sans nécessiter d'initialisation géométrique préalable (SfM) ni d'intervention manuelle, démontrant que les formulations basées sur l'échantillonnage peuvent atteindre des reconstructions de haute qualité tout en maintenant l'efficacité du rendu par splatting.