EnerGS: Energy-Based Gaussian Splatting with Partial Geometric Priors

1. Énoncé du Problème

L'Étalement de Gaussiennes 3D (3DGS) a révolutionné la synthèse de nouvelles vues en offrant un rendu en temps réel et une qualité photoréaliste élevée. Cependant, dans les scénarios extérieurs à grande échelle et non bornés (par exemple, la conduite autonome), le 3DGS fait face à des défis majeurs :

• Optimisation mal posée : Dans les régimes à vues éparses, le problème d'optimisation est mal posé. Sans contraintes suffisantes, le système tend à surajuster les vues d'entraînement, créant des artefacts géométriquement invalides connus sous le nom de "floaters" (primitives gaussiennes flottant dans l'espace vide) ou des distorsions près de la caméra.
• Limites des priors géométriques existants : Les méthodes récentes intègrent des priors géométriques (par exemple, des nuages de points LiDAR) pour contraindre l'optimisation. Cependant, les données LiDAR dans les scènes extérieures sont souvent spatialement incomplètes et irrégulières (par exemple, champ de vision vertical limité, éparsité).
  • Traiter le LiDAR comme une contrainte uniforme échoue car l'inobservabilité géométrique n'implique pas l'occlusion visuelle. Par exemple, les toits ou les arrière-plans lointains peuvent être invisibles pour le LiDAR mais clairement visibles pour les caméras.
  • L'application de contraintes de rigidité de profondeur à l'échelle globale peut supprimer des structures valides dans les régions non observées.
  • À l'inverse, l'absence de mécanismes d'exclusion stricts dans l'espace libre vérifié permet l'accumulation d'artefacts.

Défi central : Comment exploiter des priors géométriques partiels, épars et bruités (LiDAR) pour guider l'optimisation du 3DGS sans supprimer la géométrie valide dans les régions non observées ni permettre l'apparition d'artefacts dans l'espace libre connu.

---

2. Méthodologie : EnerGS

Les auteurs proposent EnerGS, un cadre qui reformule l'optimisation du 3DGS comme une inférence au sein d'un champ d'énergie géométrique continu. Au lieu de contraintes rigides, EnerGS utilise un potentiel d'énergie spatialement adaptatif pour fournir une guidance souple.

A. Partitionnement Spatial et Champ d'Énergie

L'espace 3D $\Omega$ est partitionné en trois régimes distincts basés sur l'observabilité des capteurs :

1. Espace Occupé ($\Omega_{occ}$) : Régions contenant des points LiDAR.
   • Mécanisme : Utilisation d'un estimateur M de Welsch comme attracteur volumétrique.
   • Fonction : Attire les primitives gaussiennes vers le point LiDAR le plus proche. Il est robuste aux valeurs aberrantes (influence bornée) contrairement à la perte $L_2$ standard, empêchant le bruit lointain de déformer la géométrie.
2. Espace Libre ($\Omega_{free}$) : Régions où les rayons LiDAR ont passé sans heurter quoi que ce soit (vide vérifié).
   • Mécanisme : Utilisation d'une barrière de Boltzmann (implémentée via une fonction Softplus).
   • Fonction : Agit comme un répulsif strictement monotone. Elle impose un coût énergétique linéaire pour la profondeur de pénétration, repoussant les primitives hors de l'espace libre pour éliminer les floaters.
3. Espace Inconnu ($\Omega_{unk}$) : Régions sans couverture LiDAR (par exemple, ciel, toits, champ lointain).
   • Mécanisme : Utilisation d'un prior faible (estimateur de Welsch avec une variance élevée).
   • Fonction : Le gradient d'énergie est proche de zéro. Cela permet à l'optimisation de rester conforme, laissant les indices photométriques (images de la caméra) piloter la reconstruction de la géométrie dans ces "angles morts" sans être contrainte par des hypothèses géométriques incorrectes.

B. Stratégie d'Optimisation Découplée

Une innovation clé est le découplage des mises à jour géométriques et d'apparence pour résoudre les conflits de gradient :

• Approche Standard : Minimisation conjointe de la Perte Photométrique ($L_{photo}$) et de la Perte Géométrique ($L_{geom}$). Cela conduit souvent à des conflits où les gradients photométriques bruyants override les signaux géométriques, piégeant l'optimiseur dans des minima locaux (floaters).
• Approche EnerGS :
  • Mise à jour de la Position ($\mu$) : Mise à jour uniquement par le gradient du champ d'énergie géométrique ($\nabla E_{geom}$). Cela garantit une descente monotone sur le paysage géométrique, assurant que les primitives sont physiquement valides (par exemple, expulsées de l'espace libre).
  • Mise à jour de l'Apparence/Forme ($\Sigma, \alpha, c$) : Mise à jour uniquement par la perte photométrique ($L_{photo}$).
  • Résultat : Cette séparation assure que la géométrie est stabilisée par le champ d'énergie tandis que l'apparence est optimisée pour la fidélité visuelle, empêchant la "mémorisation" des vues d'entraînement.

C. Élagage Discret

En tant que mécanisme de sécurité secondaire, la méthode emploie un élagage dur discret. Périodiquement, toute primitive gaussienne trouvée profondément dans l'espace libre vérifié (au-delà d'un seuil de marge) est explicitement supprimée pour prévenir l'accumulation d'artefacts que le champ continu pourrait manquer.

---

3. Contributions Clés

1. Cadre basé sur l'Énergie : Introduction d'un champ d'énergie géométrique différentiable qui unifie l'attraction d'occupation consciente de l'incertitude (estimateur M de Welsch) et l'exclusion de l'espace libre (barrière de Boltzmann) en un seul potentiel.
2. Découplage des Gradients : Proposition d'une stratégie d'optimisation découplée qui garantit théoriquement l'élimination des solutions dégénérées stables (floaters) dans l'espace libre de confiance tout en préservant la flexibilité dans les régions non observées.
3. Analyse Théorique : Démonstration que :
   • Les solutions dégénérées ne peuvent persister dans l'espace libre de confiance (Théorème 1).
   • Le champ de mise à jour géométrique est continu de Lipschitz, assurant la stabilité de l'entraînement (Théorème 2).
   • Les contraintes géométriques disparaissent naturellement dans les régions inconnues, permettant la densification photométrique (Proposition 3).
4. Performances de l'État de l'Art : Démonstration de résultats supérieurs sur des ensembles de données de conduite autonome à grande échelle (KITTI, Waymo), réduisant significativement les violations géométriques tout en maintenant une qualité de rendu élevée.

---

4. Résultats Expérimentaux

La méthode a été évaluée sur KITTI et Waymo Open Dataset par rapport à des bases de référence telles que le 3DGS vanilla, 2DGS, GeoGaussian et Mip-Splatting.

• Métriques Quantitatives :
  • Qualité Géométrique : EnerGS a obtenu les scores "Leak" les plus bas (moins de primitives dans l'espace libre) et les scores "Margin" les plus élevés (meilleure séparation entre espace occupé et espace libre). Il a également montré un OccCov plus élevé (meilleure couverture de l'espace occupé).
  • Qualité Photométrique : A obtenu le PSNR le plus élevé et un SSIM compétitif sur les deux ensembles de données, surpassant les méthodes qui peinent avec les vues éparses.
  • Efficacité : A maintenu un nombre comparable de primitives gaussiennes par rapport aux bases de référence, indiquant une représentation plus compacte et physiquement cohérente.
• Résultats Qualitatifs :
  • Dans les régions au-delà de la couverture LiDAR (par exemple, toits, ciel, arbres lointains), EnerGS a reconstruit avec succès des détails fins pilotés par les images de la caméra, alors que les bases de référence échouaient soit à les reconstruire, soit produisaient des floaters.
  • Dans l'espace libre vérifié, EnerGS a éliminé complètement les artefacts "flottants" courants dans les autres méthodes.
• Études d'Ablation : Ont confirmé que la suppression de n'importe quel composant (par exemple, la barrière d'espace libre, le prior faible inconnu, ou l'optimisation découplée) entraînait une dégradation constante de la stabilité géométrique et de la qualité de rendu.

---

5. Signification

EnerGS adresse un goulot d'étranglement critique dans l'application du 3DGS à des scénarios réels de robotique et de conduite autonome à grande échelle.

• Robustesse aux Limites des Capteurs : Il fournit une manière fondée de gérer l'éparsité et l'incomplétude inhérentes des capteurs LiDAR sans dépendre d'une supervision géométrique parfaite.
• Combler le Fossé : En distinguant entre "espace libre vérifié", "espace occupé vérifié" et "espace inconnu", il comble le fossé entre les données de capteurs déterministes et les données visuelles ambiguës.
• Généralisabilité : La formulation basée sur l'énergie est modulaire et peut être intégrée dans d'autres pipelines d'étalement de Gaussiennes (comme démontré avec SplatAD et StreetGS), en faisant un outil polyvalent pour améliorer la reconstruction 3D dans des environnements non bornés.

En résumé, EnerGS transforme l'optimisation des Gaussiennes 3D d'une tâche purement photométrique en un processus informé par la physique, garantissant que la scène 3D résultante est non seulement visuellement réaliste, mais aussi géométriquement plausible et exempte d'artefacts.