EnerGS: Energy-Based Gaussian Splatting with Partial Geometric Priors

1. Probleemstelling

3D Gaussian Splatting (3DGS) heeft de synthese van nieuwe gezichtspunten revolutionair veranderd door real-time rendering en hoge fotorealistische kwaliteit te bieden. Echter, in grootschalige, onbegrensde buitenscenario's (bijvoorbeeld autonoom rijden), staat 3DGS voor aanzienlijke uitdagingen:

• Ill-posed Optimalisatie: In regimes met weinig gezichtspunten is het optimalisatieprobleem ill-posed. Zonder voldoende beperkingen neigt het systeem tot overfitting op trainingsgezichtspunten, waardoor geometrisch ongeldige artefacten ontstaan die bekend staan als "floaters" (Gaussian-primitieven die in lege ruimte zweven) of vervormingen nabij de camera.
• Beperkingen van Bestaande Geometrische Priors: Recente methoden integreren geometrische priors (bijvoorbeeld LiDAR-puntenwolken) om de optimalisatie te beperken. Echter, LiDAR-data in buitenscènes is vaak ruimtelijk onvolledig en ongelijkmatig (bijvoorbeeld beperkt verticaal gezichtsveld, spaarzaamheid).
  • Het behandelen van LiDAR als een uniforme beperking faalt omdat geometrische onwaarnembaarheid niet impliceert visuele occlusie. Bijvoorbeeld, daken of verre achtergronden kunnen onzichtbaar zijn voor LiDAR maar duidelijk zichtbaar voor camera's.
  • Het toepassen van rigide dieptebeperkingen wereldwijd kan geldige structuren in niet-gewaardeerde gebieden onderdrukken.
  • Omgekeerd zorgt het ontbreken van strikte uitsluitingsmechanismen in geverifieerde vrije ruimte voor de accumulatie van artefacten.

Kernuitdaging: Hoe kan men gedeeltelijke, spaarzame en ruwe geometrische priors (LiDAR) benutten om de 3DGS-optimalisatie te sturen zonder geldige geometrie in niet-gewaardeerde gebieden te onderdrukken of artefacten in bekende vrije ruimte toe te staan?

---

2. Methodologie: EnerGS

De auteurs stellen EnerGS voor, een raamwerk dat 3DGS-optimalisatie herformuleert als inferentie binnen een continu geometrisch energieveld. In plaats van harde beperkingen, gebruikt EnerGS een ruimtelijk adaptief energiepotentieel voor zachte begeleiding.

A. Ruimtelijke Partitionering & Energieveld

De 3D-ruimte $\Omega$ wordt opgesplitst in drie distincte regimes op basis van sensorwaarneming:

1. Bezet Ruimte ($\Omega_{occ}$): Gebieden met LiDAR-punten.
   • Mechanisme: Gebruik van een Welsch M-estimator als volumetrische attractor.
   • Functie: Trekt Gaussian-primitieven naar het dichtstbijzijnde LiDAR-punt. Het is robuust tegen uitbijters (beperkte invloed) in tegenstelling tot standaard $L_2$-verlies, waardoor verre ruis de geometrie niet verstoort.
2. Vrije Ruimte ($\Omega_{free}$): Gebieden waar LiDAR-stralen zijn gepasseerd zonder iets te raken (geverifieerd leeg).
   • Mechanisme: Gebruik van een Boltzmann-barrière (geïmplementeerd via een Softplus-functie).
   • Functie: Treedt op als een strikt monotoon repulsor. Het legt een lineaire energiekost op voor penetratiediepte, waardoor primitieven uit vrije ruimte worden geduwd om floaters te elimineren.
3. Onbekende Ruimte ($\Omega_{unk}$): Gebieden zonder LiDAR-dekking (bijvoorbeeld lucht, daken, verre velden).
   • Mechanisme: Gebruik van een zwakke prior (Welsch-estimator met hoge variantie).
   • Functie: De energiegrootte is bijna nul. Dit zorgt ervoor dat de optimalisatie compliant blijft, waardoor fotometrische aanwijzingen (camera-afbeeldingen) de reconstructie van geometrie in deze "blinde vlekken" kunnen sturen zonder te worden beperkt door onjuiste geometrische aannames.

B. Ontkoppelde Optimalisatiestrategie

Een belangrijke innovatie is de ontkoppeling van geometrische en uiterlijke updates om gradiëntconflicten op te lossen:

• Standaardbenadering: Minimaliseert gezamenlijk Fotometrisch Verlies ($L_{photo}$) en Geometrisch Verlies ($L_{geom}$). Dit leidt vaak tot conflicten waarbij ruwe fotometrische gradiënten geometrische signalen overstemmen, waardoor de optimalisator vastloopt in lokale minima (floaters).
• EnerGS-benadering:
  • Positie-update ($\mu$): Bijgewerkt uitsluitend door de gradiënt van het geometrische energieveld ($\nabla E_{geom}$). Dit garandeert monotoon dalen op het geometrische landschap, waardoor primitieven fysiek geldig blijven (bijvoorbeeld uit vrije ruimte worden verdreven).
  • Uiterlijk/Vorm-update ($\Sigma, \alpha, c$): Bijgewerkt uitsluitend door het fotometrische verlies ($L_{photo}$).
  • Resultaat: Deze scheiding zorgt ervoor dat de geometrie wordt gestabiliseerd door het energieveld terwijl het uiterlijk wordt geoptimaliseerd voor visuele trouw, waardoor het "memoriseren" van trainingsgezichtspunten wordt voorkomen.

C. Discrete Uitsnijding

Als secundair veiligheidsmechanisme past de methode discrete harde uitsnijding toe. Periodiek wordt elke Gaussian-primitief die diep in geverifieerde vrije ruimte wordt aangetroffen (beyond een marge-drempel) expliciet verwijderd om de accumulatie van artefacten te voorkomen die het continue veld misschien mist.

---

3. Kernbijdragen

1. Op Energie Gebaseerd Raamwerk: Introductie van een differentieerbaar geometrisch energieveld dat onzekerheidsbewuste bezette aantrekking (Welsch M-estimator) en uitsluiting van vrije ruimte (Boltzmann-barrière) verenigt in één potentieel.
2. Gradiënt-ontkoppeling: Voorstellen van een ontkoppelde optimalisatiestrategie die theoretisch de eliminatie garandeert van stabiele degeneratieve oplossingen (floaters) in vertrouwd vrije ruimte, terwijl flexibiliteit in niet-gewaardeerde gebieden behouden blijft.
3. Theoretische Analyse: Bewezen dat:
   • Degeneratieve oplossingen niet kunnen voortbestaan in vertrouwd vrije ruimte (Stelling 1).
   • Het geometrische updateveld Lipschitz-continu is, wat trainingsstabiliteit garandeert (Stelling 2).
   • Geometrische beperkingen op natuurlijke wijze verdwijnen in onbekende gebieden, waardoor fotometrische verdichting mogelijk is (Propositie 3).
4. State-of-the-Art Prestaties: Aangetoonde superieure resultaten op grootschalige datasets voor autonoom rijden (KITTI, Waymo), met een aanzienlijke reductie van geometrische schendingen terwijl de renderingkwaliteit hoog blijft.

---

4. Experimentele Resultaten

De methode werd geëvalueerd op KITTI en Waymo Open Dataset tegen baselines zoals vanilla 3DGS, 2DGS, GeoGaussian en Mip-Splatting.

• Kwantitatieve Metrieken:
  • Geometrische Kwaliteit: EnerGS behaalde de laagste "Leak"-scores (minder primitieven in vrije ruimte) en hoogste "Margin"-scores (betere scheiding tussen bezette en vrije ruimte). Het toonde ook een hogere OccCov (betere dekking van bezette ruimte).
  • Fotometrische Kwaliteit: Behaalde de hoogste PSNR en concurrerende SSIM op beide datasets, en presteerde beter dan methoden die worstelen met spaarzame gezichtspunten.
  • Efficiëntie: Hield een vergelijkbaar aantal Gaussian-primitieven aan als de baselines, wat wijst op een compacter en fysiek consistenter representatie.
• Kwalitatieve Resultaten:
  • In gebieden buiten LiDAR-dekking (bijvoorbeeld daken, lucht, verre bomen) reconstrueerde EnerGS succesvol fijne details gedreven door camera-afbeeldingen, terwijl baselines deze ofwel niet konden reconstrueren of floaters produceerden.
  • In geverifieerde vrije ruimte elimineerde EnerGS volledig de "zwevende" artefacten die bij andere methoden voorkomen.
• Ablatiestudies: Bevestigde dat het verwijderen van een component (bijvoorbeeld de barrière voor vrije ruimte, de zwakke prior voor onbekende gebieden, of de ontkoppelde optimalisatie) leidde tot consistente degradatie in zowel geometrische stabiliteit als renderingkwaliteit.

---

5. Betekenis

EnerGS adresseert een kritieke bottleneck bij het toepassen van 3DGS op real-world, grootschalige robotica en scenario's voor autonoom rijden.

• Robuustheid tegen Sensorbeperkingen: Het biedt een principiële manier om de inherente spaarzaamheid en onvolledigheid van LiDAR-sensoren te hanteren zonder te vertrouwen op perfecte geometrische supervisie.
• Overbrugging van de Kloof: Door onderscheid te maken tussen "geverifieerde vrije ruimte", "geverifieerde bezette ruimte" en "onbekende ruimte", overbrugt het de kloof tussen deterministische sensordata en ambigu visuele data.
• Generaliseerbaarheid: De op energie gebaseerde formulering is modulair en kan worden geïntegreerd in andere Gaussian Splatting-pijplijnen (zoals aangetoond met SplatAD en StreetGS), waardoor het een veelzijdig hulpmiddel is voor het verbeteren van 3D-reconstructie in onbegrensde omgevingen.

Kortom, transformeert EnerGS de optimalisatie van 3D-Gaussians van een puur fotometrische taak naar een proces dat is ingegeven door de fysica, waardoor het resulterende 3D-taferel niet alleen visueel realistisch is, maar ook geometrisch plausibel en vrij van artefacten.