💻 computer science

Eulerian Gaussian Splatting using Hashed Probability Pyramids

Dit artikel introduceert Eulerian Gaussian Splatting, een probabilistisch stralingsveldkader dat heuristische Gaussische manipulatie vervangt door gradiëntgebaseerde optimalisatie van een leerbare volumetrische waarschijnlijkheidsdichtheid met behulp van gehashte waarschijnlijkheidspyramiden, waardoor state-of-the-art reconstructiekwaliteit op mip-NeRF 360 wordt bereikt terwijl 3DGS-niveau weergavesnelheid wordt behouden.

Oorspronkelijke auteurs: Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een 3D-scène (zoals een kamer of een tuin) na te bootsen met miljoenen kleine, gloeiende, vage ballen (Gaussians). Dit is wat een populaire technologie genaamd 3D Gaussian Splatting doet. Het is ongelooflijk snel en ziet er geweldig uit, maar het heeft een gebrek: het beheert deze ballen met een reeks rigide, handgeschreven regels. Als een bal op de verkeerde plek zit, moet de computer raden of hij hem moet verplaatsen, in tweeën moet splitsen of moet verwijderen. Soms raken deze regels in de war, wat leidt tot een rommelige reconstructie.

Dit artikel introduceert een nieuwe methode genaamd Eulerian Gaussian Splatting (EGS). In plaats van de ballen handmatig te verplaatsen, behandelen de auteurs de volledige 3D-ruimte als een weerbericht.

Hier is de uitleg van hun aanpak met eenvoudige analogieën:

1. Het Weerbericht versus De Verplaatsende Trucks

De Oude Manier (Lagrangiaans): Stel je voor dat je een vloot bezorgtrucks (de ballen) hebt die door een stad rijden. Als een pakket naar een nieuwe locatie moet, moet je een specifieke truck vertellen daar naartoe te rijden, of een truck vertellen zich in tweeën te splitsen. Dit vereist een complexe verkeersleider (heuristiek) om te beslissen welke truck wat doet.
De Nieuwe Manier (Euleriaans): In plaats van trucks te verplaatsen, stel je voor dat je een weerbericht hebt dat aangeeft waar het "waarschijnlijk gaat regenen". Je verplaatst de regen niet; je verandert gewoon het bericht. Als het bericht op een specifieke plek "zware regenval" aangeeft, genereer je daar automatisch een regendruppel. Als het "droog" aangeeft, verschijnt er geen regendruppel.
- In dit artikel is het "weerbericht" een leerbare waarschijnlijkheidsdichtheid. De computer verplaatst de ballen niet; het leert een kaart die aangeeft waar nieuwe ballen moeten worden gegenereerd en waar het genereren moet stoppen, puur op basis van hoe goed het beeld eruit ziet.

2. De "Gehashte Waarschijnlijkheidspyramide" (De Slimme Kaart)

Het maken van een weerbericht voor een hele stad op microscopisch niveau zou te veel computergeheugen vereisen. Om dit op te lossen, bouwden de auteurs een Gehashte Waarschijnlijkheidspyramide.

De Analogie: Denk aan een kaart die begint als een raster met lage resolutie (zoals een gepixelde afbeelding). Naarmate je inzoomt, wordt de kaart gedetailleerder. In plaats van echter de data van elke afzonderlijke pixel op te slaan, gebruikt de kaart een slimme "hash"-truc (zoals een geheime code) om informatie voor lege gebieden opnieuw te gebruiken.
Waarom dit helpt: Het stelt de computer in staat om een supergedetailleerde kaart van de scène te hebben zonder op te lopen tegen het geheugenlimiet. Het kan zijn "hersencapaciteit" richten op de complexe delen van de scène (zoals een boom met veel bladeren) terwijl het de lege lucht simpel houdt.

3. De "Control Variate" (De Ruisonderdrukker)

Wanneer de computer probeert deze kaart te leren, moet het raden waar het de ballen moet plaatsen, naar het resultaat kijken en vervolgens de kaart aanpassen. Omdat het willekeurig raadt, is de "feedback" (gradiënten) die het krijgt zeer ruisig, alsof je probeert een fluistering te horen in een luid concert. Dit maakt leren meestal traag en instabiel.

De Innovatie: De auteurs bedachten een speciale wiskundige truc genaamd een Control Variate.
De Analogie: Stel je voor dat je probeert te beoordelen hoeveel een enkele zanger bijdraagt aan het geluid van een koor. Als je naar het hele koor luistert, is het moeilijk te zeggen. Maar als je je het koor zonder die ene zanger voorstelt, kun je het verschil gemakkelijk horen.
De wiskundige truc van de auteurs berekent precies hoeveel elke individuele bal heeft bijgedragen aan het uiteindelijke beeld door het volledige beeld te vergelijken met het beeld zonder die specifieke bal. Dit neutraliseert de achtergrondruis en geeft de computer een zeer duidelijk, stabiel signaal over hoe de kaart moet worden verbeterd.

4. Het Resultaat: Een Zelforganiserende Tuin

Door deze ideeën te combineren, werkt het systeem als een tuin die zichzelf organiseert:

Het begint met een leeg canvas en een "waarschijnlijkheidskaart".
Het zaait willekeurig "zaden" (Gaussian ballen) uit op basis van de kaart.
Het kijkt naar het beeld. Als een deel van de tuin wazig of verkeerd lijkt, verhoogt de kaart automatisch de "waarschijnlijkheid" dat er zaden daar groeien. Als een deel te druk of verkeerd lijkt, verlaagt de kaart de waarschijnlijkheid.
Er zijn geen menselijke regels nodig om de computer te vertellen om "deze bal te splitsen" of "die bal te verwijderen". De wiskunde verplaatst de "massa" van de waarschijnlijkheid natuurlijk naar waar het nodig is.

De Conclusie

Het artikel beweert dat deze methode state-of-the-art kwaliteit bereikt (het ziet er beter uit dan eerdere methoden) op complexe 3D-scènes, terwijl het de renderingssnelheid even snel houdt als de originele 3D Gaussian Splatting.

Cruciaal is dat dit gebeurt zonder een voorafgaande scan van de scène (zoals een 3D-laserscan) om te beginnen. Het kan starten vanuit een volledig willekeurige gok en de vorm van de wereld achterhalen door alleen naar de foto's te kijken, dankzij het vermogen om de "waarschijnlijkheidskaart" direct te leren via gradiëntafdaaling. Het overbrugt de kloof tussen de stabiliteit van continue wiskunde (zoals NeRF's) en de snelheid van discrete objecten (zoals 3DGS).

Technische Samenvatting: Euleriaanse Gaussian Splatting met Gehashte Kanspiramides

Probleemstelling
Huidige methoden voor 3D Gaussian Splatting (3DGS) realiseren real-time rendering door scènes weer te geven met discrete Gaussische primitieven. Het optimaliseren van deze scènes is echter afhankelijk van "Adaptive Density Control" (ADC), een reeks handmatig afgestelde heuristieken (zoals splitsen, klonen en cullen) om primitieven tijdens het trainen toe te voegen of te verwijderen. Deze heuristieken kunnen breekbaar zijn en kunnen leiden tot suboptimale lokale minima. Daarentegen optimaliseren Neural Radiance Fields (NeRFs) continue volumetrische dichtheden via gradiëntafstijging, wat meer stabiliteit biedt maar lijdt aan trage renderingssnelheden. Het artikel adresseert de behoefte aan een raamwerk dat de renderingsefficiëntie van 3DGS behoudt terwijl het de principiële, op gradiënten gebaseerde optimalisatie van continue velden overneemt, waardoor de noodzaak voor heuristische manipulatie van primitieven wordt geëlimineerd.

Methodologie
De auteurs stellen Euleriaanse Gaussian Splatting (EGS) voor, een probabilistisch raamwerk dat verschuift van een Lagrangiaanse visie (expliciet bewegen van primitieven) naar een Euleriaanse visie (optimaliseren van een kansdichtheidsfunctie over het scènevolume).

Probabilistisch Rendermodel:
In plaats van individuele Gaussische posities te optimaliseren, definieert EGS een volumetrische kansdichtheidsfunctie $p_\theta(\mu)$ over de 3D-ruimte. Bij elke trainingsiteratie wordt een discrete set van $N$ Gaussische centra $\mu_i$ uit deze verdeling gehaald. Deze gehaalde centra worden vervolgens gerenderd met standaard 3DGS-rasterisatie. Het verlies wordt geminimaliseerd door de parameters van de onderliggende kansverdeling $\theta$ en de Gaussische attributen $\phi$ (kleur, schaal, rotatie, dekking) te optimaliseren.
Gehashte Kanspiramide:
Om de kansdichtheid $p_\theta(\mu)$ efficiënt weer te geven bij hoge resoluties zonder onhaalbare geheugengroei, introduceren de auteurs een Gehashte Kanspiramide.
- Structuur: Het is een meerlagig hiërarchisch rooster waarbij de kansdichtheid wordt geparametriseerd als een product van stuksgewijs constante functies over $L$ niveaus.
- Geheugenefficiëntie: Om de kubische groei van parameters te vermijden, maakt de methode gebruik van hash-encoding. Op elk niveau wordt het rooster betegeld met een beperkt budget ( $B$ ) van $2\times2\times2$ blokken. Een hashfunctie koppelt roosterindices aan deze blokken, waardoor de representatie van een verdeling met hoge resolutie (bijvoorbeeld $4096^3$ ) mogelijk is met een compacte set parameters (ongeveer 86 miljoen parameters voor een $4096^3$ -rooster, wat slechts 0,33 GB vereist).
- Halen: Het halen wordt efficiënt uitgevoerd door de hiërarchie van ruwe naar fijne niveaus te traverseren. Het proces wordt end-to-end differentieerbaar gemaakt door willekeurige samples over niveaus te koppelen via deterministische fractie-delen functies.
Gradiëntschatting en Variantiereductie:
Het optimaliseren van een verdeling via stochastische gradiëntafstijging introduceert hoge variantie. De standaard pathwise-schatting (met automatische differentiatie door het haalproces) blijkt onstabiel te zijn.
- Controlevariabelen: De auteurs leiden een onbevooroordeelde gradiëntschatter af gebaseerd op de scorefunctie, versterkt met controlevariabelen.
- Kerninzicht: De gradiëntbijdrage van een specifieke sample wordt gewogen naar zijn individuele impact op het gerenderde beeld. Specifiek wordt het verschil tussen het volledige beeld $I$ en het beeld gerenderd zonder de $i$ -de Gaussische ( $I_{-i}$ ) gebruikt.
- Efficiëntie: Cruciaal bewijst het artikel dat $(I - I_{-i})$ direct kan worden berekend uit de dekking $o_i$ en de gradiënt van het verlies met betrekking tot dekking ( $\partial I / \partial o_i$ ) tijdens de standaard terugwaartse pass. Dit vermijdt de rekenkosten van het renderen van $M$ afzonderlijke beelden terwijl het de gradiëntvariantie aanzienlijk vermindert.
Trainingsstrategieën:
- Defensief Halen: Gaussisch ruis wordt toegevoegd aan een subset van samples in een vroeg stadium van het trainen om te voorkomen dat de kansdichtheid in gebieden die later belangrijk kunnen worden, instort tot nul.
- Afronden van Samples: Sampleposities worden afgerond naar het centrum van hun fijnste roosterbak om variantie veroorzaakt door lichte positiesverschuivingen te verminderen.
- Verwijderen van Dubbels: Dubbele samples (die ontstaan door afronding) worden verwijderd voordat er wordt gerenderd, waardoor het aantal Gaussischen op natuurlijke wijze wordt gesnoeid naarmate het model optimaliseert.
- Verfijning: Na het optimaliseren van de kans- en attributenroosters, wordt een laatste verfijningstrap uitgevoerd waarbij standaard op gradiënten gebaseerde optimalisatie wordt toegepast op de discrete set gehaalde Gaussischen voor 5.000 iteraties.

Belangrijkste Bijdragen

Euleriaanse Formulering: Een nieuwe aanpak die NeRF en 3DGS overbrugt door een continu kansveld te optimaliseren om de plaatsing van discrete Gaussischen te sturen, waardoor de noodzaak voor heuristische dichtheidscontrole wordt verwijderd.
Gehashte Kanspiramide: Een geheugenefficiënte, globaal genormaliseerde, meerlagige representatie voor 3D-kansdichtheden die optimalisatie met hoge resolutie op één GPU mogelijk maakt.
Gradiëntschatter met Lage Variantie: Een op controlevariabelen gebaseerde schatter die de bijdrage van elke Gaussische aan het gerenderde beeld isoleert, waardoor stabiele training van de kansverdeling mogelijk is zonder de hoge variantie van standaard pathwise-schattingen.
Training zonder Heuristieken: De methode bereikt state-of-the-art resultaten beginnend bij een uniforme willekeurige initialisatie, zonder afhankelijkheid van Structure-from-Motion (SfM)-punten of handmatig afgestelde splitsings-/cull-regels.

Resultaten
De methode werd geëvalueerd op de mip-NeRF 360, Tanks & Temples en Deep Blending datasets.

Prestaties: EGS bereikt state-of-the-art reconstructiekwaliteit onder modellen die willekeurig worden geïnitieerd, en presteert beter dan baselines zoals 3DGS-MCMC en Taming-3DGS in totale PSNR.
Vergelijking met op SfM gebaseerde methoden: Hoewel modellen die zijn geïnitieerd met COLMAP-punten over het algemeen iets beter presteren, sluit EGS, beginnend bij willekeurige initialisatie, een groot deel van deze kloof, wat robuustheid aantoont.
Ablatiestudies: De aangepaste gradiëntschatter wordt geïdentificeerd als het meest kritieke onderdeel; zonder deze wordt training onstabiel en convergeert het naar slechte resultaten. Regularisatie van dekking en defensief halen bieden ook aanzienlijke stabiliteitsvoordelen.
Efficiëntie: Hoewel het trainingsproces trager en geheugenintensiever is dan standaard 3DGS vanwege het grote aantal samples en hash-roosterqueries, blijft de uiteindelijke renderingssnelheid vergelijkbaar met 3DGS.

Betekenis
Het artikel stelt dat EGS een "principiële brug" biedt tussen optimalisatie van continue velden en discrete Gaussische rendering. Door breekbare heuristieken te vervangen door een leerbare kansverdeling, stelt het raamwerk de scènegeometrie in staat puur voort te komen uit gradiëntsignalen. Dit maakt een eenvoudige, end-to-end trainingsprocedure mogelijk die generaliseert over diverse scènes zonder vereisten voor voorafgaande geometrische initialisatie (SfM) of handmatige ingrepen, en demonstreert dat op sampling gebaseerde formuleringen hoogwaardige reconstructies kunnen bereiken terwijl de efficiëntie van op splat gebaseerde rendering behouden blijft.