💻 computer science

Eulerian Gaussian Splatting using Hashed Probability Pyramids

Dieser Beitrag führt Eulerian Gaussian Splatting ein, ein probabilistisches Radiance-Field-Framework, das heuristische Gaussian-Manipulation durch gradientenbasierte Optimierung einer lernbaren volumetrischen Wahrscheinlichkeitsdichte unter Verwendung gehashter Wahrscheinlichkeitspyramiden ersetzt und dadurch eine State-of-the-Art-Rekonstruktionsqualität auf mip-NeRF 360 bei Beibehaltung einer Rendering-Geschwindigkeit auf 3DGS-Niveau erreicht.

Ursprüngliche Autoren: Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine 3D-Szene (wie einen Raum oder einen Garten) mit Millionen winziger, leuchtender, unscharfer Kugeln (Gaußschen Verteilungen) nachzubilden. Genau das tut eine beliebte Technologie namens 3D Gaussian Splatting. Sie ist unglaublich schnell und sieht großartig aus, hat jedoch einen Mangel: Sie verwaltet diese Kugeln mithilfe eines Satzes starrer, von Hand geschriebener Regeln. Befindet sich eine Kugel am falschen Ort, muss der Computer raten, ob sie verschoben, in zwei geteilt oder gelöscht werden soll. Manchmal geraten diese Regeln durcheinander, was zu einer unordentlichen Rekonstruktion führt.

Diese Arbeit stellt eine neue Methode namens Eulerian Gaussian Splatting (EGS) vor. Anstatt die Kugeln manuell zu bewegen, behandeln die Autoren den gesamten 3D-Raum wie eine Wetterkarte.

Hier ist die Aufschlüsselung ihres Ansatzes mit einfachen Analogien:

1. Die Wetterkarte vs. die fahrenden LKWs

Der alte Weg (Lagrange): Stellen Sie sich vor, Sie haben eine Flotte von Lieferwagen (die Kugeln), die durch eine Stadt fahren. Wenn ein Paket an einen neuen Ort gebracht werden muss, müssen Sie einem bestimmten LKW befehlen, dorthin zu fahren, oder einem LKW befehlen, sich in zwei Hälften zu teilen. Dies erfordert einen komplexen Verkehrsleiter (Heuristiken), der entscheidet, welcher LKW was tut.
Der neue Weg (Euler): Anstatt LKWs zu bewegen, stellen Sie sich eine Wetterkarte vor, die zeigt, wo es „wahrscheinlich regnet". Sie bewegen den Regen nicht; Sie ändern nur die Karte. Wenn die Karte an einer bestimmten Stelle „starken Regen" anzeigt, wird dort automatisch ein Regentropfen erzeugt. Wenn sie „trocken" anzeigt, erscheint kein Regentropfen.
- In dieser Arbeit ist die „Wetterkarte" eine lernbare Wahrscheinlichkeitsdichte. Der Computer bewegt die Kugeln nicht; er lernt eine Karte, die ihm sagt, wo neue Kugeln erzeugt und wo die Erzeugung gestoppt werden soll, rein basierend darauf, wie gut das Bild aussieht.

2. Die „gehashte Wahrscheinlichkeitspyramide" (Die intelligente Karte)

Die Erstellung einer Wetterkarte für eine ganze Stadt auf mikroskopischer Ebene würde zu viel Computerspeicher erfordern. Um dies zu lösen, bauten die Autoren eine gehashte Wahrscheinlichkeitspyramide.

Die Analogie: Denken Sie an eine Karte, die als Raster mit niedriger Auflösung beginnt (wie ein pixeliges Bild). Wenn Sie hineinzoomen, wird die Karte detaillierter. Anstatt jedoch die Daten jedes einzelnen Pixels zu speichern, verwendet die Karte einen cleveren „Hash"-Trick (wie einen Geheimschlüssel), um Informationen für leere Bereiche wiederzuverwenden.
Warum es hilft: Es ermöglicht dem Computer, eine superdetaillierte Karte der Szene zu haben, ohne den Speicher zu sprengen. Er kann seine „Gehirnleistung" auf die komplexen Teile der Szene konzentrieren (wie einen Baum mit vielen Blättern), während er den leeren Himmel einfach hält.

3. Der „Control Variate" (Der Rauschunterdrücker)

Wenn der Computer versucht, diese Karte zu lernen, muss er erraten, wo er die Kugeln platziert, das Ergebnis betrachten und dann die Karte anpassen. Da er zufällig rät, ist das „Feedback" (Gradienten), das er erhält, sehr verrauscht, wie wenn man versuchen würde, ein Flüstern in einem lauten Konzert zu hören. Dies macht das Lernen normalerweise langsam und instabil.

Die Innovation: Die Autoren erfanden einen speziellen mathematischen Trick namens Control Variate.
Die Analogie: Stellen Sie sich vor, Sie versuchen zu beurteilen, wie viel ein einzelner Sänger zum Klang eines Chors beiträgt. Wenn Sie den ganzen Chor hören, ist es schwer zu sagen. Aber wenn Sie sich den Chor ohne diesen einen Sänger vorstellen, können Sie den Unterschied leicht hören.
Der mathematische Trick der Autoren berechnet genau, wie viel jede einzelne Kugel zum endgültigen Bild beigetragen hat, indem sie das vollständige Bild mit dem Bild ohne diese spezifische Kugel vergleicht. Dies hebt das Hintergrundrauschen auf und gibt dem Computer ein sehr klares, stabiles Signal darüber, wie die Karte verbessert werden kann.

4. Das Ergebnis: Ein sich selbst organisierender Garten

Durch die Kombination dieser Ideen funktioniert das System wie ein sich selbst organisierender Garten:

Es beginnt mit einer leeren Leinwand und einer „Wahrscheinlichkeitskarte".
Es sprosst zufällig „Samen" (Gaußsche Kugeln) basierend auf der Karte aus.
Es betrachtet das Bild. Wenn ein Teil des Gartens unscharf oder falsch aussieht, erhöht die Karte automatisch die „Wahrscheinlichkeit", dass dort Samen wachsen. Wenn ein Teil zu überfüllt oder falsch aussieht, senkt die Karte die Wahrscheinlichkeit.
Es sind keine menschlichen Regeln nötig, um dem Computer zu sagen, er solle „diese Kugel teilen" oder „jene Kugel löschen". Die Mathematik verlagert die „Masse" der Wahrscheinlichkeit natürlich dorthin, wo sie benötigt wird.

Das Fazit

Die Arbeit behauptet, dass diese Methode State-of-the-Art-Qualität erreicht (sie sieht besser aus als frühere Methoden) bei komplexen 3D-Szenen, während die Rendering-Geschwindigkeit genauso schnell bleibt wie beim ursprünglichen 3D Gaussian Splatting.

Entscheidend ist, dass dies ohne einen Voraus-Scan der Szene (wie einen 3D-Laserscan) zum Starten möglich ist. Es kann von einer völlig zufälligen Annahme ausgehen und die Form der Welt nur durch das Betrachten der Fotos herausfinden, dank seiner Fähigkeit, die „Wahrscheinlichkeitskarte" direkt durch Gradientenabstieg zu lernen. Es überbrückt die Lücke zwischen der Stabilität kontinuierlicher Mathematik (wie bei NeRFs) und der Geschwindigkeit diskreter Objekte (wie bei 3DGS).

Technischer Zusammenfassung: Eulerische Gaussian Splatting mit gehashten Wahrscheinlichkeitspyramiden

Problemstellung
Aktuelle Methoden des 3D Gaussian Splatting (3DGS) erreichen eine Echtzeit-Rendering durch die Darstellung von Szenen mit diskreten Gauß-Primitiven. Die Optimierung dieser Szenen stützt sich jedoch auf eine „Adaptive Dichtekontrolle" (ADC), eine Reihe von manuell abgestimmten Heuristiken (z. B. Aufspaltung, Klonen, Aussonderung), um während des Trainings Primitiven hinzuzufügen oder zu entfernen. Diese Heuristiken können spröde sein und zu suboptimalen lokalen Minima führen. Im Gegensatz dazu optimieren Neuronale Strahlungsfelder (NeRFs) kontinuierliche volumetrische Dichten mittels Gradientenabstieg, was eine größere Stabilität bietet, jedoch unter langsamen Rendering-Geschwindigkeiten leidet. Der vorliegende Beitrag adressiert die Notwendigkeit eines Rahmens, der die Rendering-Effizienz von 3DGS beibehält und gleichzeitig die prinzipielle, gradientenbasierte Optimierung kontinuierlicher Felder übernimmt, wodurch die Notwendigkeit heuristischer Manipulation von Primitiven entfällt.

Methodik
Die Autoren schlagen Eulerische Gaussian Splatting (EGS) vor, ein probabilistisches Framework, das von einer Lagrange-Perspektive (explizites Bewegen von Primitiven) zu einer Euler-Perspektive (Optimierung einer Wahrscheinlichkeitsdichtefunktion über das Szenenvolumen) übergeht.

Probabilistisches Rendering-Modell:
Anstatt einzelne Gauß-Positionen zu optimieren, definiert EGS eine volumetrische Wahrscheinlichkeitsdichtefunktion $p_\theta(\mu)$ über den 3D-Raum. Bei jeder Trainingsiteration wird eine diskrete Menge von $N$ Gauß-Zentren $\mu_i$ aus dieser Verteilung gesampelt. Diese gesampelten Zentren werden anschließend unter Verwendung der Standard-3DGS-Rasterisierung gerendert. Der Verlust wird minimiert, indem die Parameter der zugrunde liegenden Wahrscheinlichkeitsverteilung $\theta$ und die Gauß-Attribute $\phi$ (Farbe, Skalierung, Rotation, Opazität) optimiert werden.
Gehashte Wahrscheinlichkeitspyramide:
Um die Wahrscheinlichkeitsdichte $p_\theta(\mu)$ effizient bei hohen Auflösungen darzustellen, ohne ein untragbares Speicherwachstum zu verursachen, führen die Autoren eine Gehashte Wahrscheinlichkeitspyramide ein.
- Struktur: Es handelt sich um ein mehrstufiges hierarchisches Gitter, bei dem die Wahrscheinlichkeitsdichte als Produkt von stückweise konstanten Funktionen über $L$ Ebenen parametrisiert wird.
- Speichereffizienz: Um das kubische Wachstum der Parameter zu vermeiden, verwendet die Methode Hash-Kodierung. Auf jeder Ebene wird das Gitter mit einem begrenzten Budget ( $B$ ) von $2\times2\times2$ -Blöcken kachelt. Eine Hash-Funktion bildet Gitterindizes auf diese Blöcke ab, was die Darstellung einer hochauflösenden Verteilung (z. B. $4096^3$ ) unter Verwendung einer kompakten Parametermenge ermöglicht (ca. 86 Millionen Parameter für ein $4096^3$ -Gitter, was nur 0,33 GB erfordert).
- Sampling: Das Sampling erfolgt effizient durch Durchlaufen der Hierarchie von groben zu feinen Ebenen. Der Prozess wird durch die Verknüpfung zufälliger Samples über die Ebenen hinweg mittels deterministischer Bruchteil-Funktionen end-zu-end differenzierbar gemacht.
Gradientenschätzung und Varianzreduktion:
Die Optimierung einer Verteilung mittels stochastischem Gradientenabstieg führt zu einer hohen Varianz. Der Standard-Pfad-Schätzer (unter Verwendung automatischer Differentiation durch den Sampling-Prozess) wird als instabil befunden.
- Kontrollvariablen: Die Autoren leiten einen unverzerrten Gradientenschätzer auf Basis der Score-Funktion ab, der mit Kontrollvariablen erweitert wird.
- Schlüsselerkenntnis: Der Gradientenbeitrag eines spezifischen Samples wird durch seinen individuellen Einfluss auf das gerenderte Bild gewichtet. Konkret wird die Differenz zwischen dem vollständigen Bild $I$ und dem Bild, das ohne das $i$ -te Gauß-Primitive gerendert wurde ( $I_{-i}$ ), verwendet.
- Effizienz: Entscheidend ist, dass der Beitrag $(I - I_{-i})$ direkt aus der Opazität $o_i$ und dem Gradienten des Verlusts bezüglich der Opazität ( $\partial I / \partial o_i$ ) während des Standard-Rückwärtsschritts berechnet werden kann. Dies vermeidet die Rechenkosten des Renderings von $M$ separaten Bildern und reduziert gleichzeitig die Gradientenvarianz erheblich.
Trainingsstrategien:
- Defensives Sampling: Gaußsches Rauschen wird zu einer Teilmenge von Samples zu Beginn des Trainings hinzugefügt, um zu verhindern, dass die Wahrscheinlichkeitsdichte in Regionen, die später wichtig werden könnten, auf null kollabiert.
- Sample-Rundung: Sample-Positionen werden auf die Mitte ihres feinsten Gitterbins gerundet, um die Varianz zu reduzieren, die durch geringfügige Positionsverschiebungen verursacht wird.
- Duplikatentfernung: Duplizierte Samples (die durch Rundung entstehen) werden vor dem Rendering entfernt, wodurch die Anzahl der Gauß-Primitiven während der Optimierung des Modells natürlich reduziert wird.
- Verfeinerung: Nach der Optimierung der Wahrscheinlichkeits- und Attributgitter wird ein abschließender Verfeinerungsschritt durchgeführt, der eine Standard-Gradientenoptimierung auf der diskreten Menge der gesampelten Gauß-Primitiven für 5.000 Iterationen durchführt.

Hauptbeiträge

Eulerische Formulierung: Ein neuartiger Ansatz, der NeRF und 3DGS verbindet, indem er ein kontinuierliches Wahrscheinlichkeitsfeld optimiert, um die Platzierung diskreter Gauß-Primitiven zu steuern, wodurch die Notwendigkeit einer heuristischen Dichtekontrolle entfällt.
Gehashte Wahrscheinlichkeitspyramide: Eine speichereffiziente, global normalisierte, mehrstufige Darstellung für 3D-Wahrscheinlichkeitsdichten, die eine hochauflösende Optimierung auf einer einzelnen GPU ermöglicht.
Niedrig-varianzer Gradientenschätzer: Ein auf Kontrollvariablen basierender Schätzer, der den Beitrag jedes Gauß-Primitiven zum gerenderten Bild isoliert und ein stabiles Training der Wahrscheinlichkeitsverteilung ohne die hohe Varianz standardmäßiger Pfadschätzer ermöglicht.
Heuristik-freies Training: Die Methode erzielt State-of-the-Art-Ergebnisse ausgehend von einer gleichmäßigen zufälligen Initialisierung, ohne sich auf Structure-from-Motion (SfM)-Punkte oder manuell abgestimmte Aufspaltungs-/Aussonderungsregeln zu verlassen.

Ergebnisse
Die Methode wurde auf den Datensätzen mip-NeRF 360, Tanks & Temples und Deep Blending evaluiert.

Leistung: EGS erreicht unter Modellen, die zufällig initialisiert wurden, die beste Rekonstruktionsqualität und übertrifft Baselines wie 3DGS-MCMC und Taming-3DGS in der gesamten PSNR.
Vergleich mit SfM-basierten Methoden: Obwohl Modelle, die mit COLMAP-Punkten initialisiert wurden, im Allgemeinen etwas besser abschneiden, schließt EGS, ausgehend von einer zufälligen Initialisierung, einen Großteil dieser Lücke und demonstriert Robustheit.
Ablationsstudien: Der benutzerdefinierte Gradientenschätzer wird als kritischste Komponente identifiziert; ohne ihn wird das Training instabil und konvergiert zu schlechten Ergebnissen. Opazitätsregularisierung und defensives Sampling bieten ebenfalls signifikante Stabilitätsvorteile.
Effizienz: Obwohl der Trainingsprozess aufgrund der großen Anzahl von Samples und Hash-Gitter-Abfragen langsamer und speicherintensiver ist als das Standard-3DGS, bleibt die finale Rendering-Geschwindigkeit mit 3DGS vergleichbar.

Bedeutung
Der Beitrag behauptet, dass EGS eine „prinzipielle Brücke" zwischen der Optimierung kontinuierlicher Felder und dem diskreten Gauß-Rendering bietet. Durch den Ersatz spröder Heuristiken durch eine lernbare Wahrscheinlichkeitsverteilung ermöglicht das Framework, dass die Szenengeometrie rein aus Gradienteninformationen hervorgeht. Dies ermöglicht ein einfaches, end-zu-end Trainingsverfahren, das sich über diverse Szenen hinweg verallgemeinert, ohne eine vorherige geometrische Initialisierung (SfM) oder manuelle Eingriffe zu erfordern, und demonstriert, dass sampling-basierte Formulierungen hochwertige Rekonstruktionen erreichen können, während die Effizienz des Splat-basierten Renderings erhalten bleibt.