💻 computer science

E2GS: Event Enhanced Gaussian Splatting

E2GS ist eine neuartige Methode, die Ereigniskameradaten mit Gaussian Splatting integriert, um eine hochwertige Synthese neuer Ansichten und eine effektive Bildentwischung zu erreichen, wobei sie im Vergleich zu herkömmlichen NeRF-basierten Ansätzen deutlich schnellere Trainings- und Rendering-Geschwindigkeiten bietet.

Ursprüngliche Autoren: Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein schönes Foto einer sich schnell bewegenden Szene aufzunehmen, wie etwa eines Rennwagens oder eines rotierenden Ventilators. Wenn Sie eine Standardkamera verwenden, ist das Ergebnis oft ein verschwommener Wirrwarr, weil die Kamera mit der Geschwindigkeit nicht Schritt halten konnte. Seit Jahren versuchen Informatiker, mit Hilfe von Mathematik diese Fotos zu „entverschmieren" und sogar neue Blickwinkel der Szene zu erzeugen, die die Kamera tatsächlich nie gesehen hat.

Dieser Beitrag stellt ein neues Werkzeug namens E2GS (Event Enhanced Gaussian Splatting) vor. Stellen Sie es sich als einen übermächtigen Bildbearbeiter vor, der nicht nur errät, wie das verschwommene Bild aussehen sollte, sondern eine spezielle „zweite Augenpaar" verwendet, um genau zu sehen, was während der Verschmierung passiert ist.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „Bewegungsverschmierungs"-Wirrwarr

Standardkameras funktionieren wie eine Filmkamera: Sie machen alle 1/30. Sekunde ein Schnappschuss. Wenn sich etwas während dieses winzigen Zeitabschnitts zu schnell bewegt, verschmiert das Bild.

Der alte Weg: Wissenschaftler versuchten, dies mit einer Methode namens NeRF zu beheben. Stellen Sie sich NeRF als einen sehr langsamen, sehr sorgfältigen Künstler vor, der versucht, die gesamte 3D-Welt wiederherzustellen, indem er Millionen winziger Laserstrahlen durch die Luft schießt, um zu erraten, was sich darin befindet. Es erzeugt erstaunliche Bilder, dauert aber Tage zum Trainieren und ist zu langsam, um in Echtzeit betrachtet zu werden.
Der neue Weg (Gaussian Splatting): Kürzlich ist eine schnellere Methode namens „Gaussian Splatting" aufgetaucht. Anstatt Laserstrahlen zu schießen, malt sie die 3D-Welt mit Millionen winziger, unscharfer 3D-Wolken (Gaussian) ein. Es ist wie die Verwendung einer Sprühdose anstelle eines Lasers. Es ist unglaublich schnell, aber wenn Sie ihr ein verschwommenes Foto zuführen, malt sie einfach eine verschwommene 3D-Welt.

2. Der geheime Bestandteil: Die „Ereigniskamera"

Die Autoren erkannten, dass Standardkameras schlecht darin sind, Geschwindigkeit einzufangen, aber es gibt eine andere Art von Kamera, die Ereigniskamera genannt wird.

Die Analogie: Stellen Sie sich eine Standardkamera als einen Sicherheitsbeamten vor, der jede Sekunde ein Foto des Raums macht. Wenn ein Dieb zwischen den Fotos vorbeiläuft, verpasst der Beamte ihn.
Die Ereigniskamera: Dies ist wie ein Wächter, der keine Fotos macht, sondern stattdessen ruft: „Hier hat sich etwas bewegt! Es wurde heller!" oder „Dort hat sich etwas bewegt! Es wurde dunkler!" Sie meldet nur Veränderungen. Sie interessiert sich nicht für das ganze Bild; sie interessiert sich nur für die Aktion. Sie hat keine Bewegungsverschmierung, weil sie sofort reagiert.

3. Wie E2GS sie kombiniert

Die große Idee des Papiers besteht darin, das „verschwommene Foto" (von der Standardkamera) mit den „Rufen der Bewegung" (von der Ereigniskamera) zu mischen.

Der Prozess:
1. Das Setup: Sie haben ein verschwommenes Foto einer Szene und einen Strom von „Ereignisdaten" (den Rufen der Bewegung), die während der Aufnahme des Fotos entstanden sind.
2. Die Rekonstruktion: Das E2GS-System verwendet die Ereignisdaten, um genau herauszufinden, wie sich das Licht während der Verschmierung verändert hat. Es ist wie ein Zeitraffervideo der stattfindenden Verschmierung, das dem System hilft, das scharfe Bild rückwärts zu entwickeln.
3. Das Malen: Anschließend verwendet es die Technik „Gaussian Splatting" (die Sprühdosen-Wolken), um ein 3D-Modell zu erstellen. Da es genau weiß, wie sich das Licht bewegt hat (dank der Ereignisdaten), kann es eine scharfe, klare 3D-Szene malen, obwohl das Eingabefoto verschwommen war.

4. Warum dies eine große Sache ist

Das Papier behauptet zwei große Siege gegenüber den bisherigen besten Methoden (wie E2NeRF):

Geschwindigkeit: Die alte Methode (NeRF) war wie eine Schnecke; es dauerte 2 Tage, um eine Szene zu lernen, und erzeugte ein Video, das sich mit 0,04 Bildern pro Sekunde bewegte (im Wesentlichen eine Diashow). Die neue E2GS-Methode ist wie ein Gepard; sie lernte die Szene in 50 Minuten und kann Videos mit 140 Bildern pro Sekunde rendern (glatte Echtzeitgeschwindigkeit).
Qualität: Obwohl es schnell ist, sind die Bilder schärfer. Als sie es an synthetischen (künstlich erzeugten) und realen Fotos testeten, erzeugte E2GS klarere Bilder und bessere 3D-Ansichten als die älteren, langsameren Methoden.

Zusammenfassung

Kurz gesagt ist E2GS eine neue Art, verschwommene, wackelige Fotos in scharfe 3D-Welten zu verwandeln. Dies geschieht, indem eine Standardkamera mit einer speziellen „Bewegungssensor"-Kamera zusammengearbeitet wird. Das Ergebnis ist ein System, das nicht nur 60-mal schneller zu trainieren und 3.500-mal schneller zu rendern ist als die bisher beste Technologie, sondern auch viel klarere Bilder erzeugt.

Die Autoren weisen darauf hin, dass dies derzeit für statische Szenen gilt (Dinge, die sich nicht innerhalb der Szene bewegen, obwohl sich die Kamera bewegen kann), und sie sehen eine Zukunft, in der dies bei sich schnell bewegenden Sport-Szenen helfen könnte, aber vorläufig ist es ein Durchbruch bei der Korrektur verschwommener Fotos und der sofortigen Erstellung von 3D-Ansichten.

Technische Zusammenfassung: Event Enhanced Gaussian Splatting (E2GS)

Problemstellung

Jüngste Fortschritte bei der 3D-Szenenrekonstruktion und der Synthese neuer Ansichten wurden durch Neural Radiance Fields (NeRF) und, noch kürzer, durch 3D Gaussian Splatting vorangetrieben. Während 3D Gaussian Splatting im Vergleich zu NeRF schnelle Trainings- und Rendering-Fähigkeiten bietet, gehen diese Methoden im Allgemeinen von idealen Eingangsbedingungen aus. Sie haben erhebliche Schwierigkeiten, wenn sie mit Bewegungsunschärfe behafteten Bildern konfrontiert werden, einem häufigen Artefakt, das durch Objektbewegung, Kameraerschütterung oder Defokussierung der Linse verursacht wird.

Im Gegensatz dazu bieten Event-Kameras (Dynamic Vision Sensors) einen hohen Dynamikbereich, keine Bewegungsunschärfe und eine geringe Latenz, indem sie Helligkeitsänderungen von Pixeln asynchron erfassen. Bisherige ereignisbasierte 3D-Rekonstruktionsmethoden, wie E2NeRF, nutzten erfolgreich Ereignisdaten zusammen mit unscharfen RGB-Bildern, um scharfe Szenen zu rekonstruieren. Diese Ansätze verlassen sich jedoch auf das NeRF-Paradigma, das umfangreiche Ray-Sampling-Strategien erfordert, was zu unangemessen langen Trainingszeiten und langsamen Rendering-Geschwindigkeiten führt. Es besteht weiterhin ein Bedarf an einer Methode, die die Effizienz von Gaussian Splatting mit der Robustheit gegenüber Bewegungsunschärfe von Ereignisdaten kombiniert.

Methodik

Die Autoren schlagen Event Enhanced Gaussian Splatting (E2GS) vor, ein Framework, das Ereignisstromdaten in die Pipeline des 3D Gaussian Splatting integriert, um Eingaben mit Bewegungsunschärfe zu verarbeiten. Die Methode arbeitet in drei Hauptphasen:

1. Vorverarbeitung und Initialisierung

Ereignisgesteuerte Entunschärfung: Gegeben eine Reihe unscharfer Bilder und ihrer entsprechenden Ereignisströme, teilt die Methode die Belichtungszeit jedes Bildes in $N$ gleiche Zeitstempel auf. Unter Verwendung des Event-based Double Integral (EDI)-Modells wird eine Sequenz scharfer Zwischenbilder ( $I_i$ ) durch Akkumulation von Ereignisdaten geschätzt. Das unscharfe Bild wird als Durchschnitt dieser Zwischenbilder modelliert.
Initialisierung: Die geschätzte Sequenz entunschärfter Bilder wird in eine Structure-from-Motion (SfM)-Pipeline (COLMAP) eingespeist, um die initialen 3D-Gaußschen Koordinaten und Kameraposen zu generieren. Dieser Schritt ist entscheidend, da die Standard-SfM oft versagt, wenn sie direkt mit unscharfen Bildern initialisiert wird.

2. Trainingsframework

E2GS optimiert die Parameter der 3D-Gaußschen Verteilungen unter Verwendung zweier unterschiedlicher Verlustfunktionen, um die Rekonstruktion zu überwachen:

Image Rendering Loss ( $\mathcal{L}_{blur}$ ): Um Gaussian Splatting an unscharfe Eingaben anzupassen, rendert die Methode $N$ Zwischenansichten, die den Zeitstempeln entsprechen, und mittelt sie, um die unscharfe Ground Truth zu simulieren. Der Verlust ist eine Kombination aus L1-Verlust und D-SSIM (Dissimilarity Structural Similarity), die den simulierten Durchschnitt mit dem Eingabe-unscharfen Bild vergleicht.
Event Rendering Loss ( $\mathcal{L}_{event}$ ): Um die hohe zeitliche Auflösung von Ereignisdaten zu nutzen, wählt die Methode zufällig zwei Frames aus der gerenderten Sequenz aus, wandelt sie in den logarithmischen Intensitätsbereich um und berechnet die erwartete Anzahl von Ereignissen basierend auf dem Intensitätsunterschied und einem Schwellenwert $C$ . Dieser geschätzte Ereignis-Bin wird mit dem Ground-Truth-Ereignis-Bin unter Verwendung des Mean Squared Error (MSE) verglichen. Dieser Verlust erzwingt Konsistenz mit dem kontinuierlichen zeitlichen Prozess der Unschärfe, nicht nur mit dem statischen Durchschnitt.

Die Gesamtverlustfunktion ist eine gewichtete Summe: $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$ .

Hauptbeiträge

Erste Integration von Ereignissen in Gaussian Splatting: E2GS ist der erste Ansatz, der Ereignisdaten in das Gaussian-Splatting-Framework integriert und damit über das Volumen-Rendering-Paradigma von NeRF hinausgeht.
Effiziente Entunschärfung und Synthese: Die Methode nutzt effektiv sowohl unscharfe RGB-Bilder als auch Ereignisströme, um eine hochwertige Bildentunschärfung und Synthese neuer Ansichten zu erreichen.
Signifikante Geschwindigkeitsverbesserungen: Durch den Ersatz von Ray-Sampling durch differenzierbares Rasterisieren reduziert E2GS die Rechenkosten im Vergleich zu ereignisbasierten NeRF-Methoden drastisch.

Experimentelle Ergebnisse

Die Autoren bewerteten E2GS sowohl auf synthetischen Datensätzen (simulierte Kameraerschütterung in Blender) als auch auf realen Datensätzen (aufgenommen mit DAVIS346 Event-Kameras).

Quantitative Leistung:
- Bildentunschärfung: Auf synthetischen Daten erreichte E2GS einen PSNR von 30,84 und übertraf damit das Standard-Gaussian Splatting (22,92) sowie E2NeRF (29,77) entweder gleichwertig oder leicht. Auf realen Daten erzielte E2GS die niedrigsten BRISQUE-Werte (was auf höhere Natürlichkeit hinweist) mit einem Durchschnitt von 32,50 im Vergleich zu 36,59 bei E2NeRF.
- Synthese neuer Ansichten: E2GS zeigte auf synthetischen Daten überlegene oder wettbewerbsfähige Ergebnisse bei den Metriken PSNR, SSIM und LPIPS sowohl gegenüber dem Standard-GS als auch gegenüber E2NeRF. Bei der Synthese neuer Ansichten auf realen Daten erzielte E2GS erneut die besten BRISQUE-Werte (Durchschnitt 32,77).
Effizienz:
- Training: E2GS reduzierte die Trainingszeit um den Faktor 60 im Vergleich zu E2NeRF (50 Minuten vs. 2 Tage).
- Rendering: E2GS erreichte eine Rendering-Geschwindigkeit von 140 FPS, was einer 3500-fachen Beschleunigung gegenüber E2NeRF (0,04 FPS) entspricht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass E2GS die Lücke zwischen der hochwertigen Rekonstruktion ereignisbasierter NeRF-Methoden und der Recheneffizienz von Gaussian Splatting erfolgreich schließt. Die Autoren behaupten, dass ihre Methode visuell ansprechende Renderings erzeugt und gleichzeitig deutlich schnellere Trainings- und Rendering-Geschwindigkeiten bietet, was eine Echtzeit- oder nahezu Echtzeit-3D-Rekonstruktion aus bewegungsunschärfebehafteten, ereignisergänzten Daten ermöglicht.

Die Autoren schließen daraus, dass ihre Methode zwar statische Szenen effektiv verarbeitet, zukünftige Forschungsrichtungen jedoch die Behandlung dynamischer Szenen mit sich schnell bewegenden Objekten (z. B. Sport) umfassen sollten, was für aktuelle rein RGB-basierte oder auf statische Szenen ausgerichtete Ansätze weiterhin eine Herausforderung bleibt.