Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields

Die Arbeit stellt „Fourier Splatting" vor, eine neuartige Methode zur skalierbaren Darstellung von Radiance Fields, die Fourier-kodierte Deskriptoren auf planaren Surfeln nutzt, um die visuelle Detailtiefe durch Laufzeit-Trunkierung der Fourier-Koeffizienten anzupassen und dabei sowohl eine stabile Optimierung als auch state-of-the-art Rendering-Qualität zu gewährleisten.

Das Wesentliche

Stellen Sie sich vor, Sie möchten ein Foto von einem 3D-Objekt aus jedem beliebigen Winkel betrachten, als würden Sie es in Ihren Händen halten. Früher war das sehr rechenintensiv und langsam. Dann kam eine Methode namens „3D-Gaussian Splatting" auf den Markt. Das war wie ein Haufen winziger, unscharfer Wolken (Gaußsche Glockenkurven), die zusammen ein Bild ergaben. Das war schnell, aber es gab ein Problem: Wenn Sie die Qualität verringern wollten (z. B. um Daten zu sparen), mussten Sie einfach Wolken wegschmeißen. Das Ergebnis war dann oft lückenhaft und unscharf, wie ein Bild, bei dem man Pixel entfernt hat.

Die Autoren dieses Papers haben sich gedacht: „Warum nicht die Wolken selbst veränderbar machen?"

Hier ist die Idee von Fourier Splatting in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Der alte Weg: Der Keks-Teig (3D-Gaussian Splatting)

Stellen Sie sich vor, Sie backen einen Kuchen. Die alte Methode verwendet nur runde Keksformen. Wenn Sie ein komplexes Bild (z. B. einen Stern oder eine Blume) darstellen wollen, müssen Sie hunderte kleine runde Kekse nebeneinanderlegen.

• Das Problem: Wenn Sie den Kuchen verkleinern wollen (weniger Kekse), sieht er plötzlich aus wie ein Haufen runder Punkte. Die Form der Blume geht verloren. Die Qualität hängt strikt davon ab, wie viele Kekse Sie haben.

2. Der neue Weg: Der magische Knetball (Fourier Splatting)

Die neue Methode, Fourier Splatting, nutzt keine starren runden Kekse mehr. Stattdessen verwenden sie Knetball-Formen, die man mit einem Zauberstab (den Fourier-Koeffizienten) verformen kann.

• Die Formel: Jeder dieser „Knetball-Primitiven" ist eigentlich eine flache Scheibe. Aber statt immer rund zu bleiben, kann man ihre Kante mit einer mathematischen Formel (einer Fourier-Reihe) beschreiben.
• Die Analogie: Stellen Sie sich vor, Sie haben einen Gummiring.
  • Niedrige Detailstufe: Sie lassen den Ring einfach kreisförmig. Das ist die Basis.
  • Hohe Detailstufe: Sie ziehen an bestimmten Stellen des Rings, drehen ihn, machen Zacken oder Wellen. Durch das Hinzufügen von „Frequenzen" (wie beim Musizieren) können Sie aus dem einfachen Kreis eine komplexe Form wie ein Blatt, ein Stern oder eine unregelmäßige Wolke formen.

3. Das Genie: Skalierbarkeit ohne „Wegschmeißen"

Das ist der wichtigste Teil. Bei der alten Methode musste man Kekse wegschmeißen, um Daten zu sparen. Bei Fourier Splatting macht man etwas anderes:

• Der Trick: Sie behalten alle Knetbälle, aber sie „entschärfen" sie.
• Die Analogie: Stellen Sie sich vor, Sie haben ein Radio.
  • Volle Qualität: Sie hören das Radio mit allen Frequenzen (Bass, Mitten, Höhen). Das Bild ist gestochen scharf und die Formen sind komplex.
  • Geringe Qualität: Sie drehen einfach die Höhenregler (die komplexen Fourier-Koeffizienten) herunter. Der Knetball wird wieder etwas runder und einfacher, aber er ist immer noch derselbe Ball. Er ist nicht weggefallen, er ist nur „einfacher" geworden.
  • Das Ergebnis: Das Bild wird weichgezeichnet, aber es verschwinden keine Teile des Objekts. Es ist wie ein eleganter Übergang von HD zu SD, statt wie ein Bild, bei dem Pixel fehlen.

4. Wie lernen diese Bälle die richtige Form? (HYDRA & STE)

Damit diese Knetbälle nicht durcheinanderkommen, haben die Autoren zwei clevere Tricks erfunden:

• HYDRA (Der Zerlegungs-Roboter): Manchmal ist ein Knetball zu groß und zu komplex, um eine ganze Ecke eines Raumes zu füllen. Anstatt ihn einfach zu vergrößern, zerlegt HYDRA ihn in mehrere kleinere, einfachere Bälle, die genau in die Lücken passen. Es ist wie ein Puzzle, das sich selbst neu zusammenfügt, wenn es zu groß wird.
• STE (Der Durchschreib-Stift): Beim Lernen (Optimierung) passiert oft, dass ein Ball nicht weiß, wie er sich vergrößern soll, weil die Mathematik an der Kante „steif" ist. Die Autoren nutzen einen Trick (Straight-Through Estimator), der dem Computer sagt: „Auch wenn der Ball hier noch nicht sichtbar ist, gib ihm trotzdem ein Signal, wie er wachsen soll." Das verhindert, dass die Bälle stecken bleiben und die Form falsch lernen.

Zusammenfassung

Fourier Splatting ist wie ein Set aus verformbaren Knetbällen anstelle von starren runden Kugeln.

• Vorteil: Sie können die Komplexität der Bälle (und damit die Bildqualität) jederzeit regeln, indem Sie einfach die „Zauberformel" (die Fourier-Koeffizienten) anpassen.
• Ergebnis: Sie können ein hochauflösendes Bild in eine niedrige Auflösung umwandeln, ohne dass Teile des Bildes einfach verschwinden. Es ist die erste Methode, die 3D-Szenen inhärent skalierbar macht – nicht durch das Entfernen von Teilen, sondern durch das Vereinfachen der Teile selbst.

Das macht es perfekt für Anwendungen, bei denen die Internetverbindung langsam ist (man schaltet die Details herunter) oder für High-End-Grafik (man schaltet alles ein), ohne das Modell neu trainieren zu müssen.

Technische Zusammenfassung

1. Problemstellung

Die neue Blicksynthese (Novel View Synthesis) wurde durch 3D Gaussian Splatting (3DGS) revolutioniert, das Echtzeit-Rendering durch explizite Primitive ermöglicht. Ein zentrales Problem bestehender Methoden ist jedoch die fehlende inhärente Skalierbarkeit:

• Die visuelle Qualität ist strikt an die Anzahl der Primitiven gebunden.
• Um die Qualität zu reduzieren (z. B. für Bandbreitenbeschränkungen), müssen Primitiven entfernt (gepruned) werden. Dies führt oft zu einem abrupten Qualitätsverlust oder dem Verschwinden von Objekten.
• Bestehende skalierbare Ansätze (z. B. LoD-Hierarchien) basieren ebenfalls auf dem Entfernen oder Filtern von Primitiven, nicht auf einer Anpassung der Komplexität der Primitiven selbst.
• Planare Ansätze (wie 2DGS) verbessern die geometrische Genauigkeit, bleiben aber in ihrer Form statisch (meist Kreise oder Ellipsen) und können komplexe Konturen nur durch eine hohe Dichte an Primitiven approximieren.

2. Methodik: Fourier Splatting

Die Autoren schlagen Fourier Splatting vor, eine neue Art von Primitiven, die inhärent skalierbar ist, indem sie die Form des Primitiven selbst parametrisiert, anstatt nur die Anzahl zu ändern.

A. Fourier-kodierte Primitive

Jedes Primitive ist ein planarer Surfelf (ein flaches Element im 3D-Raum), dessen Rand nicht durch eine einfache Ellipse, sondern durch eine Fourier-Reihe definiert wird.

• Parametrisierung: Der Rand $r_i(\theta)$ wird als geschlossene Kurve im Tangentialraum des Primitiven dargestellt:
  $$r_i(\theta) = R_i \cdot \left| \sum_{k=0}^{K-1} c_{i,k} \, e^{i k \theta} \right|$$
  Dabei sind $c_{i,k}$ komplexe Koeffizienten (Amplitude und Phase).
• Skalierbarkeit:
  • Bei $K=1$ (nur DC-Komponente) reduziert sich das Primitive auf einen einfachen Kreis (Standard-Disk).
  • Mit steigendem $K$ können immer komplexere, geschlossene Formen approximiert werden.
  • Runtime-Anpassung: Die Detailstufe (Level of Detail, LoD) kann zur Laufzeit einfach durch Trunkieren der Fourier-Koeffizienten angepasst werden, ohne das Modell neu zu trainieren oder Primitiven zu löschen.

B. Differentiable Rendering & Straight-Through Estimator (STE)

Da die Fourier-Begrenzung harte Kanten erzeugt, entsteht ein Problem beim Backpropagation: Pixel außerhalb des Primitiven haben keinen Gradienten, was dazu führt, dass sich das Primitive nicht vergrößern kann, um verdeckte Bereiche abzudecken.

• Lösung: Die Autoren verwenden einen Straight-Through Estimator (STE).
• Im Vorwärtsdurchlauf wird die harte Fensterfunktion verwendet (Pixel außerhalb sind transparent).
• Im Rückwärtsdurchlauf wird eine glatte Surrogat-Funktion verwendet, die auch für Pixel außerhalb des Randes Gradienten liefert. Dies ermöglicht es den Fourier-Koeffizienten, komplexe Formen zu lernen, ohne dass das Optimierungsverfahren stagniert.

C. Densifizierung mit HYDRA

Um komplexe Geometrien effizient zu lernen, wird eine neue Densifizierungsstrategie namens HYDRA (Hybrid Decomposition for Rendering-Aware Preservation) innerhalb des MCMC-Frameworks (Markov Chain Monte Carlo) eingeführt.

• Skalenerhaltende Aufteilung: Für kleine Primitiven werden zwei Kinder erzeugt, die den Raum des Elternprimitiven abdecken.
• Gelernte Lappen-Zerlegung (Learned Lobe Decomposition): Für große Primitiven mit komplexen, mehrteiligen Rändern reicht eine einfache geometrische Teilung nicht aus. Ein vortrainiertes MLP zerlegt den Rand in S Segmente und generiert für jedes Segment ein neues, einfacheres Primitive. Dies erhält die Wahrscheinlichkeitsverteilung des MCMC-Frameworks.

3. Hauptbeiträge

1. Beliebig geformte planare Primitive: Einführung eines neuen Primitiven, das beliebige geschlossene Formen durch Fourier-Parametrisierung annähern kann, was eine höhere geometrische Genauigkeit als 2D/3D-Gaussians ermöglicht.
2. Inhärente Skalierbarkeit: Das erste Radiance-Field-Primitive, dessen Ausdruckskraft (Detailgrad) kontinuierlich durch Trunkieren der Koeffizienten angepasst werden kann. Dies bietet eine direkte Kontrolle über den Trade-off zwischen Bitrate und Verzerrung (Rate-Distortion).
3. MCMC-kompatible Densifizierung (HYDRA): Eine Strategie, die komplexe Primitive in einfachere Bestandteile zerlegt, um das MCMC-Optimierungsframework für planare Primitive stabil zu halten.
4. State-of-the-Art Performance: Die Methode erreicht die beste Qualität unter planaren Methoden und ist mit volumetrischen Methoden (wie 3DGS) konkurrenzfähig.

4. Ergebnisse

Die Methode wurde auf Standard-Benchmarks (Mip-NeRF 360 und Tanks and Temples) evaluiert:

• Quantitative Ergebnisse: Fourier Splatting erreicht auf Mip-NeRF 360 die besten PSNR- und SSIM-Werte unter allen planaren Methoden (übertrifft Triangle Splatting um ~0,67 dB und 2DGS um ~0,81 dB). Auf Tanks and Temples erzielt es den besten LPIPS-Wert aller getesteten Baselines.
• Qualitative Ergebnisse: Die Methode rekonstruiert feine Details (dünne Strukturen, scharfe Silhouetten) besser als 3DGS und vermeidet Artefakte, die bei Triangle Splatting auftreten.
• Skalierbarkeitsanalyse: Im Gegensatz zu Octree-GS, bei dem die Qualität durch Entfernen von Primitiven sinkt (was zu „löchern" führt), degradiert Fourier Splatting durch Trunkieren der Fourier-Koeffizienten gracefully (sanft). Die Formen werden einfach glatter, aber die Objekte bleiben vollständig erhalten.

5. Bedeutung und Ausblick

Fourier Splatting stellt einen Paradigmenwechsel dar: Statt die Anzahl der Primitiven zu skalieren, wird die Komplexität jedes einzelnen Primitiven skaliert.

• Anwendung: Dies ist besonders wertvoll für bandbreitenbeschränkte Umgebungen, da die Übertragung von Daten reduziert werden kann, indem einfach weniger Fourier-Koeffizienten gesendet werden, ohne die geometrische Integrität der Szene zu zerstören.
• Zukunft: Die Autoren sehen Potenzial in der Integration von Skalierungsregularisierung, um noch komplexere Primitive zu fördern und die Bitrate weiter zu senken.

Zusammenfassend bietet Fourier Splatting eine vielseitige Lösung für hochqualitatives Rendering, die die Vorteile expliziter Primitive (Echtzeit) mit der Flexibilität und Skalierbarkeit von Fourier-Methoden verbindet.