Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een digitale wereld wilt bouwen, bijvoorbeeld voor een videogame of een virtuele tour. Je wilt dat deze wereld er zo echt mogelijk uitziet (fotorealistisch), maar hij moet ook soepel draaien op je telefoon of laptop, zonder dat je computer in de war raakt.

Vroeger was dit een lastige puzzel. Er waren twee hoofdmanieren om dit op te lossen:

De "Zware" Manier (NeRF): Dit was als het maken van een gigantisch, ondoorzichtig blok van honing. Het zag er prachtig uit, maar het was zo zwaar dat je er niet snel doorheen kon kijken.
De "Snelle" Manier (3D Gaussian Splatting): Dit was als het bouwen van een wereld met miljoenen kleine, ronde balletjes (zoals schuimrubber). Het was supersnel, maar als je de wereld kleiner wilde maken (bijvoorbeeld voor een slechte internetverbinding), moest je gewoon balletjes weggooien. Het resultaat? De wereld werd leeg en zag er niet meer goed uit.

De nieuwe uitvinding: Fourier Splatting

De onderzoekers in dit papier hebben een slimme nieuwe manier bedacht, die ze Fourier Splatting noemen. Laten we het uitleggen met een paar creatieve analogieën.

1. Van ronde balletjes naar vormbare deegballen

Stel je voor dat de oude methode alleen ronde balletjes gebruikte. Als je een hoekje in een muur wilde maken, moest je honderden balletjes naast elkaar zetten. Als je de kwaliteit verlaagde, haalde je balletjes weg en zag je ineens gaten in de muur.

Deze nieuwe methode gebruikt deegballen die je kunt vervormen.
In plaats van een star rond balletje, is elk "deegje" (een primitief) een platte schijf die je kunt uitrekken, buigen en in elke vorm kunt duwen die je maar wilt. Ze gebruiken wiskunde (Fourier-reeksen) om de rand van deze schijf te beschrijven.

Eenvoudig: Het is een cirkel.
Complex: Het kan een ster, een bloem of een onregelmatige steen worden.

2. De "Dimmer-schakelaar" voor details (Scalability)

Dit is het meest geniale deel. Bij de oude methoden moest je meer balletjes toevoegen om meer details te krijgen. Bij deze nieuwe methode hoef je geen nieuwe deegballen te maken. Je kunt de bestaande deegballen gewoon "scherper" of "zachter" maken.

Stel je voor dat je een radio hebt met een knop voor de kwaliteit:

Staat op "Laag": Je draait de knop naar links. De complexe randen van je deegballen worden gladgestreken. Ze worden weer simpele cirkels. De wereld ziet er nog steeds goed uit, maar het kost minder rekenkracht en minder data om te sturen.
Staat op "Hoog": Je draait de knop naar rechts. De randen worden weer complex en onregelmatig. Plotseling zie je de fijne details van de takken van een boom of de randen van een dak.

Je hoeft dus niets opnieuw te leren of nieuwe deegballen te bouwen. Je gebruikt gewoon dezelfde "deegballen", maar je verandert hoe gedetailleerd hun vorm is. Dit noemen ze "inherente schaalbaarheid".

3. De slimme "Scheur-techniek" (HYDRA)

Soms is een deegbal zo groot en complex, dat hij niet goed past in een hoekje. De oude methoden zouden hier gewoon nog meer balletjes bijgooien, wat de file op de snelweg (de computergeheugen) alleen maar erger maakt.

Deze nieuwe methode heeft een slimme truc genaamd HYDRA (naar het mythologische monster met meerdere hoofden).
Stel je voor dat je een grote, onhandige deegbal hebt die een hoekje probeert te vullen. In plaats van er nog een hele nieuwe bal naast te zetten, sneed HYDRA die ene grote bal gewoon in stukken.

De grote, onhandige bal wordt opgesplitst in twee of drie kleinere, slimmere ballen die perfect in de hoek passen.
Dit gebeurt automatisch door een AI die leert: "Oh, deze vorm is te complex, ik split hem maar op in kleinere, makkelijke vormen."

Waarom is dit geweldig voor jou?

Snelheid: Je kunt een prachtige, fotorealistische wereld bekijken op je telefoon, zelfs als je internettraag is.
Flexibiliteit: Als je internet snel is, krijg je de super-detailed versie. Is je internet traag? Dan krijg je automatisch de "gladde" versie, zonder dat de wereld er lelijk uitziet of verdwijnt.
Kwaliteit: Het ziet er beter uit dan de huidige snelste methoden, omdat de vormen veel natuurlijker zijn dan simpele balletjes.

Kort samengevat:
Vroeger bouwden we digitale werelden met duizenden identieke balletjes. Als we minder ruimte hadden, gooiden we balletjes weg en werd de wereld leeg.
Met Fourier Splatting bouwen we de wereld met vormbare deegballen. Als we minder ruimte hebben, maken we de deegballen gewoon wat gladder. Als we ruimte hebben, maken ze weer super-complex. Het is alsof je een wereld bouwt die zichzelf aanpast aan je scherm, zonder dat je er iets aan hoeft te doen.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

De recente doorbraak in Novel View Synthesis (het genereren van nieuwe weergaven van een scène) wordt gedomineerd door 3D Gaussian Splatting (3DGS). Deze methode maakt real-time rendering mogelijk door expliciete Gaussische primitieven te gebruiken. Echter, een fundamentele beperking van bestaande methoden (zowel 3DGS als latere variaties zoals 2DGS of driehoek-based splatting) is dat de visuele kwaliteit strikt gekoppeld is aan het aantal primitieven.

Schalingsprobleem: Om de kwaliteit te verhogen, moeten er meer primitieven worden gegenereerd (densificatie). Om de bestandsomvang of bandbreedte te verkleinen, moeten primitieven worden verwijderd (pruning).
Gebrek aan intrinsieke schaalbaarheid: Bestaande methoden zijn statisch; een getraind model kan niet flexibel worden weergegeven op verschillende niveaus van detail (LoD) zonder het model opnieuw te trainen of primitieven te verwijderen. Dit leidt tot een compromis tussen resolutie en bandbreedte dat vaak resulteert in artefacten of het verdwijnen van objecten bij het verkleinen van het aantal primitieven.

Methodologie: Fourier Splatting

De auteurs stellen Fourier Splatting voor, een nieuwe aanpak die de schaalbaarheid in de primitief zelf verankert in plaats van in het aantal primitieven.

1. Generaliseerde Fourier-gecodeerde Primitieven

In plaats van vaste vormen (zoals ellipsen of cirkels), parameteriseert elke primitief (surfels) zijn grens als een gesloten curve in het raakvlak, gedefinieerd door een Fourier-polynoom.

Parameterisatie: De grens $r_i(\theta)$ $r_{i} (θ)$ wordt berekend als de modulus van een som van complexe Fourier-coëfficiënten.
- Bij $K=1$ (alleen DC-component) reduceert de vorm tot een standaard cirkel.
- Bij hogere $K$ (meer frequenties) kan de primitief complexe, willekeurige gesloten vormen aannemen.
Normering: Om te voorkomen dat de vorm de omcirkelende straal overschrijdt, worden de amplitudes genormaliseerd via een $\ell_1$ -norm, zodat de som van de bijdragen binnen de maximale straal blijft.

2. Differentieerbare Rendering en STE

Een uitdaging bij het renderen van scherpe randen is dat de gradienten buiten de primitiefgrens nul zijn, wat de optimalisatie kan laten vastlopen (de vorm krimpt).

Straight-Through Estimator (STE): De auteurs introduceren een STE om gradienten ook buiten de harde grens van de primitief te laten stromen. In de forward pass wordt een harde "window" gebruikt (nul buiten de grens), maar in de backward pass wordt een gladde surrogate-functie gebruikt die gradienten levert aan de Fourier-coëfficiënten, zelfs voor pixels net buiten de grens. Dit stelt het model in staat om de vorm dynamisch uit te breiden of te veranderen zonder dat de optimalisatie vastloopt.

3. HYDRA: Densificatie Strategie

Om complexe geometrieën te hanteren binnen het MCMC (Markov Chain Monte Carlo) framework, introduceren ze HYDRA (Hybrid Decomposition for Rendering-Aware Preservation).

Schaalbehoudende splitsing: Voor kleine primitieven worden twee kinderen gegenereerd met behoud van massa.
Gestudeerde lobe-decompositie: Voor grote primitieven met complexe, meerlobbige grenzen, wordt een MLP (Neuraal Netwerk) gebruikt om de primitief te splitsen in kleinere segmenten. De MLP leert de Fourier-coëfficiënten voor de nieuwe kinderen op basis van de "valleien" in de oorspronkelijke grens. Dit voorkomt dat complexe vormen worden vereenvoudigd tot cirkels.

4. Intrinsieke Schaalbaarheid (LoD)

Het kernidee is dat één getraind model op verschillende niveaus van detail kan worden gerenderd.

Door tijdens het runtime de Fourier-coëfficiënten te trunceren (bijv. alleen de eerste $K'$ frequenties gebruiken in plaats van alle $K$ ), wordt de complexiteit van de vorm automatisch verlaagd.
Dit resulteert in een vloeiende degradatie van de kwaliteit zonder dat primitieven hoeven te worden verwijderd, wat artefacten zoals het verdwijnen van objecten voorkomt.

Belangrijkste Bijdragen

Willekeurige Vorm Primitieven: De introductie van een planaire primitief die elke gesloten vorm kan benaderen via Fourier-encoding, wat een veel hogere expressiviteit biedt dan 2D/3D Gaussians.
Intrinsieke Schaalbaarheid: De eerste radiance field-primitief waarbij het detailniveau continu kan worden aangepast door coëfficiënten te trunceren, zonder extra training of post-processing.
HYDRA & STE: Een nieuwe densificatiestrategie en een gradient-estimator die stabiele optimalisatie van complexe vormen mogelijk maken binnen een MCMC-framework.
State-of-the-Art Prestaties: De methode presteert beter dan bestaande planaire methoden en is concurrerend met volumetrische methoden, terwijl het een flexibele oplossing biedt voor bandbreedte-beperkte scenario's.

Resultaten

De auteurs evalueren hun methode op standaard benchmarks zoals Mip-NeRF 360 en Tanks and Temples.

Kwantitatieve resultaten: Fourier Splatting behaalt de beste resultaten onder planaire primitieven-methoden op alle metrics (PSNR, SSIM, LPIPS). Het presteert zelfs beter dan de geavanceerde volumetrische 3DGS in sommige categorieën.
- Bijvoorbeeld: Een verbetering van +0.67 dB ten opzichte van Triangle Splatting op Mip-NeRF 360.
Kwalitatieve resultaten: De methode herstelt fijne details (zoals dunne structuren en scherpe silhouetten) beter dan 3DGS, die deze vaak vervormt door de beperkte expressiviteit van Gaussians.
Schaalbaarheid: Experimenten tonen aan dat het verlagen van het aantal Fourier-coëfficiënten leidt tot een graceful degradation (vlotte kwaliteitsafname). In tegenstelling tot methoden die primitieven verwijderen (waarbij objecten kunnen verdwijnen), behoudt Fourier Splatting de structuur van de objecten, maar met minder detail.

Betekenis en Toekomst

Fourier Splatting biedt een paradigmaverschuiving in radiance fields: van "meer primitieven voor meer kwaliteit" naar "complexere primitieven voor meer kwaliteit".

Bandbreedte-efficiëntie: Het biedt een krachtige oplossing voor toepassingen waar bandbreedte beperkt is (bijv. VR/AR op mobiele apparaten), omdat de kwaliteit dynamisch kan worden aangepast aan de netwerkcondities zonder het model opnieuw te hoeven genereren.
Toekomstig werk: De auteurs wijzen op de potentie om de bitrate verder te optimaliseren door regulatie toe te passen die de vorming van minder, maar complexere primitieven stimuleert, in plaats van een groot aantal simpele vormen.

Kortom, Fourier Splatting combineert de snelheid van splatting met de geometrische flexibiliteit van Fourier-reeksen, waardoor het een veelzijdig en schaalbaar framework wordt voor high-fidelity rendering.