From Volume Rendering to 3D Gaussian Splatting: Theory and Applications

Dit tutorial biedt een beknopt maar uitgebreid overzicht van de 3D Gaussian Splatting-technologie, waarbij de theorie, de aanpak van bestaande beperkingen en diverse toepassingen zoals oppervlakreconstructie en animatie worden belicht.

De kern

De Magie van 3D-Gaussians: Van Wiskunde tot Virtuele Werelden

Stel je voor dat je een foto maakt van een object, bijvoorbeeld een kopje koffie. Vroeger was het heel moeilijk om van die ene foto een volledig 3D-model te maken dat je vanuit elke hoek kunt bekijken.

In de afgelopen jaren hebben wetenschappers twee grote methoden bedacht om dit te doen: NeRF en 3D Gaussian Splatting (3DGS). Dit paper legt uit hoe 3DGS de wereld heeft veranderd, waarom het zo snel is, en wat de nieuwe uitdagingen zijn.

1. Het Oude Moeilijke Manier: De "NeRF" (De Onzichtbare Wolk)

Vroeger gebruikten we NeRF. Denk aan NeRF als een onzichtbare, dichte mist die het hele object omhult.

• Hoe het werkt: De computer moet voor elk punt in die mist beslissen: "Is hier iets? Wat is de kleur?"
• Het probleem: De computer moet ook vragen stellen aan de lege ruimte waar geen mist is. Dat is als een kok die probeert een soep te maken, maar eerst elke lepel water in de hele keuken moet proeven om te zien of er geen soep in zit.
• Gevolg: Het ziet er prachtig uit, maar het is extreem traag. Het duurt te lang om een nieuwe foto te maken, dus je kunt het niet in echt real-time gebruiken (zoals in een videogame).

2. De Nieuwe Revolutie: 3D Gaussian Splatting (De Kleurrijke Ballonnen)

Dan kwam 3D Gaussian Splatting (3DGS). In plaats van een dichte mist, gebruiken ze duizenden kleine, kleurrijke 3D-ballen (Gaussians).

• De Analogie: Stel je voor dat je een foto van een boom wilt maken. In plaats van de hele lucht te vullen met mist, gooi je duizenden kleine, zachte, gekleurde ballonnen in de lucht. Sommige ballonnen zijn groot en groen (voor de bladeren), sommige zijn klein en bruin (voor de takken).
• Hoe het werkt:
  1. Start: Je begint met een paar punten (een "puntewolk") die je al hebt van een foto.
  2. De Ballonnen: Je zet een ballon op elk punt.
  3. De Dans: De computer kijkt naar de originele foto's. Als een ballon op de verkeerde plek zit of de verkeerde kleur heeft, wordt hij verplaatst, gekleurd of vergroot/verkleind.
  4. Splatting: Als je een nieuwe foto wilt maken, "plakt" de computer al die ballonnen op het scherm (zoals confetti die op een muur plakt). Omdat ballonnen makkelijk te tekenen zijn, gaat dit razendsnel.

Waarom is dit beter?

• Snelheid: Je hoeft niet naar de lege ruimte te kijken. Je telt alleen de ballonnen die je ziet. Het is als het verschil tussen het tellen van alle druppels in een meer (NeRF) en het tellen van de vissen die je ziet (3DGS).
• Kwaliteit: Het ziet er net zo scherp uit als de oude methode, maar werkt in echt real-time.

3. Wat zijn de Nieuwe Uitdagingen? (De "Gaten" in het Systeem)

Hoewel 3DGS geweldig is, heeft het nog een paar haken en ogen, die dit paper ook bespreekt:

• Te veel ballonnen (Geheugen): Voor een complexe scène heb je soms wel 500.000 ballonnen nodig. Dat is als een kamer vol met ballonnen; het neemt veel ruimte in op je computer.
  • Oplossing: Nieuwe methoden proberen de ballonnen slimmer te gebruiken, bijvoorbeeld door ze te "koppelen" aan een netwerk dat de details onthoudt, zodat je minder ballonnen nodig hebt.
• Het licht zit "ingebakken": De ballonnen hebben hun kleur en glans vastgezet. Als je de zon in de scène verplaatst, verandert de schaduw niet. Het is alsof je een foto hebt van een object in de zon, maar als je de lamp in de kamer aan doet, blijft het object eruitzien alsof het in de zon staat.
  • Oplossing: Nieuwe technieken proberen de ballonnen "slimmer" te maken, zodat ze reageren op nieuw licht (zoals een echte spiegel of een glimmende auto).
• Geen spiegelingen: Als je naar een spiegel kijkt, zie je het omgekeerde beeld. 3DGS kan dat nog niet goed doen omdat het alleen kijkt naar wat direct op de camera schijnt.
  • Oplossing: Er wordt gewerkt aan methoden die ook "tweede stralen" berekenen (licht dat kaatst), zodat spiegelingen en glas er realistischer uitzien.

4. Wat kun je er nu mee doen? (Toepassingen)

Dit paper laat zien dat 3DGS niet alleen voor mooie foto's is, maar voor veel meer:

• 3D-Modellen maken: Je kunt nu snel een 3D-model van een object maken dat je kunt draaien en zoomen.
• Avatars (Digitale Mensen): Je kunt een digitale versie van jezelf maken die beweegt en praat. Denk aan een virtuele presentator of een game-figuur die eruitziet als jij.
• Animatie en Fysica: Je kunt ballonnen laten "vloeien" zoals water of laten "springen" als een rubberen bal. De ballonnen gedragen zich dan als echte deeltjes.
• Van weinig foto's naar 3D: Soms heb je maar één of twee foto's. Nieuwe methoden gebruiken kunstmatige intelligentie om te "gokken" waar de andere ballonnen moeten zitten, zodat je zelfs van één foto een 3D-wereld kunt maken.
• Creatie uit tekst: Je kunt een tekst invoeren (bijv. "een kat in een ruimtepak") en de computer genereert direct een 3D-model van die kat met ballonnen.

Samenvatting in één zin

3D Gaussian Splatting is als het vervangen van een zware, trage mist (NeRF) door een dansend, kleurrijk confetti-feest (3DGS): het is veel sneller, ziet er net zo mooi uit, en opent de deur voor nieuwe toepassingen zoals virtuele avatars en real-time 3D-games, hoewel we nog moeten werken aan het maken van het geheugen efficiënter en het licht natuurlijker.

Technische samenvatting

Titel: Van Volumetrisch Rendering naar 3D Gaussian Splatting: Theorie en Toepassingen

1. Het Probleem

Het probleem van 3D-reconstructie vanuit geposeerde afbeeldingen (images met bekende camera-positie en oriëntatie) ondergaat een fundamentele transformatie. Traditionele methoden zoals Neural Radiance Fields (NeRFs) hebben de staat van de kunst verbeterd door scènes te modelleren als een continuüm van dichtheid en straling via neurale netwerken. Echter, NeRFs hebben twee belangrijke beperkingen:

• Rekenkundige inefficiëntie: Ze vereisen queries door de hele ruimte (inclusief lege ruimte) tijdens het trainen en renderen, wat leidt tot hoge rekentijd en onpraktisch real-time rendering.
• Beperkte integratie: Ze passen niet naadloos in standaard grafische pipelines.

Het doel is een representatie te vinden die zowel hoogwaardige details als real-time rendering mogelijk maakt, zonder de hoge kosten van volumetrische queries in lege ruimte.

2. Methodologie: 3D Gaussian Splatting (3DGS)

De paper introduceert en analyseert 3D Gaussian Splatting (3DGS), een methode die scènes expliciet modelleert als een collectie van 3D-Gaussians.

• Fundamentele Formule: In plaats van een neurale netwerkveld te gebruiken, wordt de scène geparametriseerd door een set van $M$ 3D-Gaussians. Elke Gaussian $g_i$ heeft:
  • Een middelpunt ($\mu_i$)
  • Een covariantiematrix ($\Sigma_i$) die de vorm en oriëntatie bepaalt
  • Een opaciteit ($\sigma_i$)
  • Een kleur ($c_i$), vaak gemodelleerd met Sferische Harmonischen (Spherical Harmonics) voor hoekafhankelijke verlichting.
• Volumetrisch Splatting: Om het renderen efficiënt te maken, wordt de traditionele volumetrische integratie (die duur is) benaderd door volume splatting.
  • De 3D-Gaussians worden geprojecteerd op het 2D-beeldvlak.
  • Door een eerste-orde benadering van de projectie (via de Jacobiaan) wordt een 3D-Gaussian omgezet in een 2D-Gaussian (een "splat").
  • De uiteindelijke pixelkleur wordt berekend via alpha-compositing van deze gesorteerde 2D-Gaussians, wat vergelijkbaar is met rasterisatie in traditionele graphics.
• Trainingsproces:
  1. Initialisatie: Een verspreid puntwolk (uit Structure-from-Motion, SfM) dient als startpunt voor de centra van de Gaussians.
  2. Optimalisatie: Via differentieerbaar rendering wordt een fotometrische fout (verschil tussen gerenderde en input afbeeldingen) geminimaliseerd met gradient descent (bijv. Adam).
  3. Adaptatie: Tijdens het trainen wordt een dynamisch aanpassingsmechanisme gebruikt om lokale minima te vermijden:
     • Klonen: Voor Gaussians die lokale details niet goed weergeven (underfitting).
     • Splitsen: Voor te grote Gaussians.
     • Prunen: Het verwijderen van Gaussians met lage opaciteit.

3. Belangrijkste Bijdragen van de Paper

De auteurs bieden een overzichtelijke en uitgebreide tutorial die de volgende bijdragen levert:

• Wiskundige Afleiding: Een intuïtieve afleiding van de 3DGS-formule, vertrekkend vanuit de fundamentele vergelijking voor volumetrisch lichttransport.
• Overzicht van Uitbreidingen: Een systematische survey van recente methoden die de beperkingen van de originele 3DGS adresseren:
  • Geheugen: Methoden zoals SCAFFOLD gebruiken MLP's en ankerpunten om het aantal Gaussians te verminderen.
  • Aliasing: MIP-Splatting introduceert filters om artefacten bij resolutiewisselingen te onderdrukken.
  • Verlichting en Reflectie: Omdat de originele 3DGS verlichting "bakt" in de kleuren, introduceren methoden zoals GaussianShader en IRGS BRDF-parameters en secundaire stralen (ray tracing) voor realistische reflecties en herschijnbaarheid (relighting).
  • Reconstructie in de Wild: Methodes zoals WildGaussians en GS-W hanteren robuuste features om tijdelijke objecten en variërende verlichting in ongestructureerde foto's te verwerken.
• Toepassingen: Een gedetailleerd overzicht van toepassingengebieden:
  • Oppervlakreconstructie: Technieken zoals 2DGS en GSDF transformeren Gaussians naar mesh-structuren of gebruiken SDF's voor betere geometrie.
  • Animatie: PhysGaussian integreert continuümmechanica voor fysiek accurate simulaties; 4D-GS modelleert tijdsvariërende content.
  • Avatars: Methodes zoals Gaussian Avatars en GHA gebruiken menselijke modellen (FLAME/SMPL) als prior voor het genereren van realistische menselijke avatars.
  • Generatieve Modellen: Het gebruik van diffusiemodellen (zoals LGM, DreamGaussian) om direct 3D-Gaussians te genereren vanuit tekst, afbeeldingen of video.

4. Resultaten en Prestaties

• Rendering Snelheid: 3DGS bereikt real-time rendering (vaak >100 fps) met hoge kwaliteit, wat een groot voordeel is ten opzichte van NeRFs.
• Kwaliteit: De methode levert state-of-the-art resultaten voor Novel View Synthesis (NVS).
• Efficiëntie: Door het vermijden van queries in lege ruimte en het gebruik van rasterisatie, is de methode aanzienlijk sneller dan NeRFs, hoewel het geheugengebruik voor complexe scènes hoog blijft (200k-500k Gaussians).
• Veelzijdigheid: De paper toont aan dat 3DGS niet alleen goed is voor statische scènes, maar ook succesvol wordt toegepast op dynamische scènes, menselijke avatars en generatieve 3D-content.

5. Betekenis en Toekomstperspectief

De paper markeert een verschuiving in het veld van visuele computing. 3DGS biedt een brug tussen traditionele computergraphics (rasterisatie) en moderne deep learning (differentieerbaar rendering).

• Significantie: Het lost het probleem van real-time rendering van complexe 3D-scènes op, wat essentieel is voor VR/AR-toepassingen en interactieve media.
• Open Problemen: Ondanks de vooruitgang blijven uitdagingen bestaan, zoals het optimaliseren van het aantal Gaussians voor compactere opslag, het verbeteren van de nauwkeurigheid van de splatting-benadering, en het ontwikkelen van robuuste feed-forward modellen die werken met zeer schaarse inputbeelden.

Kortom, deze paper positioneert 3D Gaussian Splatting als een fundamenteel nieuwe standaard voor 3D-reconstructie, met een snel groeiend ecosysteem van methoden die de beperkingen van de basisversie overwinnen en de toepassingsmogelijkheden uitbreiden.