DiffSoup: Direct Differentiable Rasterization of Triangle Soup for Extreme Radiance Field Simplification

1. Het Probleem

Radiance field-reconstructie (zoals NeRF en 3D Gaussian Splatting) heeft zich bewezen als een krachtige techniek voor het genereren van hoogwaardige 3D-scènes vanuit multi-view RGB-afbeeldingen. Echter, deze methoden genereren vaak enorme aantallen primitieven (miljoenen punten of gaussians), wat ze ongeschikt maakt voor:

• Efficiënte online transmissie: De bestandsomvang is te groot voor snelle downloads.
• Cross-platform rendering: Ze vereisen zware GPU's en kunnen niet soepel draaien op consumentenapparaten zoals laptops, smartphones of VR-headsets.
• Interactieve prestaties: Traditionele graphics-pipelines zijn geoptimaliseerd voor het renderen van ondoorzichtige driehoeken met texturen, maar niet voor de volumetrische ray-marching of complexe transparantie van huidige radiance fields.

Bestaande methoden voor het vereenvoudigen van deze modellen (zoals het converteren naar een mesh) leiden vaak tot een verlies aan detail of vereisen een voorafgaande training met een zware NeRF, wat de controle over het eindgeometrie beperkt.

2. Methodologie: DiffSoup

De auteurs introduceren DiffSoup, een nieuwe representatie die een radiance field modelleert als een "soep" (een ongestructureerde verzameling) van een klein aantal ondoorzichtige driehoeken, uitgerust met neurale texturen en binaire opaciteit.

Kerncomponenten:

1. Triangle Soup Representatie:

   • De scène wordt gerepresenteerd door een set driehoeken ($T$).
   • Elke driehoek heeft een leerbare textuur die kleur en opaciteit definieert via barycentrische coördinaten.
   • In plaats van RGB-waarden direct op te slaan, worden feature-vectoren opgeslagen die door een lichtgewicht gedeelde MLP (Multi-Layer Perceptron) worden omgezet in de uiteindelijke kleur, afhankelijk van het kijkrichting (neural deferred shading).

2. Stochastische Opaciteit Maskering (Stochastic Opacity Masking):

   • Dit is de belangrijkste innovatie. Het probleem met het differentiëren van ondoorzichtige driehoeken is dat opaciteit binaire is (zichtbaar of niet), wat leidt tot discontinuïteiten en geen gradiënten voor training.
   • In plaats van een "mollifier" (een gladmakende techniek die details verwazigt) te gebruiken, simuleert DiffSoup een stochastisch proces tijdens het rasteriseren.
   • Voor elk fragment (pixel-driehoeksnit) wordt een willekeurige drempelwaarde ($\tau$) getrokken uit een uniforme verdeling. Een fragment is zichtbaar als zijn opaciteit hoger is dan deze drempel.
   • Hierdoor wordt de pixelkleur een stochastische variabele. De auteurs tonen aan dat de kans dat een fragment wordt geselecteerd overeenkomt met de gewichten in volumetrische rendering.
   • Dit maakt het mogelijk om directe gradiënten te berekenen voor zowel de geometrie (beweging van driehoeken) als de binaire opaciteit, zonder dat er een voorafgaande training met een volumetrisch model nodig is.

3. Behandeling van Discontinuïteiten:

   • De methode combineert de stochastische maskering met bestaande technieken voor het differentiëren van randen (edge gradients). Hierdoor kunnen gradiënten worden gegenereerd voor de beweging van driehoeksvlakken, zelfs wanneer de zichtbaarheid discontinuïteiten vertoont die niet samenvallen met de fysieke randen van de driehoeken (door de opaciteit).

4. Multi-resolutie Textuur Parameterisatie:

   • Om hoge frequentie-details vast te houden zonder de primitieftelling te verhogen, gebruiken de auteurs een multi-resolutie grid-structuur voor de texturen binnen elke driehoek. Dit zorgt voor stabiele training en scherpere details.

3. Belangrijkste Bijdragen

• Extreme Vereenvoudiging: DiffSoup kan complexe scènes reconstrueren met minder dan 20.000 driehoeken, terwijl bestaande methoden (zoals 3DGS) vaak miljoenen primitieven nodig hebben voor vergelijkbare kwaliteit.
• Direct Differentieerbare Rasterisatie: Het introduceert een methode om ondoorzichtige driehoeken direct te optimaliseren via stochastische maskering, zonder de noodzaak van smoothing of mollifiers die details verliezen.
• Naadloze Integratie: Het gegenereerde model kan worden gerenderd met standaard depth-tested rasterization (zoals in games en VR). Dit betekent dat het werkt op standaard hardware (inclusief mobiele telefoons en laptops) zonder aangepaste shaders of ray-marching.
• Hoge Kwaliteit: De methode behoudt scherpe randen en hoge-frequentie details beter dan bestaande vereenvoudigde methoden.

4. Resultaten

De auteurs evalueren DiffSoup op diverse datasets (MipNeRF360, NeRF-Synthetic, Shelly) en vergelijken het met state-of-the-art methoden zoals 3DGS, Triangle Splatting, TexGS en MobileNeRF.

• Kwaliteit: DiffSoup behaalt een hogere PSNR en SSIM en een lagere LPIPS dan concurrenten bij een strikt budget van 15.000 primitieven. Het produceert scherpere randen en betere weergave van complexe texturen dan TexGS of 3DGS.
• Snelheid (Rendering):
  • Op een desktop GPU (RTX 4090) bereikt DiffSoup ~2.000 FPS (Full HD), wat een orde van grootte sneller is dan 3DGS.
  • Op een consumentenlaptop (MacBook Pro M3 Pro) en een smartphone (iPhone 15) werkt het interactief (60+ FPS), wat onmogelijk is voor volumetrische methoden.
• Efficiëntie: De bestandsomvang is extreem klein (ca. 44 MB voor een volledige scène met 15K driehoeken), wat ideaal is voor transmissie.
• Training: Hoewel de training iets langer duurt dan 3DGS (vanwege de software-rasterisatie tijdens training), is het aanzienlijk sneller dan het trainen van MobileNeRF (die uren duurt) en levert het direct een geoptimaliseerd mesh op.

5. Betekenis en Toekomst

DiffSoup is een doorbraak in het veld van 3D-reconstructie omdat het de kloof overbrugt tussen de hoge kwaliteit van neurale radiance fields en de praktische eisen van real-time rendering op beperkte hardware.

• Toepassing: Het maakt het mogelijk om complexe 3D-scènes (zoals bossen, kleding, haar) te streamen en te renderen op mobiele apparaten en in VR/AR-apps met hoge prestaties.
• Technische Impact: De methode toont aan dat het mogelijk is om "discrete" operaties (zoals binaire opaciteit en dieptetesting) differentieerbaar te maken via stochastische benaderingen, wat nieuwe wegen opent voor differentieerbare rendering zonder volumetrische ray-marching.
• Beperkingen: De methode is beperkt tot ondoorzichtige objecten; zeer dunne structuren (zoals haren of bont) die transparantie vereisen, zijn nog beter te modelleren met volumetrische primitieven, hoewel DiffSoup hier al goed presteert binnen zijn budget.

Kortom, DiffSoup biedt een praktische, schaalbare en hoogwaardige oplossing voor de toekomst van 3D-content op diverse platformen.