Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

Probleemstelling
Differentiële rendering is een hoeksteen geworden voor 3D-reconstructie en novel view synthesis, maar de meest geavanceerde methoden vertrouwen voornamelijk op niet-mesh representaties (bijv. neural radiance fields, 3D Gaussian splatting) of gespecialiseerde differentiële renderers. Hoewel 3D-oppervlaktemeshes de industriestandaard zijn voor portabiliteit, hardwareversnelling en downstream graphics-workflows, zijn bestaande differentiële mesh-renderingtechnieken grotendeels beperkt tot object-gecentreerde scènes. Ze vereisen vaak voorgrond-achtergrondmaskers, hebben moeite met onbegrensde real-world omgevingen en zijn doorgaans afhankelijk van aangepaste CUDA-implementaties of stochastische gradiëntschatting om de niet-differentieerbaarheid van standaard rasterizers te omgaan. Gevolgelijk bestaat er geen methode die simultaan fotorealistische resultaten bereikt op real-world scènes en direct een mesh-representatie optimaliseert met conventionele graphics-tools.

Methodologie: Meshtryoshka
De auteurs introduceren Meshtryoshka, een differentiële renderingframework dat een 3D-mesh representatie van onbegrensde, real-world scènes optimaliseert met behulp van een standaard, niet-differentieerbare driehoek-rasterizer. De kerninnovatie ligt in het ontkoppelen van de optimalisatie van vertexposities van het rasterisatieproces.

1. Scène-parametrisatie en Mesh-extractie:
   De scène wordt gerepresenteerd door een ijle grid van signed distance function (SDF) waarden en spherical harmonics coëfficiënten voor view-dependent kleur. Tijdens elke optimalisatiestap extraheert de methode meerdere level sets (iso-oppervlakken) uit de SDF met behulp van een differentiële implementatie van het Marching Cubes-algoritme. Dit produceert een "Matryoshka" van geneste, niet-snijdende driehoekige mesh-shells. Elke vertex in deze shells krijgt een signed distance waarde en spherical harmonics coëfficiënten toegewezen via interpolatiewichten afgeleid van het Marching Cubes-proces.

2. Niet-differentieerbare Rasterisatie & Deferred Rendering:
   In plaats van een aangepaste differentiële ray-tracer te implementeren, rasteriseert de methode elke mesh-shell onafhankelijk met behulp van een standaard, niet-differentieerbare rasterizer. De rasterizer geeft per pixel driehoek-ID's en barycentrische coördinaten terug. Deze worden gebruikt om differentiële interpolatie van de per-vertex SDF-waarden en spherical harmonics coëfficiënten in de image space uit te voeren, wat effectief een fragment shader nabootst.
   Om volume rendering te benaderen, wijst de methode specifieke transmissiewaarden ($T_i$) toe aan elke shell. De binnenste shell krijgt een transmissie van bijna nul (opaak), wat ervoor zorgt dat deze alle daaropvolgende shells blokkeert. De uiteindelijke afbeelding wordt geconstrueerd door de gerenderde shells via alpha-compositing samen te voegen. Gradiënten stromen vanuit de rendering-fout terug door het alpha-compositing proces en de interpolatiestap om de onderliggende SDF en kleurparameters bij te werken, waardoor de mesh-geometrie indirect wordt geoptimaliseerd.

3. Schaalbaarheid naar Onbegrensde Scènes:
   Om real-world, onbegrensde scènes aan te kunnen, hanteren de auteurs verschillende strategieën:

• Sparsity (IJlheid): Een ijle Marching Cubes-implementatie wordt gebruikt, waarbij parameters alleen worden opgeslagen voor actieve voxels en helper-voxels, wat het geheugengebruik drastisch vermindert vergeleken met dichte grids.
• Coarse-to-Fine Optimalisatie: Het grid wordt geïnitialiseerd op lage resolutie en wordt progressief onderverdeeld, waarbij lege ruimtes worden weggefilterd en geometrie alleen wordt verfijnd waar dat nodig is.
• Niet-kubische Grids: De scène wordt verdeeld in een voorgrond (as-gealigneerde kubus) en een achtergrond. De achtergrond wordt gemodelleerd met zes afgekapte frustums met exponentieel geschaalde vertices. Dit maakt een efficiënte allocatie van resolutie mogelijk, waarbij minder parameters in verre regio's worden geplaatst terwijl de voxel-aspectratio's geschikt blijven voor Marching Cubes.

4. Regularisatie:
   Om een stabiele optimalisatie te garanderen, gebruikt de methode een Laplacian smoothness loss op de SDF-waarden (in plaats van een Eikonal loss, die checkerboard-artefacten in expliciete grids kan veroorzaken) en een L1-penalty om sparsity in niet-geobserveerde regio's te stimuleren. Daarnaast wordt de learning rate voor niet-DC spherical harmonic componenten verlaagd om te voorkomen dat het model de geometrie "fopt" om specifieke views te matchen.

Belangrijkste Bijdragen

• Een Nieuw Framework: Meshtryoshka is de eerste differentiële mesh-renderingmethode die in staat is tot de reconstructie van onbegrensde, real-world 3D-scènes zonder dat er voorgrondmaskers nodig zijn.
• Compatibiliteit met Standaard Tools: De methode demonstreert dat hoogwaardige differentiële rendering mogelijk is met standaard, niet-differentieerbare rasterizers, waardoor de noodzaak voor aangepaste differentiële renderers of stochastische gradiëntschatters vervalt.
• Hoge-prestatie Implementaties: De auteurs dragen geoptimaliseerde implementaties bij van klassieke graphics-algoritmen, inclus[ief] een sparse Marching Cubes-algoritme en een software driehoek-rasterizer die in staat is meer dan 100 miljoen driehoeken simultaan te renderen.
• Directe Mesh-optimalisatie: In tegenstelling tot methoden die meshes post-hoc extraheren uit volumetrische representaties, optimaliseert Meshtryoshka direct de mesh-representatie, waardoor de kwaliteit tijdens de optimalisatiefase overeenkomt met de uiteindelijke mesh-rendering.

Resultaten
De methode werd geëvalueerd op de NeRF-Synthetic (object-gecentreerde) en Mip-NeRF 360 (real-world) datasets.

• Object-gecentreerde Scènes: Op NeRF-Synthetic presteert Meshtryoshka competitief met state-of-the-art differentiële oppervlakte-renderingmethoden zoals NeuS2 en presteert het beter dan eerdere mesh-gebaseerde methoden (nvdiffrec met DMTet/FlexiCubes) zonder dat er visibility maskers nodig zijn.
• Real-world Scènes: Op Mip-NeRF 360 slaagt de methode erin om uitdagende, onbegrensde scènes met hoge visuele kwaliteit te reconstrueren, waarbij fijne details zoals fietsspaken en boombladeren worden vastgelegd. Hoewel het in kwantitatieve metrieken (PSNR) iets achterblijft bij top-tier niet-mesh methoden zoals Zip-NeRF en 3D Gaussian Splatting, presteert het aanzienlijk beter dan voorheen gebruikte mesh-gebaseerde benaderingen, die er niet in slaagden coherente reconstructies in deze settings te produceren.
• Ablatie-studies: Experimenten bevestigen de noodzaak van de exponentiële vertex-positionering, sparsity, regularisaties en het gebruik van meerdere shells voor het bereiken van hoogwaardige resultaten.

Betekenis en Claims
Het artikel stelt dat Meshtryoshka een nieuwe weg suggereert voor differentiële rendering: het is mogelijk om competitieve 3D-reconstructie en novel view synthesis te bereiken door volledig te vertrouwen op de conventionele computer graphics rendering stack (standaard rasterizers en mesh-representaties), in plaats op gespecialiseerde differentiële renderers of niet-mesh primitieven. De auteurs beweren dat hun werk de kloof overbrugt tussen de portabiliteit van meshes en de prestaties van moderne differentiële rendering, waardoor directe optimalisatie van meshes voor real-world scènes mogelijk wordt. De auteurs blijven echter bescheiden over beperkingen en erkennen dat hun methode momenteel meer driehoeken produceert dan primitief-gebaseerde benaderingen, langzamere trainingstijden heeft dan snelle NeRF/Gaussian methoden, en incidenteel "floater" artefacten kan genereren in dun geobserveerde regio's.