Technische Samenvatting: Generatieve 3D-Gaussians met Geraadpleegde Dichtheidscontrole

Probleemstelling

Huidige 3D-generatieve modellen staan voor een fundamentele afweging tussen expressiviteit en efficiëntie. Hoewel 3D Gaussian Splatting (3DGS) is opgekomen als een overtuigende representatie voor realiteitstreue, real-time rendering vanwege zijn flexibiliteit, worstelen bestaande generatieve benaderingen om het volledige potentieel daarvan te benutten.

• Beperkingen van vaste structuren: De meeste generatieve methoden beperken 3D-Gaussians tot vaste voxelroosters, arrays of pixel-uitgelijnde patches. Deze benaderingen wijzen een vast aantal Gaussians toe, ongeacht de lokale geometrische complexiteit, wat leidt tot verspilde capaciteit in eenvoudige gebieden en ontoereikende details in complexe gebieden.
• Niet-differentieerbare dichtheidscontrole: De superieure kwaliteit van standaard 3DGS vloeit voort uit iteratieve, niet-differentieerbare verdichtings- en snoeihuristieken die primitieven adaptief concentreren. Deze heuristieken zijn moeilijk te vectoriseren en kunnen niet eenvoudig worden geïntegreerd in end-to-end generatieve trainingspijplijnen.
• Permutatie-ambiguïteit bij diffusie: Het toepassen van latente diffusiemodellen op ongeordende verzamelingen 3D-tokens (een veelvoorkomend paradigma voor 3D-generatie) lijdt onder permutatie-ambiguïteit. Het ontbreken van een canonieke volgorde leidt tot conflicterende gradiëntsignalen, wat de convergentie vertraagt en de kwaliteit van de generatie verslechtert.

Methodologie

De auteurs stellen Density-Sampled Gaussians (DeG) voor, een nieuw kader dat adaptieve renderingprimitieven koppelt aan schaalbare generatieve modellering. De pijplijn bestaat uit twee hoofdcomponenten: een DeG-VAE voor representatieleren en een VecSeq Diffusion Transformer voor generatieve synthese.

1. Density-Sampled Gaussian VAE (DeG-VAE)

De kerninnovatie is het ontkoppelen van de ruimtelijke verdeling van primitieven van hun attributen.

• Stochastische dichtheidsdecoding: In plaats van vaste coördinaten te regresseren, voorspelt de decoder een leerbare conditionele waarschijnlijkheidsdichtheidsfunctie, $q_\theta(x|Z)$, over de 3D-ruimte (geparametriseerd als een octree). De centra van de Gaussians worden dynamisch bemonsterd uit deze dichtheid. Hierdoor kan het model meer primitieven toewijzen aan complexe gebieden en minder aan eenvoudige.
• Efficiënte octree-bemonstering: Om de rekenkosten van dichte roosters te vermijden, wordt de dichtheid gefactoriseerd over een $L$-niveau octree. Bemonstering gebeurt via efficiënte voorouderlijke bemonstering, waarbij actieve cellen recursief worden onderverdeeld op basis van geleerde logits, waardoor lege takken op natuurlijke wijze worden gesnoeid.
• Lokale expansie: Om fijne details vast te leggen, spawn elke bemonsterde ankerpunt $K$ individuele Gaussians met geleerde lokale offset, waardoor een hiërarchische representatie ontstaat ($N = P \times K$ totale splats).
• Differentieerbare dichtheidsoptimalisatie: De primaire uitdaging is het optimaliseren van de stochastische dichtheid $q_\theta$ met renderfeedback. Omdat bemonstering niet-differentieerbaar is, leiden de auteurs een renderverliesbijdragegradiënt af.
  • Deze gradiënt fungeert als een volledig differentieerbaar analoog van de discrete verdichtings-/snoeihuristieken.
  • Het maakt gebruik van een "verschilsbeloning"-mechanisme: het schat de marginale bijdrage van elke bemonsterde ankerpunt aan het renderverlies door het verlies met en zonder die ankerpunt te vergelijken.
  • Dit signaal wordt teruggepropageerd om de waarschijnlijkheidsdichtheid te versterken in gebieden waar primitieven de reconstructiefout aanzienlijk verminderen, waardoor end-to-end optimalisatie van de dichtheidsfunctie mogelijk wordt met uitsluitend beeldreconstructieverlies.

2. VecSeq Diffusion Transformer

Om generatieve synthese mogelijk te maken, trainen de auteurs een latente diffusiemodel op de DeG-representatie.

• VecSeq (Vector Sequence): Om de permutatie-ambiguïteit van ongeordende latente tokens op te lossen, stellen de auteurs een canonieke herindexeringsmechanisme voor.
  • Latente tokens worden via Optimaal Transport (OT) gemapt naar een deterministische, laag-discrepantie 3D-Sobol-sequentie.
  • Hierdoor wordt elke token verankerd aan een specifiek ruimtelijk gebied, waardoor het ambiguïteitsprobleem van set-generatie wordt omgezet in een robuuste taak voor sequentie-generatie.
  • Positie-embeddings afgeleid van de Sobol-ankers worden geïnjecteerd in de diffusietransformer, wat de training stabiliseert en de convergentie versnelt.

Belangrijkste Bijdragen

1. DeG-representatie: Een 3D-representatie die variabele grootte-outputs en adaptieve toewijzing van Gaussians ondersteunt door centra te bemonsteren uit een leerbare dichtheidsfunctie, waardoor de noodzaak van beperkingen met vaste structuren wordt geëlimineerd.
2. Renderverliesbijdragegradiënt: Een efficiënt, differentieerbaar signaal dat end-to-end optimalisatie van de stochastische dichtheidsfunctie mogelijk maakt, waardoor optimale plaatsing van primitieven wordt geleerd zonder niet-differentieerbare heuristieken.
3. VecSeq-mechanisme: Een strategie voor latente herindexering die de diffusietraining op puntverzamelingen stabiliseert door tokens te verankeren aan een deterministische ruimtelijke structuur, wat leidt tot snellere convergentie en state-of-the-art generatiekwaliteit.

Resultaten

Uitgebreide experimenten op de Toys4K- en Objaverse-datasets tonen de effectiviteit van de voorgestelde methode aan:

• Reconstructiekwaliteit: Onder een vergelijkbaar Gaussiaboedget (bijv. ~262K Gaussians) presteert DeG-VAE aanzienlijk beter dan baselines zoals TRELLIS en UniLat3D in PSNR, SSIM en LPIPS. De adaptieve toewijzing stelt DeG in staat dezelfde visuele trouw te bereiken als baselines met aanzienlijk minder Gaussians (in sommige gevallen minder dan de helft).
• Variabele resolutie: Het model ondersteunt het decoderen van een willekeurig aantal Gaussians uit één latente code. De visuele kwaliteit schaalt soepel met het aantal bemonsterde ankers, waardoor afwegingen mogelijk zijn tussen renderingssnelheid en trouw.
• Generatieve prestaties: Bij generatie van 3D uit één afbeelding bereikt de methode state-of-the-art scores voor afbeeldingsconditie-uitlijning (CLIP-I) en distributiemetingen (FD, KD) op gerenderde multi-view afbeeldingen, en presteert het beter dan zowel mesh-gebaseerde als andere op Gaussians gebaseerde generatiemodellen.
• Ablatiestudies:
  • Het verwijderen van de renderverliesbijdragegradiënt ($\hat{L}_{render}$) resulteert in een verslechterde reconstructie, met name in regimes met een laag budget waar adaptieve toewijzing kritiek is.
  • Het verwijderen van de VecSeq-herordening (met gebruik van ongeordende VecSet) verslechtert de generatiekwaliteit aanzienlijk en vertraagt de convergentie, wat de noodzaak van canonieke ordening bevestigt.

Betekenis en Claims

Het artikel claimt een praktische en schaalbare basis te leggen voor high-fidelity 3D-Gaussian-generatie. Door niet-differentieerbare heuristieken te vervangen door een leerbare, rendering-geoptimaliseerde dichtheid, combineert het werk succesvol de structurele adaptiviteit van ongestructureerde primitieven met de trainingsstabiliteit van roostergebaseerde methoden.

De auteurs positioneren DeG als een oplossing die controleerbare, resource-bewuste 3D-content-synthese mogelijk maakt, waardoor een enkel getraind model lichtgewicht assets voor mobiele toepassingen of ultra-dichte assets voor high-fidelity rendering kan genereren, simpelweg door het bemonsteringsbudget aan te passen. Hoewel de methode momenteel gericht is op 3DGS, merken de auteurs op dat de latente ruimte vorm en textuur trouw reconstrueert, wat potentie suggereert voor toekomstige generatie van getextureerde meshes. Ze erkennen beperkingen met betrekking tot naar achteren gerichte gebieden bij inferentie met één afbeelding, maar benadrukken de robuustheid van de geleerde dichtheidscontrole en de efficiëntie van de VecSeq-formulering.