Technische Samenvatting: PointDiT

Probleemstelling

Monoculaire geometrie-schatting—de taak van het voorspellen van een dichte 3D-structuur vanuit een enkele RGB-afbeelding—is een fundamentele uitdaging in 3D-scènebegrip. Ho'ewel dieptekaarten scalaire afstand bieden, vereisen ze bekende cameraintrinsieken om 3D-structuur te herstellen. In tegenstelling hiertoe representeren point maps (puntkaarten) geometrie direct in het cameracoördinatensysteem (X, Y, Z), wat directe 3D-reconstructie mogelijk maakt zonder kalibratie. Echter, deze mapping is inherent slecht gedefinieerd (ill-posed) vanwege schaal- en diepte-ambiguïteit.

Bestaande benaderingen kampen met aanzienlijke beperkingen:

1. Deterministische Regressiemodellen: Deze vertrouwen vaak op complexe hybride architecturen (combinaties van Vision Transformers en convoluties) en ingewikkelde verliesfuncties. Vanwege de ambiguïteit van de taak hebben ze de neiging om het gemiddelde van de outputdistributie te voorspellen, wat resulteert in over-gesmoothde geometrie die een gebrek heeft aan hoogfrequente details, met name in complexe of transparante regio's.
2. Latent Diffusion Models (LDMs): Methoden zoals GeometryCrafter maken gebruik van generatieve priors, maar vereisen het comprimeren van point maps naar een latente ruimte via een Variational Autoencoder (VAE). Dit introduceert architecturale overhead en informatieverlies. Het construeren van een tokenizer voor geometrische data is niet triviaal, en de conflicterende optimalisatie-objectieven van VAE-reconstructie en diffusie-generatie beperken vaak de getrouwheid van gereconstrueerde fijne structuren.

Methodologie: PointDiT

De auteurs introduceren PointDiT, een minimalistische pixel-space Diffusion Transformer die direct opereert op ruwe 3D point map patches, waardoor de noodzaak voor latente ruimtes, VAE's of hybride architecturen wordt geëlimineerd.

Kernarchitectuur

• Backbone: Een eenvoudige Vision Transformer (ViT) die vanaf nul wordt getraind. In tegenstelling tot LDMs vereist het geen vooraf getrainde tokenizer of een VAE-encoder/decoder.
• Input Representatie: De 3D point map ($H \times W \times 3$) wordt behandeld als een multi-channel afbeelding. Deze wordt gepatchified in niet-overlappende $p \times p$ patches (standaard $p=16$) en geprojecteerd naar token embeddings.
• Conditionering: Het model wordt geconditioneerd op de invoer RGB-afbeelding met behulp van tokens van een bevroren DINOv3 encoder. De auteurs stellen vast dat het concateneren van features uit vier uniform verdeelde tussenliggende lagen van DINOv3 een rijke feature-hiërarchie biedt die representatieleer verbindt met diffusie-training.
• Fusie: Afbeeldingstokens en point map-tokens worden kanaalsgewijs geconcateneerd en verwerkt door een stapel Transformer-blokken.

Trainingsstrategie

• Flow Matching: Het model adopteert een flow matching-framework, waarbij een Ordinary Differential Equation (ODE) wordt geleerd om een Gaussische ruisdistributie te transporteren naar de data-distributie van de point maps.
• Voorspellingsdoel (x-prediction): Een belangrijke innovatie is het gebruik van x-prediction (het direct voorspellen van de schone point map) in plaats van de velocity-voorspelling ($v$-prediction) of flow matching-targets die gebruikelijk zijn bij andere diffusiemodellen. De auteurs demonstreren dat x-prediction cruciaal is voor geometrische data en substantieel betere resultaten oplevert.
• Verliesfunctie: Het primaire objectief is de velocity loss (MSE tussen de geschatte snelheid en de werkelijke snelheid). Een aanvullende relative point loss wordt toegevoegd om fouten te normaliseren door de magnitude van de doel-punten, zodat verre punten de loss niet domineren en lokale details behouden blijven.
• Normalisatie & Sky Handling: Point maps worden gestandaardiseerd door het middelpunt (centroid) af te trekken en te delen door de gemiddelde Euclidische afstand om de schaal van de noise prior te matchen. Sky-punten (oneindige diepte) worden geprojecteerd op een virtuele sfeer en lager gewogen in de loss om stabiele training over binnen- en buitenopnames te garanderen.
• Trainingsschema: Het model ondergaat grootschalige pre-training op synthetische data (SceneNet-RGBD) bij $256 \times 256$, gevolgd door fine-tuning op een mix van 11 hoogwaardige synthetische datasets bij $512 \times 512$.

Inferentie

• Sampling: Het model lost de ODE op van $t=0$ (zuivere ruis) naar $t=1$ (schone data) met behulp van een Euler-solver.
• Efficiëntie: Verrassend genoeg bereikt PointDiT concurrerende resultaten met single-step inference. Extra sampling-stappen verfijnen de scherpte van de grenzen verder.
• Deterministische Modus: Het model kan ook inferentie uitvoeren geïnitialiseerd met alle nullen (deterministisch), wat resultaten oplevert die vergelijkbaar zijn met stochastische sampling, wat wijst op robuustheid tegen inputruis.

Belangrijkste Bijdragen

1. Pixel-Space Diffusion voor Geometrie: Toont aan dat pixel-space diffusie niet alleen computationeel haalbaar is voor dichte 3D-geometrie, maar ook superieur is aan latent-gebaseerde benaderingen bij het reconstrueren van scherpe details en het oplossen van ambiguïteiten.
2. Minimalistische Architectuur: Verwijdert de architecturale overhead van VAE's en hybride netwerken door een eenvoudige ViT te gebruiken die vanaf scratch wordt getraind op ruwe point maps.
3. x-Prediction voor 3D: Vestigt dat het direct voorspellen van schone data (x-prediction) zeer effectief is voor geometrische data en beter presteert dan velocity-gebaseerde targets.
4. Robuustheid tegen Ambiguïteit: De generatieve formulering stelt het model in staat om scherpe, hoogfrequente details te vangen en ambigue regio's (bijv. transparante objecten) beter te behandelen dan deterministische regressoren.

Experimentele Resultaten

Geëvalueerd op zeven real-world datasets (DIODE, KITTI, NYUv2, ETH3D, HAMMER, iBims-1, Booster) bij een resolutie van $512 \times 512$:

• Nauwkeurigheid: PointDiT-H bereikt de beste dieptenauwkeurigheid ($Reld$, $\delta^1_d$) en point map-nauwkeurigheid ($\delta^1_p$) van alle vergeleken methoden.
• Grensscherpte: PointDiT bereikt de hoogste boundary fidelity metric (BF1), waarmee het latent diffusion models (GeometryCrafter) en deterministische regressoren (MoGe-2) aanzienlijk verslaat. Dit duidt op een superieur vermogen om dunne structuren en scherpe randen te herstellen.
• Efficiëntie: PointDiT is aanzienlijk sneller dan latent diffusion models. Voor single-step inference duurt PointDiT-H 72ms, terwijl GeometryCrafter 1.178ms nodig heeft.
• Kwalitatieve Prestaties: Visuele vergelijkingen laten zien dat PointDiT complexe structuren (bijv. stoelpootjes) en transparante objecten getrouwer herstelt dan de baselines, waarbij het de over-smoothing van regressie en de ruis/artefacten van VAE-gebaseerde latent diffusion vermijdt.

Betekenis en Claims

Het artikel claimt dat PointDiT een eenvoudiger paradigma vertegenwoordigt voor toekomstige 3D- en 4D-generatiemodellen. Door aan te tonen dat dichte geometrie effectief in pixel space gemodelleerd kan worden zonder VAE's, overbrugen de auteurs de kloof tussen standaard beeldgeneratie en 3D-reconstructie.

De auteurs benadrukken dat hun aanpak:

• Complexe latent-gebaseerde diffusiemodellen overtreft terwijl het aanzienlijk eenvoudiger blijft dan hybride deterministische alternatieven.
• Scherpere geometrische structuren produceert en robuuster is in sterk ambigue regio's.
• Suggereert dat pixel-space diffusie een natuurlijke extensie is van natuurlijke afbeeldingen naar gestructureerde geometrische signalen, wat de weg vrijmaakt voor VAE-vrije, end-to-end 3D- en 4D-generatie.

Het artikel is bescheiden over beperkingen en merkt op dat het model momenteel op vaste resoluties wordt getraind en dat de prestaties op buitenopnames verbeterd kunnen worden met diversere trainingsdata. Er wordt ook gesuggereerd dat toekomstig werk de plain ViT-backbone kan uitbreiden om gezamenlijk RGB-verschijning te produceren of multi-view generatie te hanteren.