🤖 AI

Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors

Dit paper introduceert Points-to-3D, een diffusion-gebaseerd framework dat bestaande 3D-puntenwolk-priors gebruikt om binnen het TRELLIS-systeem geometrisch controleerbare en kwalitatief superieure 3D-objecten en scènes te genereren.

Oorspronkelijke auteurs: Jiatong Xia, Zicheng Duan, Anton van den Hengel, Lingqiao Liu

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiatong Xia, Zicheng Duan, Anton van den Hengel, Lingqiao Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Points-to-3D: De Bouwmeester met een Blauwdruk

Stel je voor dat je een 3D-ruimte wilt bouwen, maar je hebt alleen een foto van de voorkant van een huis. De meeste huidige AI-modellen zijn als kunstenaars die proberen het hele huis te tekenen op basis van die ene foto. Ze doen hun best, maar vaak missen ze details aan de zijkant of achterkant, en de structuur kan soms een beetje "dromerig" of onzeker zijn.

Points-to-3D is een nieuwe, slimme methode die dit probleem oplost. Het werkt niet als een dromerige kunstenaar, maar als een bouwmeester met een exacte blauwdruk.

Hier is hoe het werkt, in simpele taal:

1. Het Probleem: De "Onzichtbare" Kant

Stel je voor dat je een beeldhouwt. Je ziet alleen de voorkant van het standbeeld. De rest is bedekt met een doek.

De oude manier: De AI probeert het hele standbeeld te "dromen" uit het niets (of uit ruis). Ze raden wat er achter het doek zit. Soms is het mooi, maar soms is het raar of onstabiel.
De nieuwe manier (Points-to-3D): We geven de AI een 3D-puntwolk (een verzameling punten die de vorm van de zichtbare kant precies beschrijven). Dit is als het geven van een harde blauwdruk van de voorkant. De AI weet nu: "Oké, dit is hoe het eruit moet zien. Ik moet alleen de rest invullen."

2. De Oplossing: "Inpainting" (Invullen)

De kern van deze nieuwe methode is iets dat we inpainting noemen.
Stel je voor dat je een schilderij hebt met een gat in het midden. Je wilt het gat dichten, maar je wilt dat de nieuwe verf perfect aansluit bij de bestaande randen.

Points-to-3D neemt de zichtbare punten (de blauwdruk) en vult de lege plekken in met een slimme AI.
Het model is getraind om te weten: "Houd de zichtbare kant exact zoals hij is, maar bedenk een logisch en mooi ontwerp voor de onzichtbare kant."

3. Hoe werkt het technisch? (De Magische Truc)

De auteurs gebruiken een bestaand slim model genaamd TRELLIS.

Normaal: TRELLIS begint met een lege doos vol ruis (witte statische ruis als op tv) en probeert daar een 3D-object uit te toveren.
Met Points-to-3D: We vullen de doos niet met ruis, maar met de blauwdruk (de puntwolk) die we al hebben. De AI begint niet bij nul, maar bij een half-volledig bouwwerk.
De Twee Stappen:
1. Het Skelet bouwen: De AI vult eerst de grote, holle ruimtes in om een stevig skelet te maken dat past bij de blauwdruk.
2. De Randen Polijsten: Vervolgens polijst de AI de overgangen tussen wat we al hadden en wat er nieuw is bijgekomen, zodat het eruit ziet alsof het altijd zo was.

4. Waarom is dit cool?

Van Foto naar 3D: Je kunt een foto van een auto nemen. Een slimme camera-app (zoals VGGT) maakt er direct een ruwe 3D-schets van. Points-to-3D pakt die schets, houdt de zichtbare kant perfect vast, en bouwt de rest van de auto eromheen.
Van Sensor naar 3D: Je kunt ook een laser-scan (LiDAR) van een kamer gebruiken. De AI ziet wat er is, en bouwt de rest van het meubilair of de muren er logisch bij.
Geen "Hallucinaties": Omdat de AI gebonden is aan de echte punten die we al hebben, maakt hij geen rare fouten. De voorkant van het object blijft 100% hetzelfde als de input.

Samenvattend

Vroeger vroeg je een AI: "Teken een stoel op basis van deze foto." De AI droomde de stoel.
Nu vraag je: "Hier is een blauwdruk van de voorkant van de stoel. Bouw de rest van de stoel er logisch bij, maar laat de voorkant onveranderd."

Points-to-3D is die slimme bouwmeester die weet hoe hij een compleet, stevig 3D-object moet maken, terwijl hij zich strikt houdt aan de werkelijkheid die we al hebben gezien. Het maakt 3D-generatie niet alleen mooier, maar ook veel betrouwbaarder voor echte toepassingen.

Titel: Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors

Auteurs: Jiatong Xia, Zicheng Duan, Anton van den Hengel, Lingqiao Liu (University of Adelaide, Australië)

1. Het Probleem

Recente vooruitgang in 3D-generatie wordt voornamelijk gedreven door modellen die conditioneren op afbeeldingen of tekst. Hoewel deze modellen realistische 3D-assets kunnen produceren, missen ze vaak geometrische controleerbaarheid.

Beperkingen van bestaande methoden: Bestaande "foundation" 3D-modellen (zoals TRELLIS) initialiseren hun generatieproces vaak vanuit zuiver ruis (Gaussische ruis) in de latente ruimte. Ze hebben geen mechanisme om rekening te houden met echte 3D-metingen.
Ongebruikte bronnen: In veel real-world scenario's (bijv. via LiDAR-sensoren of voorspellende modellen zoals VGGT) zijn puntwolk-priors (point cloud priors) van zichtbare gebieden makkelijk beschikbaar. Deze bieden expliciete geometrische constraints. Echter, huidige generatieve pipelines gebruiken deze structurele informatie niet effectief om de gegenereerde asset te verankeren aan de waargenomen geometrie.
De uitdaging: Het doel is om 3D-assets te genereren die de zichtbare structuur van een input-puntwolk exact behouden, terwijl onzichtbare gebieden op een geloofwaardige manier worden aangevuld (completing). Dit vereist meer dan alleen het toevoegen van de puntwolk als een extra conditie; de structuur moet in de latente ruimte zelf worden geïntegreerd.

2. Methodologie

De auteurs introduceren Points-to-3D, een diffusion-gebaseerd framework dat expliciete 3D-puntwolk-priors gebruikt voor geometrie-controleerbare generatie. Het framework bouwt voort op het bestaande latent 3D diffusion model TRELLIS.

Kerncomponenten:

Herdefinitie van de Initialisatie:
- In plaats van te starten met pure ruis, wordt de zichtbare puntwolk (of een geschatte puntwolk van VGGT) voxelized (omgezet naar een 3D rooster).
- Deze voxelized structuur wordt gecodeerd met de VAE-encoder van TRELLIS om een partieel waargenomen SS-latent (Sparse Structure Latent) te verkrijgen.
- Gebieden die door observatie worden ondersteund, worden vastgehouden als constraints. Onwaargenomen gebieden worden gevuld met ruis.
Structuur Inpainting Netwerk:
- Een speciaal getraind inpainting flow transformer ( $G_{inp}$ ) wordt gebruikt om het gemengde latent (zichtbare delen + ruis) te "inpainten".
- Het netwerk leert om de ontbrekende geometrie te infereren op basis van de zichtbare context, terwijl de zichtbare regio's intact blijven.
- Training: Er worden paren van "zichtbaar-onvolledig" en "volledig" gegenereerd uit ground-truth data. Het model wordt getraind met Conditional Flow Matching (CFM) loss om de volledige sparse structuur latent te voorspellen.
Gestageerde Sampling Strategie (Inferentie):
Om de kwaliteit van de randen tussen de ingevoegde en gegenereerde delen te verbeteren, wordt een twee-staps sampling-procedure gebruikt:
- Fase 1: Structurele Inpainting: De eerste $s$ stappen focussen op het genereren van een globaal consistente skeletstructuur die de zichtbare puntwolk respecteert.
- Fase 2: Randverfijning (Boundary Refinement): De resterende $(t-s)$ stappen gebruiken een "all-ones" masker (geen inpainting meer, maar standaard denoising). Dit zorgt voor het verfijnen van details en het gladstrijken van de overgangen zonder de reeds verankerde geometrie te verstoren.

3. Belangrijkste Bijdragen

Points-to-3D Framework: Het eerste diffusion-framework dat puntwolk-priors direct in de latente initialisatie van een 3D-generatiemodel integreert, waardoor geometrische controle mogelijk wordt.
Expliciete Geometrische Constraints: In tegenstelling tot methoden die priors indirect gebruiken (bijv. via attention), verankert Points-to-3D de zichtbare geometrie direct in de latent space, wat leidt tot near-perfecte alignement met de input.
Flexibiliteit: Het systeem werkt zowel met nauwkeurige puntwolken van sensoren (LiDAR) als met geschatte puntwolken uit enkele afbeeldingen (via VGGT).
Gestageerde Sampling: Een innovatieve sampling-strategie die het probleem van "gaten" of inconsistenties aan de randen van ingevulde gebieden oplost.

4. Resultaten

Het model is geëvalueerd op object-niveau (Toys4K dataset) en scène-niveau (3D-FRONT dataset).

Superieure Prestaties: Points-to-3D overtreft state-of-the-art baselines (zoals TRELLIS, GaussianAnything, SAM3D, VoxHammer) consistent op alle metrieken, waaronder renderingkwaliteit (PSNR, SSIM, LPIPS) en geometrische nauwkeurigheid (Chamfer Distance, F-Score).
Geometrische Fideliteit:
- Bij gebruik van nauwkeurige puntwolk-priors bereikt het model een F-Score van 0.964 (tegenover 0.832 voor TRELLIS) en een Chamfer Distance van 0.013.
- In de zichtbare regio's (waar de puntwolk aanwezig is) is de alignement met de ground truth bijna perfect (F-Score 0.998).
Robuustheid: Zelfs wanneer het model werkt met geschatte puntwolken van VGGT (die inherent fouten bevatten), presteert het aanzienlijk beter dan andere methoden, wat aantoont dat het framework robuust is tegen ruis in de input.
Text-to-3D: Door puntwolk-priors te combineren met tekstcondities, kan het model ook gestuurd worden door tekst, maar dan met de extra garantie van geometrische controle.

5. Betekenis en Impact

Deze werken markeert een belangrijke verschuiving in 3D-generatie:

Van "Blind" Generatie naar Gecontroleerde Generatie: Het paper toont aan dat het integreren van bestaande 3D-geometrie (die vaak makkelijk beschikbaar is in real-world toepassingen) essentieel is voor het creëren van bruikbare en nauwkeurige 3D-content.
Toepassingsgebied: De technologie is direct toepasbaar in augmented reality (AR), virtual reality (VR), robotica en content creatie, waar het nodig is om 3D-modellen te reconstrueren of aan te vullen op basis van gedeeltelijke scans of enkele foto's.
Paradigmaverschuiving: Het stelt een nieuw paradigma voor waarbij generatieve modellen niet langer losstaan van fysieke metingen, maar deze gebruiken als een harde constraint binnen het generatieve proces zelf.

Kortom, Points-to-3D lost het probleem op van gebrek aan geometrische controle in 3D-generatie door puntwolk-priors direct in de kern van het diffusion-proces te verwerken, resulterend in assets die zowel visueel realistisch als structureel accuraat zijn.