💻 computer science

UniPart: Part-Level 3D Generation with Unified 3D Geom-Seg Latents

Dit paper introduceert UniPart, een tweestaps latent diffusion-framework dat een verenigde geometrie-segmentatie-voorstelling (Geom-Seg VecSet) gebruikt om afbeeldingsgestuurde 3D-generatie op onderdeleniveau mogelijk te maken met verbeterde controle en geometrische kwaliteit.

Oorspronkelijke auteurs: Xufan He, Yushuang Wu, Xiaoyang Guo, Chongjie Ye, Jiaqing Zhou, Tianlei Hu, Xiaoguang Han, Dong Du

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xufan He, Yushuang Wu, Xiaoyang Guo, Chongjie Ye, Jiaqing Zhou, Tianlei Hu, Xiaoguang Han, Dong Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale LEGO-bouwpakket wilt maken van een foto. Je wilt niet alleen een compleet, statisch blokje hebben, maar je wilt ook dat je de wielen, de deuren en het dak los kunt maken, verplaatsen of vervangen. Dat is precies wat UniPart doet, maar dan voor complexe 3D-objecten zoals auto's, meubels of robots.

Hier is een uitleg in simpele taal, met een paar leuke vergelijkingen:

Het Grote Probleem: De "Slappe Deeg" vs. De "Gebakken Taart"

Tot nu toe konden computers 3D-objecten maken die eruit zagen als een stuk slap deeg. Je kon het wel zien, maar als je probeerde om een wiel eraf te halen, viel het hele deeg in elkaar. Of ze maakten een taart, maar ze wisten niet welke stukken de vulling waren en welke de bodem, dus je kon ze niet apart bakken.

Bestaande methodes waren vaak te simpel (ze zagen niet goed waar de delen zaten) of te zwaar (ze hadden een enorme, dure "recept-boek" nodig met duizenden voorbeelden van losse onderdelen om te leren hoe het moest).

De Grote Doorbraak: De "Onzichtbare Magneet"

De onderzoekers van UniPart hebben iets geniaals ontdekt. Ze zagen dat wanneer een computer leert hoe een heel object eruitziet (bijvoorbeeld een hele auto), het vanzelf begint te begrijpen waar de wielen zitten en waar de carrosserie is. Het is alsof je een magneet hebt die vanzelf de metalen onderdelen in een rommelige doos sorteert, zonder dat je ze eerst één voor één hebt aangegeven.

Ze noemen dit hun Geom-Seg VecSet.

De Vergelijking: Stel je voor dat je een foto van een auto maakt. In plaats van dat de computer alleen een platte afbeelding maakt, maakt hij een "geheime code" (een latent space). In deze code zit niet alleen de vorm van de auto, maar ook een onzichtbare kaart die precies aangeeft: "Dit puntje hoort bij het wiel, dat puntje bij de deur."

Hoe Werkt UniPart? (De Twee-Stappen Dans)

UniPart werkt in twee stappen, net als het bouwen van een huis:

Stap 1: Het Tekenplan en de Splitsing (De "Global" Stap)
De computer kijkt naar je foto en tekent eerst het hele huis. Maar in plaats van alleen de muren te tekenen, tekent hij ook direct de lijnen waar de deuren en ramen moeten komen.

Vergelijking: Het is alsof een architect een plattegrond maakt waarop niet alleen de muren staan, maar waar ook met een stempel is gezet: "Dit is de slaapkamer, dit is de badkamer." De computer doet dit in één keer, zonder dat iemand handmatig de deuren heeft getekend.

Stap 2: De Detailbouw (De "Part" Stap)
Nu de computer weet waar de delen zitten, gaat hij elk deel apart bouwen, maar hij houdt wel rekening met het hele huis.

De Twee Werelden: Hier komt het slimme deel. De computer bouwt elk onderdeel (bijv. een wiel) in twee verschillende "werelden" tegelijk:
1. De Normale Wereld: Hoe ziet het wiel eruit als het perfect is? (De vorm).
2. De Plaatselijke Wereld: Waar moet dat wiel precies zitten in de auto en hoe groot moet het zijn? (De positie).
Vergelijking: Stel je voor dat je een poppenhuis bouwt. Je maakt eerst een perfect klein meubeltje (de vorm) en bepaalt dan pas waar je het in het huis zet (de positie). Door dit tegelijk te doen, blijft het meubeltje mooi en past het perfect in de kamer, zonder dat het scheef staat of vervormd is.

Waarom is dit zo speciaal?

Geen dure leraar nodig: Andere methodes hebben duizenden voorbeelden nodig van "losse wielen" om te leren. UniPart leert dit vanzelf terwijl het de hele auto bouwt.
Geen "vervorming": Vaak worden 3D-objecten lelijk als je ze in stukken snijdt en weer samenvoegt. UniPart zorgt ervoor dat de onderdelen eruitzien alsof ze altijd al perfect bij elkaar hoorden.
Controle: Omdat de computer precies weet welk deel bij welk stuk hoort, kun je later in de software het wiel vervangen door een ander wiel, of de deur openen, zonder dat de hele auto uit elkaar valt.

Samenvattend

UniPart is als een slimme 3D-bakker. In plaats van dat hij alleen een hele taart bakt en hoopt dat je hem zelf kunt snijden, bakt hij de taart met een onzichtbare, perfecte snijlijn erin. En als je een stukje wilt, haalt hij dat stukje eruit alsof het een magische LEGO-blok is: perfect gevormd, op de juiste plek, en klaar om te gebruiken.

Dit maakt het veel makkelijker voor gameontwikkelaars, robotici en ontwerpers om realistische, bewerkbare 3D-objecten te maken.

Probleemstelling

De snelle ontwikkeling van 3D-contentcreatie in gebieden zoals computergraphics, robotica en virtuele realiteit heeft een grote vraag opgewekt naar gecontroleerde en semantisch gestructureerde 3D-vormgeneratie. Bestaande methoden voor 3D-generatie focussen voornamelijk op het produceren van holistische (hele) mesh-structuren die slechts de algemene geometrie vastleggen. Echter, toepassingen zoals deelbewust bewerken, fysische simulatie en modulair ontwerp vereisen niet alleen accurate geometrie, maar ook een decomposeerbare weergave van objectonderdelen en hun onderlinge relaties.

Er zijn twee hoofduitdagingen bij het genereren van 3D-vormen op deeltjesniveau:

Semantische coherentie: Het is moeilijk om een gepaste segmentatiegranulariteit te bepalen terwijl de globale structurele integriteit en semantische consistentie behouden blijven.
Geometrische degradatie: Bij het genereren van kleine of dunne onderdelen treedt vaak geometrische degradatie op door beperkte resolutie en de moeilijkheid om zowel globale coherentie als lokale details tegelijkertijd te behouden.

Bestaande oplossingen vertrouwen ofwel op impliciete segmentatie (met beperkte controle) ofwel op een "genereer-dan-segmenteer"-paradigma dat afhankelijk is van zwaar geannoteerde externe segmentatoren.

Methodologie

De auteurs introduceren UniPart, een tweestaps latent diffusion framework voor beeldgeleide 3D-generatie op deeltjesniveau. De kern van de methode rust op de observatie dat "deelbewustzijn" (part awareness) van nature ontstaat tijdens het leren van de geometrie van het hele object.

1. Geom-Seg VecSet: Een Unificatie van Geometrie en Segmentatie

De auteurs stellen een nieuwe latente representatie voor, genaamd Geom-Seg VecSet, gebaseerd op de bestaande VecSet-architectuur.

Unieke Representatie: In plaats van alleen geometrie te coderen, encodeert deze representatie zowel de objectgeometrie als de deelsegmentatie in één gemeenschappelijke latente ruimte.
Encoder/Decoder: De encoder neemt dichte punten op het meshoppervlak (met part-labels) als input en genereert een set latente vectoren. De decoder bestaat uit twee delen: een geometrie-decoder (voor mesh-reconstructie) en een segmentatie-decoder (gebaseerd op het SAM2-promptable paradigm) die part-labels genereert voor de latente vectoren.
Training: Het model wordt getraind om zowel de reconstructie van de mesh als de nauwkeurige segmentatie te minimaliseren, zonder dat de kwaliteit van de geometrische reconstructie afneemt ten opzichte van pure geometrische modellen.

2. Tweestaps Latent Diffusion Framework

Het generatieproces verloopt in twee fasen:

Fase 1: Whole-Level Diffusion (Globale Generatie)
- Een Diffusion Transformer (DiT) genereert de Geom-Seg VecSet latent voor het hele object, geconditioneerd op een invoer-afbeelding.
- Dit resulteert in een globale geometrische latent en een bijbehorende "part latent mask" (segmentatie).
- Dit stadium levert expliciete part-latent maskers op, wat flexibele controle over de segmentatiegranulariteit biedt zonder externe segmentatoren.
Fase 2: Part-Level Diffusion (Detailgeneratie)
- Een tweede DiT genereert de gedetailleerde geometrie van elk individueel deel.
- Dual-Space Generatie: Dit is een kerninnovatie. Het model voorspelt de geometrie van een deel in twee gelijktijdige ruimtes:
  1. Global Coordinate Space (GCS): Encodeert de schaal, positie en compositierelatie van het deel binnen het hele object.
  2. Normalized Canonical Space (NCS): Encodeert de hoge-fideliteit geometrie van het deel zelf in een genormaliseerde $[0,1]^3$ ruimte.
- Conditioning: De generatie wordt geconditioneerd op de invoer-afbeelding, de globale latent en de gesegmenteerde part-latents.
- Compositie: Tijdens de inferentie worden de twee latents gedecodeerd. De NCS-geometrie (hoogwaardig detail) wordt getransformeerd naar de globale ruimte op basis van de schaal en positie uit de GCS-latent, wat zorgt voor naadloze en consistente samenstelling van de delen.

Belangrijkste Bijdragen

Geom-Seg VecSet: Een unificatie van geometrie en segmentatie in één latente ruimte, waardoor efficiënt deelbegrip mogelijk is vanuit generatief leren van het hele object, zonder externe segmentatoren.
UniPart Framework: Een tweestaps latent diffusion model dat eerst geometrie en part-latent segmentatie genereert, en vervolgens dual-space diffusion toepast voor naadloze samenstelling en volledige resolutie van deelgeometrie.
Dual-Space Strategie: Een innovatieve aanpak die zowel globale context als lokale canonical geometrie combineert, wat degradatie van kleine onderdelen aanzienlijk vermindert.
Uitgebreide Experimenten: Demonstratie van superioriteit in zowel segmentatiecontrole als geometrische kwaliteit vergeleken met state-of-the-art methoden.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op een dataset van 300.000 objecten met deelsegmentatie.

Kwantitatieve Prestaties: UniPart presteert consistent beter dan bestaande methoden (zoals HoloPart, PartCrafter, OmniPart, X-Part) op meetmaten zoals Chamfer Distance (CD), F-Score en Intersection over Union (IoU). Het bereikt bijvoorbeeld een CD van 0.72 (x10²) en een F1-score van 92.21 (x10²), wat significant hoger is dan concurrenten.
Kwalitatieve Resultaten: Visuele resultaten tonen dat UniPart redelijker deelsegmentaties genereert en geometrie van hogere kwaliteit produceert, vooral bij kleine en complexe onderdelen.
Ablatie Studies: Deze studies bevestigen dat de dual-space generatie (NCS) cruciaal is voor de geometrische fideliteit, en dat de "space embedding" en "local-global attention" mechanismen essentieel zijn voor correcte plaatsing en samenhang.
Vergelijking: Het model presteert zelfs concurrerend met gesloten bron commerciële modellen, ondanks het gebruik van een kleiner basismodel en minder trainingsdata voor segmentatie.

Betekenis en Impact

UniPart vertegenwoordigt een belangrijke stap voorwaarts in gestructureerde 3D-generatie. Door de noodzaak van externe, zwaar geannoteerde segmentatoren te elimineren en in plaats daarvan "part awareness" te laten ontstaan uit het generatieve proces zelf, maakt het de creatie van bewerkbare, modulaire en semantisch gestructureerde 3D-content veel toegankelijker. De methode lost het probleem van geometrische degradatie bij kleine onderdelen op en biedt een robuust fundament voor toepassingen in robotica, gaming en digitale fabricage waar de interactie met individuele objectonderdelen essentieel is.