BoxSplitGen: A Generative Model for 3D Part Bounding Boxes in Varying Granularity

Dit paper introduceert BoxSplitGen, een generatief framework dat interactieve 3D-vormen creëert door coarse bounding boxes iteratief te splitsen in fijnere onderdelen en deze vervolgens om te zetten in gedetailleerde 3D-vormen met behulp van een aangepast diffusiemodel.

De kern

Stel je voor dat je een kunstenaar bent die een nieuw 3D-object wil maken, zoals een stoel of een vliegtuig. In het verleden was het heel lastig om een computer te vertellen precies hoe je dat object eruit wilde laten zien. Je kon wel zeggen "maak een stoel", maar de computer maakte dan willekeurig iets wat er misschien op leek, maar niet precies wat jij in gedachten had.

Deze paper introduceert een slimme nieuwe manier om 3D-ontwerpen te maken, genaamd BOXSPLITGEN. Het werkt net als hoe een mens denkt: je begint met een vaag idee en werkt je er langzaam doorheen tot je bij de fijne details bent.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Begin: Een Lege Doos

Stel je voor dat je een grote, lege kartonnen doos hebt. Dit is je startpunt. In de computerwereld is dit een simpele kubus die alles omvat.

• De Menselijke Aanpak: Als je een stoel tekent, begin je niet direct met het tekenen van elk spijkertje in de poten. Je begint met een groot blok dat de stoel voorstelt.
• De Computer: De computer begint ook met die ene grote doos.

2. Het Knippen: De "Schaar" van de Computer

Nu komt het magische deel. In plaats van dat de computer het hele object in één keer tekent, knipt hij die grote doos in twee kleinere dozen.

• De Analogie: Denk aan een knutselproject. Je hebt een groot vel papier. Je knipt het in tweeën. Dan neem je één van die stukken en knipt je dat weer in tweeën. Je doet dit steeds opnieuw.
• Wat doet de computer?
  1. De Beslissing (De Pivot): De computer kijkt naar al zijn dozen en vraagt zich af: "Welke doos moet ik nu knippen?" Misschien de doos die de zitting van de stoel voorstelt? Of de rugleuning? Dit wordt gedaan door een slimme "beslissingsmachine" (een classifier).
  2. Het Knippen (De Diffusie): Zodra de computer weet welke doos hij moet knippen, gebruikt hij een tweede slimme machine om te bedenken hoe die twee nieuwe, kleinere dozen eruit moeten zien. Ze passen perfect bij elkaar en vormen samen de ouderdoos, maar zijn nu specifieker.

Je herhaalt dit proces. Eén grote doos wordt twee, die worden vier, dan acht, dan zestien... Tot je een heel gedetailleerd raster van dozen hebt dat de vorm van je stoel perfect omschrijft.

3. Het Toveren: Van Dozen naar Vorm

Op het moment dat je tevreden bent met je stapel dozen (je hebt precies de vorm die je wilt), gebeurt het tweede wonder.

• De Analogie: Stel je voor dat je een bouwpakket hebt met alleen de instructies in de vorm van dozen. Nu pakt een meester-bouwer (de Box-to-Shape model) die dozen en bouwt er een prachtig, glad 3D-voorwerp van.
• De Technologie: De computer gebruikt een zeer slimme "geheugenbank" van 3D-vormen die hij eerder heeft geleerd. Hij kijkt naar jouw specifieke dozen en "droomt" de echte vorm eruit. Omdat hij precies weet waar de dozen zitten, is het resultaat een stoel die precies past in jouw ontwerp, met de juiste poten, rugleuning en zitting.

Waarom is dit zo speciaal?

Vroeger waren 3D-computers als een kind dat een legpuzzel probeert te maken door alle stukjes willekeurig neer te leggen. Als je het kind een foto gaf van een stoel, kon het soms een stoel maken, maar vaak ook iets dat leek op een tafel.

Met BOXSPLITGEN geef je het kind de puzzelstukjes in de juiste volgorde:

1. Je zegt: "Hier is de grote vorm."
2. Het kind knipt het in tweeën: "Hier is de zitting, hier is de rug."
3. Het kind knipt die weer: "Hier is de linkerpoot, hier is de rechterpoot."
4. Uiteindelijk heb je een perfect gebouwd meubelstuk.

Het grote voordeel voor jou als gebruiker:
Je kunt zelf de "knippen" sturen. Je kunt zeggen: "Ik wil dat deze doos (de rugleuning) gedetailleerder wordt, maar die andere doos (de poten) mag simpel blijven." Je hebt dus de controle over hoe gedetailleerd je wilt zijn, precies zoals een mens denkt: van grof naar fijn.

Kort samengevat:
Dit systeem is een digitale assistent die je helpt 3D-objecten te ontwerpen door te beginnen met een simpele doos, die je stap voor stap in kleinere en kleinere stukjes knipt tot je het perfecte ontwerp hebt, waarna de computer er een mooi, glad 3D-voorwerp van maakt. Het is alsof je zelf de architect bent die de blauwdrukken schetst, en de computer de bouwvakker die het precies volgens die lijnen bouwt.

Technische samenvatting

Probleemstelling

Hoewel 3D-generatieve modellen aanzienlijke vooruitgang hebben geboekt (voornamelijk dankzij diffusiemodellen), ontbreekt er een specifieke aanpak die menselijke creativiteit ondersteunt door te werken van abstracte ideeën naar fijnere details. Bestaande methoden voor conditionele generatie (zoals tekstprompts) bieden beperkte ruimtelijke controle. Andere methoden die gebruikmaken van primitieven (zoals bounding boxes) kunnen vaak geen hiërarchische relaties tussen onderdelen modelleren of de granulariteit (detailniveau) dynamisch aanpassen. Er is een behoefte aan een interactief raamwerk waarmee gebruikers 3D-objecten kunnen ontwerpen door te starten met een ruwe structuur en deze geleidelijk te verfijnen door bounding boxes op te splitsen, net zoals mensen visueel waarnemen en creëren (van grof naar fijn).

Methodologie

Het voorgestelde raamwerk, BOXSPLITGEN, bestaat uit twee samenwerkende generatieve modellen die een iteratief proces van "box-splitting" (het opsplitsen van bounding boxes) en "box-to-shape" generatie mogelijk maken.

1. BOXSPLITGEN: Het Box-Splitting Generatieve Model

Dit model is verantwoordelijk voor het genereren van een verzameling 3D-onderdeel-bounding boxes met variërende granulariteit door een grove box iteratief op te splitsen. Het proces wordt gemodelleerd als een Markov-proces waarbij een set boxes $\mathcal{B}_s$ wordt omgezet in een verfijnde set $\mathcal{B}_{s+1}$ door één "pivot" box $b_v$ te verwijderen en twee nieuwe kind-boxen $C(b_v)$ toe te voegen.

Het model is opgebouwd uit twee componenten:

• Pivot Classifier: Een classificatienetwerk (gebaseerd op Transformers) dat leert welke box uit de huidige set moet worden geselecteerd om op te splitsen. Dit lost het probleem op dat de volgende stap niet alleen afhankelijk is van de vorige tokens, maar ook van de keuze van de te splitsen box.
• Child-Boxes Diffusion: Een conditioneel diffusiemodel dat de verdeling van de twee nieuwe kind-boxen leert, gegeven de huidige set boxes en de geselecteerde pivot. In tegenstelling tot traditionele sequentiemodellen (zoals GPT), die niet geschikt zijn omdat de set boxes niet-lineair verandert (een box wordt verwijderd en vervangen door twee), gebruikt dit model een Transformer-encoder die de input-boxes en de pivot-indicator verwerkt, gevolgd door een decoder die het ruispatroon voor de twee nieuwe boxes voorspelt.

Data: Het model wordt getraind op data gegenereerd door SMART [55], een methode die via agglomeratieve merging (van fijn naar grof) hiërarchische bounding boxes creëert. BOXSPLITGEN leert het omgekeerde proces: het iteratief splitsen.

2. BOX2SHAPE: Het Box-to-Shape Generatieve Model

Dit model genereert de uiteindelijke 3D-vorm (mesh) op basis van de gegenereerde set bounding boxes.

• Basis: Het bouwt voort op de state-of-the-art 3D-diffusiemodel 3DShape2VecSet [89] om hoge kwaliteit en diversiteit te garanderen.
• Conditionering: Om bounding boxes als voorwaarde te integreren, wordt de ControlNet-architectuur gebruikt. In tegenstelling tot eerdere werken (zoals Spice-E) die bounding boxes eerst omzetten naar multi-view beelden, introduceert BOXSPLITGEN een leerbaar encoder-laag die de bounding boxes direct codeert naar de latente representatie van 3DShape2VecSet. Deze laag wordt samen met de ControlNet-branch getraind, wat zorgt voor een efficiëntere en effectievere conditionering.

Belangrijkste Bijdragen

1. Interactief Hiërarchisch Raamwerk: Het is het eerste generatieve model dat specifiek is ontworpen voor 3D-onderdeel-bounding boxes waarbij gebruikers de granulariteit kunnen controleren (van één grove kubus tot een gedetailleerde verzameling boxes).
2. Nieuwe Architectuur voor Box-Splitting: Het introduceert een tweestaps autoregressief model (Classifier + Diffusion) dat de unieke dynamiek van het verwijderen en toevoegen van elementen in een set effectief modelleert, wat beter presteert dan sequentiemodels of inpainting-benaderingen.
3. Efficiënte Box-Conditioning: Het presenteert een eenvoudige maar krachtige methode om bounding boxes direct te coderen in de latente ruimte van een 3D-diffusiemodel, zonder tussenkomst van beeldrepresentaties, wat leidt tot betere uitlijning tussen de boxes en de gegenereerde vorm.
4. Uitgebreide Evaluatie: Het paper biedt zowel kwalitatieve als kwantitatieve resultaten die aantonen dat de methode superieur is aan bestaande baselines zoals Spice-E en modellen met gated mechanisms.

Resultaten

De experimenten zijn uitgevoerd op de ShapeNet-dataset (o.a. stoelen, vliegtuigen, tafels).

• Box-Splitting:

  • BOXSPLITGEN (met conditionele diffusie) presteert significant beter dan een token-prediction model (gebaseerd op VQ-VAE) en een unconditional diffusion model met inpainting.
  • Metrieken zoals Coverage (COV), Minimum Matching Distance (MMD) en 1-Nearest Neighbor Accuracy (1-NNA) tonen aan dat de gegenereerde boxsets zowel diverser als nauwkeuriger zijn in het weergeven van de onderliggende 3D-structuur.
  • De pivot classifier zorgt voor een betere selectie van te splitsen boxes dan willekeurige selectie.

• Box-Conditioned Shape Generation:

  • Het BOX2SHAPE model overtreft Spice-E (dat Shape-E als basis gebruikt) en een versie van 3DShape2VecSet met een gated mechanisme.
  • Het bereikt de beste scores op vormkwaliteit (COV, MMD) en uitlijning met de input-boxes (gemeten via TOV, VIoU, Box-CD, en Box-EMD).
  • Kwalitatieve visualisaties tonen dat BOX2SHAPE fijnere details beter vastlegt en de gegenereerde objecten nauwkeuriger binnen de opgegeven bounding boxes blijven dan concurrenten.

Betekenis en Toekomstperspectief

Deze studie markeert een belangrijke stap in de richting van mens-gecentreerde 3D creatie. Door het generatieproces te structureren volgens de hiërarchische perceptie van mensen (van abstract naar concreet), biedt het een intuïtief interface voor designers en kunstenaars. Het stelt gebruikers in staat om snel concepten te verkennen met ruwe boxes en deze vervolgens te verfijnen tot specifieke, gedetailleerde objecten.

Toekomstig werk richt zich op het uitbreiden van het raamwerk met andere ruimtelijke geleidingen, zoals andere primitieven en 3D-schetsen, om de interactieve mogelijkheden verder te vergroten. De code en demo's zijn beschikbaar op de projectpagina, wat de reproduceerbaarheid en adoptie in de gemeenschap faciliteert.