MultiCube: Compositional 3D Generation With Part-Level Semantic and Spatial Control

Het creëren van digitale 3D-objecten voor films, videogames en virtuele werelden is traditioneel een arbeidsintensief ambacht geweest. Kunstenaars besteden uren aan het handmatig boetseren, schilderen en assembleren van complexe modellen, waarbij ze ervoor zorgen dat elk wiel, elke vleugel of elk ledemaat precies wordt geplaatst waar het moet zijn. In de afgelopen jaren heeft kunstmatige intelligentie dit proces begonnen te automatiseren, waardoor computers 3D-vormen kunnen genereren vanuit eenvoudige tekstbeschrijvingen. Deze vroege AI-systemen produceren echter vaak solide, enkelvoudige objecten die niet beschikken over de interne structuur die vereist is voor professioneel gebruik. Als een ontwikkelaar een personage nodig heeft met beweegbare armen of een voertuig met afneembare wielen, is een standaard door AI gegenereerd model vaak nutteloos omdat het slechts één continu blok geometrie is. De uitdaging voor onderzoekers is geweest om computers niet alleen te leren hoe ze een vorm moeten maken, maar ook om te begrijpen dat een vorm bestaat uit verschillende, betekenisvolle onderdelen die individueel gecontroleerd kunnen worden.

Een team van onderzoekers heeft een nieuw systeem geïntroduceerd genaamd MultiCube, ontworpen om dit probleem op te lossen door makers precieze controle te geven over zowel de identiteit als de locatie van elk onderdeel binnen een gegenereerd 3D-object. In plaats van simpelweg de computer te vragen om "een robot te maken", kunnen gebruikers nu exact specificeren welke onderdelen ze willen—zoals een hoofd, twee armen en vier wielen—en de computer vertellen waar elk onderdeel precies in de ruimte moet zitten. Het systeem genereert vervolgens een compleet 3D-object waarbij elk component een apart, bewerkbaar stuk is, dat perfect is afgestemd op de instructies van de gebruiker. Deze aanpak overbrugt de kloof tussen de creatieve vrijheid van tekstgebaseerde generatie en de rigide structurele vereisten van professionele 3D-modellering.

De kerninnovatie van MultiCube ligt in de manier waarop het instructies interpreteert. Eerdere methoden namen misschien een tekstprompt en een ruwe idee over waar dingen komen, maar ze hebben vaak moeite om de onderdelen onderscheidend te houden of op de juiste plek te krijgen. MultiCube werkt door drie specifieke inputs te accepteren: een beschrijving van het algemene object, een lijst van de benodigde specifieke onderdelen, en een reeks onzichtbare boxen die de grootte en positie van elk onderdeel definiëren. Stel je voor dat een gebruiker een "stevige metalen zaklamp" beschrijft en de componenten opsomt als een handvat, een schakelaar en een lens. Vervolgens tekent hij drie boxen in een virtuele ruimte: één voor het handvat, één voor de schakelaar en één voor de lens. Het systeem gebruikt deze boxen als een strikte gids, waardoor wordt gegarandeerd dat het gegenereerde handvat binnen de eerste box past, de schakelaar in de tweede en de lens in de derde, terwijl het nog steeds een samenhangende zaklamp blijft.

Om dit te bereiken, hebben de onderzoekers een tweetraps proces gebouwd. Eerst genereert de computer een enkele, solide vorm die alle gevraagde onderdelen op de juiste locaties bevat. Dit doet het door te leren de tekstbeschrijving van elk onderdeel te associëren met de specifieke box die eraan is toegewezen. Een speciaal onderdeel in het systeem, een Part Layout Adapter genoemd, fungeert als een vertaler die de informatie voor elk onderdeel gescheiden houdt, om te voorkomen dat de computer in de war raakt over welk deel bij welke box hoort. Zodra deze solide vorm is gecreëerd, gaat het systeem over naar de tweede stap, waarbij het de solide vorm zorgvuldig weer scheidt in de individuele onderdelen die de gebruiker heeft aangevraagd. Dit zorgt ervoor dat het eindresultaat niet slechts een enkel mesh is, maar een verzameling van afzonderlijke 3D-modellen die perfect in elkaar passen.

De resultaten van deze methode zijn een significante verbetering ten opzichte van bestaande tools. In tests was MultiCube in staat om complexe objecten te genereren zoals een zes schutters revolver met een blootgestelde cilinder, een majestueuze adelaarsmonster met meerdere koppen, of een mechanische robot met specifieke ledematen, terwijl het zich strikt hield aan de ruimtelijke instructies van de gebruiker. Vergeleken met andere systemen produceerde MultiCube vormen die veel nauwkeuriger waren aan de beoogde lay-out en minder fouten vertoonden, zoals overlappende of ontbrekende onderdelen. Het systeem is ook flexibel genoeg om veranderingen te verwerken; als een gebruiker besluit de benen van een wezen te vervangen door vleugels, of een staart te verlengen, kan het systeem het object regenereren met de nieuwe onderdelen terwijl de rest van de structuur intact blijft.

Buiten statische objecten opent deze technologie de deur naar meer dynamische toepassingen. Omdat het systeem objecten genereert als afzonderlijke, gelabelde stukken, kunnen deze onderdelen direct worden gebruikt voor animatie. Een personage dat met MultiCube is gemaakt, kan zijn armen en benen onafhankelijk bewegen zonder de noodzaak voor het tijdrovende handmatige rigging-proces, een proces dat gewoonlijk vereist dat kunstenaars handmatig definiëren hoe gewrichten buigen en draaien. De onderzoekers hebben ook gedemonstreerd dat het systeem volledig geautomatiseerd kan worden; door het te koppelen aan een groot taalmodel (LLM), kan een gebruiker simpelweg een beschrijving typen zoals "een gezellige slaapkamer", en het systeem zal automatisch de benodigde onderdelen—bed, nachtkastje, lamp—bepalen en ze in een logische lay-out arrangeren zonder enige handmatige box-tekening.

Hoewel het systeem krachtig is, erkennen de onderzoekers dat het niet perfect is. Als de boxen die de onderdelen definiëren op een manier worden getekend die fysiek geen zin heeft, zoals het plaatsen van een wiel binnen een hoofd, kan het resulterende object er vreemd uitzien. Daarnaast produceert het systeem incidenteel onderdelen die enigszins overlappen, hoewel dit zeldzaam is. Ondanks deze kleine beperkingenheden vertegenwoordigt het werk een grote stap voorwaarts in het toegankelijk en controleerbaar maken van 3D-creatie. Door gebruikers de mogelijkheid te geven om niet alleen te dicteren hoe een object eruitziet, maar ook hoe het is opgebouwd en waar de stukken heen gaan, brengt MultiCube kunstmatige intelligentie dichter bij het niveau van controle dat professionele kunstenaars vereisen, waardoor eenvoudige tekst en ruwe schetsen worden omgezet in complexe, bruikbare 3D-assets.