3DCodeVerse: Exploring 3D Worlds as Code

Stel je een wereld voor waarin het creëren van een driedimensionaal object niet een kwestie is van boetseren met klei of vormen slepen met een muis, maar van het schrijven van instructies, vergelijkbaar met hoe een componist een symfonie schrijft of een architect een blauwdruk ontwerpt. Dit is het domein van 3D-codering, een veld waar computerprogramma's fungeren als de instrumenten om digitale geometrie te bouwen, te definiëren hoe onderdelen bewegen en complete scènes samen te stellen. Jarenlang hebben onderzoekers geprobeerd kunstmatige intelligentie te leren deze instructies te schrijven, in de hoop de creatie van alles, van eenvoudige speeltjes tot complexe machines, te automatiseren. De uitdaging was altijd geweest dat hoewel computers uitstekend zijn in het volgen van regels, ze moeite hebben met het begrijpen van de fysieke realiteit die die regels beschrijven. Een programma kan een stoel genereren die er perfect uitziet op een scherm, maar die poten heeft die in de lucht zweven of gewrichten die fysiek niet kunnen buigen. Tot nu toe was er geen betrouwbare manier om machines te leren hun eigen werk te controleren, fouten in de fysica te detecteren en deze te herstellen zonder dat een mens moet ingrijpen om te zeggen: "Dat pootje is te lang."

Een team van onderzoekers heeft een nieuw systeem geïntroduceerd genaamd 3DCodeVerse, dat het spel verandert door 3D-creatie te behandelen als een proces van het schrijven, testen en verfijnen van code. In plaats van te vertrouwen op een mens om elk digitaal object te inspecteren, gebruikt dit systeem een team van kunstmatige intelligentie-agenten die samenwerken om de code te schrijven, de code uit te voeren en vervolgens de resultaten grondig te controleren. Als de code een stoel produceert met een zwevend poot, detecteert het systeem de fout, berekent exact hoe ver het poot van de grond verwijderd is, en instrueert de coderingsagent om de specifieke regel code te herschrijven om de fout te herstellen. Deze cyclus herhaalt zich automatisch, waardoor het systeem kwalitatief hoogwaardige, fysiek geldige 3D-inhoud kan genereren op een schaal die voorheen onmogelijk was. De onderzoekers bouwden een enorme bibliotheek van meer dan twee miljoen voorbeelden van werkende 3D-code om hun modellen te trainen, en ze creëerden een framework dat kan verifiëren of een gegenereerd object daadwerkelijk bestaat zoals het is beschreven.

De kern van deze prestatie is een dataset genaamd 3DCodeVerse-2M, die dient als een enorme trainingsgrond voor deze kunstmatige intelligentie-modellen. De onderzoekers verzamelden bestaande code uit diverse bronnen, zoals open-source bibliotheken voor 3D-ontwerp en procedurele generatie, en zetten deze om in een uniform formaat dat uitgevoerd en gecontroleerd kan worden. Ze gebruikten ook hun eigen geautomatiseerde systeem om nieuwe programma's te genereren, waarbij ze ervoor zorgden dat elk stuk code in de bibliotheek daadwerkelijk kon draaien en een resultaat kon produceren. Deze collectie bevat instructies voor het creëren van statische objecten zoals tafels, gearticuleerde objecten zoals robots met bewegende gewrichten, volledige virtuele scènes en zelfs complexe visuele effecten. Door hun modellen te trainen op deze diverse en geverifieerde bibliotheek, ontdekten de onderzoekers dat de kunstmatige intelligentie aanzienlijk beter werd in het schrijven van werkende code. Bij tests op een standaard reeks taken kon een model dat op deze data was verfijnd, de gegenereerde code bijna 93 procent van de tijd succesvol uitvoeren, een dramatische verbetering ten opzichte van modellen die deze training niet hadden gezien.

Om ervoor te zorgen dat de code niet alleen uitvoerbare resultaten produceert maar ook hoogwaardige 3D-inhoud, ontwikkelde het team een geavanceerd framework genaamd de 3DCodeVerse Harness. Dit systeem fungeert als een meerfasige werkplaats waarin verschillende AI-agenten specifieke rollen spelen. Eén agent plant de structuur van het object, waarbij een complexe aanvraag zoals "bouw een driepotige kruk" opdeelt in kleinere taken. Andere agenten schrijven de code voor elk onderdeel, terwijl een aparte agent optreedt als rechter en de gerenderde output inspecteert tegenover de oorspronkelijke aanvraag. Cruciaal is dat het systeem niet vertrouwt op menselijke ogen om fouten te vinden. Het gebruikt geautomatiseerde hulpmiddelen om het digitale object te meten, waarbij gecontroleerd wordt op problemen zoals onderdelen die elkaar niet raken, gewrichten die botsen of afmetingen die onjuist zijn. Als er een probleem wordt gevonden, genereert het systeem een specifieke herstelinstructie en stuurt deze terug naar de coderingsagent. Deze lus van schrijven, controleren en herstellen gaat door totdat het object aan alle criteria voldoet. In tests maakte dit geautomatiseerde verfijningsproces het systeem mogelijk om resultaten te produceren die door menselijke beoordelaars vaker werden verkozen dan in meer dan 90 procent van de gevallen vergeleken met een toonaangevende commerciële ontwerptool.

De onderzoekers demonstreerden ook dat deze aanpak werkt voor verschillende soorten 3D-creatie, van mechanische onderdelen tot geanimeerde scènes. Ze lieten zien dat het systeem een tekstbeschrijving kan nemen en een werkend programma kan produceren voor een robotarm die correct beweegt, of een virtuele kamer waar meubilair correct op de grond staat en verlicht is. In één specifieke toepassing gebruikten ze de gegenereerde 3D-code om videoproductie te sturen, waarbij ze ervoor zorgden dat de beweging van objecten in een video overeenkwam met de fysieke beperkingen die in de code zijn gedefinieerd. Deze verbinding tussen rigide, logische code en vloeiende visuele media suggereert een nieuwe manier om te controleren hoe digitale werelden worden gebouwd en geanimeerd. Het vermogen van het systeem om complexe, meerdelige projecten zonder menselijke tussenkomst af te handelen, markeert een belangrijke stap voorwaarts in het toegankelijk en schaalbaar maken van 3D-creatie.

De bevindingen suggereren dat de toekomst van 3D-ontwerp kan liggen in een partnerschap tussen menselijke creativiteit en geautomatiseerde verificatie. Door een manier te bieden waarop machines hun eigen werk kunnen controleren aan de hand van de wetten van de fysica en de vereisten van de gebruiker, hebben de onderzoekers een belangrijke flessenhals in het creatieve proces weggenomen. Het systeem raadt niet alleen in dat een object eruit zou moeten zien; het bouwt het, meet het en corrigeert het totdat het juist is. Deze capaciteit opent de deur naar het genereren van enorme hoeveelheden aangepaste 3D-inhoud voor toepassingen in robotica, entertainment en engineering, allemaal gestuurd door eenvoudige tekstinstructies. Het werk legt een nieuw fundament voor het vakgebied en bewijst dat kunstmatige intelligentie, met de juiste instrumenten en trainingsdata, niet alleen de code voor 3D-werelden kan schrijven, maar ook kan garanderen dat die werelden zinvol zijn.