MultiCube: Compositional 3D Generation With Part-Level Semantic and Spatial Control

Die Erstellung digitaler 3D-Objekte für Filme, Videospiele und virtuelle Welten war traditionell ein arbeitsintensives Handwerk. Künstler verbringen Stunden damit, komplexe Modelle manuell zu modellieren, zu bemalen und zusammenzusetzen, wobei sie sicherstellen, dass jedes Rad, jeder Flügel oder jedes Glied genau dort platziert wird, wo es hingehört. In den letzten Jahren hat künstliche Intelligenz begonnen, diesen Prozess zu automatisieren, indem sie Computern ermöglicht, 3D-Formen aus einfachen Textbeschreibungen zu generieren. Diese frühen KI-Systeme produzieren jedoch oft solide, einteilige Objekte, denen es an der internen Struktur fehlt, die für den professionellen Einsatz erforderlich ist. Wenn ein Entwickler einen Charakter mit beweglichen Armen oder ein Fahrzeug mit abnehmbaren Rädern benötigt, ist ein Standard-KI-generiertes Modell oft unbrauchbar, da es nur ein einzendes, kontinuierliches Gebilde ist. Die Herausforderung für Forscher bestand darin, Computern nicht nur beizubringen, eine Form zu erstellen, sondern zu verstehen, dass eine Form aus distinkten, bedeutungsvollen Teilen besteht, die einzeln gesteuert werden können.

Ein Forschungsteam hat ein neues System namens MultiCube vorgestellt, das darauf ausgelegt ist, dieses Problem zu lösen, indem es Schöpfern die präzise Kontrolle über die Identität und den Ort jedes Teils innerhalb eines generierten 3D-Objekts gibt. Anstatt den Computer lediglich zu bitten, „einen Roboter zu bauen“, können Nutzer nun genau spezifizieren, welche Teile sie wünschen – wie etwa einen Kopf, zwei Arme oder vier Räder – und dem System exakt sagen, wo sich jedes Teil im Raum befinden soll. Das System generiert daraufhin ein vollständiges 3D-Objekt, bei dem jede Komponente ein separates, editierbares Stück ist, das perfekt mit den Anweisungen des Nutzers übereinstimmt. Dieser Ansatz überbrückt die Lücke zwischen der kreativen Freiheit der textbasierten Generierung und den starren strukturellen Anforderungen des professionellen 3D-Modellierens.

Die Kerninnovation von MultiCube liegt darin, wie es Anweisungen interpretiert. Frühere Methoden nahmen zwar einen Text-Prompt und eine grobe Vorstellung davon, wo Dinge liegen sollten, hatten aber oft Schwierigkeiten, die Teile voneinander abzugrenzen oder an der richtigen Stelle zu halten. MultiCube arbeitet, indem es drei spezifische Eingaben akzeptiert: eine Beschreibung des Gesamtobjekts, eine Liste der benötigten spezifischen Teile und eine Reihe unsichtbarer Boxen, die die Größe und Position jedes Teils definieren. Stellen Sie sich vor, ein Nutzer beschreibt eine „robuste Metall-Taschenlampe“ und listet deren Komponenten als Griff, Schalter und Linse auf. Er zeichnet dann drei Boxen in einem virtuellen Raum: eine für den Griff, eine für den Schalter und eine für die Linse. Das System nutzt diese Boxen als strikte Orientierungshilfe und stellt sicher, dass der generierte Griff in die erste Box passt, der Schalter in die zweite und die Linse in die dritte, während das Ganze dennoch wie eine kohärente Taschenlampe aussieht.

Um dies zu erreichen, haben die Forscher einen zweistufigen Prozess entwickelt. Zuerst generiert der Computer eine einzige, solide Form, die alle angeforderten Teile an ihren korrekten Positionen enthält. Dies geschieht, indem das System lernt, die Textbeschreibung jedes Teils mit der ihm zugewiesenen Box zu verknüpfen. Eine spezielle Komponente im System, der sogenannte Part Layout Adapter, fungiert als Übersetzer, der die Informationen für jedes Teil getrennt hält, um zu verhindern, dass der Computer verwirrt wird, welches Teil in welche Box gehört. Sobald diese solide Form erstellt wurde, geht das System zum zweiten Schritt über, in dem es das solide Objekt sorgfältig wieder in die vom Nutzer gewünschten Einzelteile zerlegt. Dies stellt sicher, dass das Endergebnis nicht nur ein einzelnes Mesh ist, sondern eine Sammlung distinkter 3D-Modelle, die perfekt ineinanderpassen.

Die Ergebnisse dieser Methode stellen eine signifikante Verbesserung gegenüber bestehenden Werkzeugen dar. In Tests konnte MultiCube komplexe Objekte wie einen Revolver mit offenliegender Trommel, ein majestätisches Adler-Monster mit mehreren Köpfen oder einen mechanischen Roboter mit spezifischen Gliedmaßen generieren und dabei die räumlichen Anweisungen des Nutzers strikt einhalten. Im Vergleich zu anderen Systemen erzeugte MultiCube Formen, die wesentlich genauer dem beabsichtigten Layout entsprachen und weniger Fehler aufwiesen, wie etwa überlappende oder fehlende Teile. Das System ist zudem flexibel genug, um Änderungen zu verarbeiten; wenn ein Nutzer beschließt, die Beine einer Kreatur durch Flügel zu ersetzen oder einen Schwanz zu verlängern, kann das System das Objekt mit den neuen Teilen regenerieren, während die restliche Struktur intakt bleibt.

Über statische Objekte hinaus eröffnet diese Technologie die Tür zu dynamischeren Anwendungen. Da das System Objekte als separate, beschriftete Stücke generiert, können diese Teile unmittelbar für Animationen verwendet werden. Ein mit MultiCube erstellter Charakter kann seine Arme und Beine unabhängig bewegen, ohne dass der mühsame Prozess des manuellen Riggings erforderlich ist, bei dem Künstler normalerweise manuell definieren müssen, wie Gelenke beugen und rotieren. Die Forscher demonstrierten auch, dass das System vollautomatisiert werden kann: Durch die Verbindung mit einem Large Language Model kann ein Nutzer einfach eine Beschreibung wie „ein gemütliches Schlafzimmer“ eingeben, und das System wird automatisch die notwendigen Teile – Bett, Nachttisch, Lampe – ermitteln und sie in einem logischen Layout anordnen, ohne dass manuelle Boxen gezeichnet werden müssen.

Obwohl das System leistungsstark ist, räumen die Forscher ein, dass es nicht perfekt ist. Wenn die Boxen, die die Teile definieren, auf eine Weise gezeichnet werden, die physikalisch keinen Sinn ergibt, wie etwa das Platzieren eines Rades innerhalb eines Kopfes, wirkt das resultierende Objekt seltsam. Zudem treten gelegentlich Überlappungen zwischen Teilen auf, wenngleich dies selten vorkommt. Trotz dieser geringfügigen Einschränkungen stellt die Arbeit einen bedeutenden Fortschritt dar, um die 3D-Kreation zugänglich und kontrollierbar zu machen. Indem Multi-Cube den Nutzern die Möglichkeit gibt, nicht nur festzulegen, wie ein Objekt aussieht, sondern auch, wie es aufgebaut ist und wohin seine Teile gehören, bringt die KI die Kunst näher an das Maß an Kontrolle, das professionelle Künstler benötigen – und verwandelt so einfachen Text und grobe Skizzen in komplexe, nutzbare 3D-Assets.