MultiCube: Compositional 3D Generation With Part-Level Semantic and Spatial Control

La création d'objets 3D numériques pour les films, les jeux vidéo et les mondes virtuels a traditionnellement été un métier de l'artisanat laborieux. Les artistes passent des heures à sculpter, peindre et assembler manuellement des modèles complexes, en veillant à ce que chaque roue, aile ou membre soit placé exactement là où il doit être. Ces dernières années, l'intelligence artificielle a commencé à automatiser ce processus, permettant aux ordinateurs de générer des formes 3D à partir de simples descriptions textuelles. Cependant, ces premiers systèmes d'IA produisent souvent des objets solides et monoblocs qui manquent de la structure interne requise pour un usage professionnel. Si un développateur a besoin d'un personnage avec des bras mobiles ou d'un véhicule avec des roues détachables, un modèle généré par une IA standard est souvent inutile car il n'est qu'un seul bloc continu de géométrie. Le défi pour les chercheurs a été d'apprendre aux ordinateurs non seulement à créer une forme, mais à comprendre qu'une forme est composée de parties distinctes et significatives qui peuvent être contrôlées individuellement.

Une équipe de chercheurs a introduit un nouveau système appelé MultiCube, conçu pour résoudre ce problème en donnant aux créateurs un contrôle précis sur l'identité et l'emplacement de chaque partie au sein d'un objet 3D généré. Au lieu de simplement demander à un ordinateur de « faire un robot », les utilisateurs peuvent désormais spécifier exactement quelles parties ils veulent — comme une tête, deux bras et quatre roues — et dire au système exactement où chaque partie doit se situer dans l'espace. Le système génère ensuite un objet 3D complet où chaque composant est une pièce distincte et éditable, parfaitement alignée avec les instructions de l'utilisateur. Cette approche comble le fossé entre la liberté créative de la génération textuelle et les exigences structurelles rigides de la modélisation 3D professionnelle.

L'innovation centrale de MultiCube réside dans sa manière d'interpréter les instructions. Les méthodes précédentes pouvaient prendre une consigne textuelle et une idée approximative de l'emplacement des éléments, mais elles avaient souvent du mal à maintenir les parties distinctes ou au bon endroit. MultiCube fonctionne en acceptant trois entrées spécifiques : une description de l'objet global, une liste des pièces spécifiques nécessaires, et un ensemble de boîtes invisibles qui définissent la taille et la position de chaque partie. Imaginez un utilisateur décrivant une « lampe de poche en métal robuste » et énumérant ses composants comme une poignée, un interrupteur et une lentille. Il dessine ensuite trois boîtes dans un espace virtuel : une pour la poignée, une pour l'interrupteur et une pour la lentille. Le système utilise ces boîtes comme un guide strict, garantissant que la poignée générée rentre dans la première boîte, l'interrupteur dans la seconde et la lentille dans la troisième, tout en ayant l'aspect d'une lampe de poche cohérente.

Pour y parvenir, les chercheurs ont construit un processus en deux étapes. D'abord, l'ordinateur génère une forme unique et solide qui contient toutes les parties demandées dans leurs emplacements corrects. Il y parvient en apprenant à associer la description textuelle de chaque partie à la boîte spécifique qui lui est assignée. Un composant spécial du système, appelé Part Layout Adapter (Adaptateur de Disposition de Parties), agit comme un traducteur qui maintient les informations de chaque partie séparées, empêchant l'ordinateur de confondre quelle partie appartient à quelle boîte. Une fois cette forme solide créée, le système passe à la seconde étape, où il sépare soigneusement l'objet solide en les pièces individuelles demandées par l'utilisateur. Cela garantit que le résultat final n'est pas seulement un maillage unique, mais une collection de modèles 3D distincts qui s'assemblent parfaitement.

Les résultats de cette méthode constituent une amélioration significative par rapport aux outils existants. Lors de tests, MultiCube a été capable de générer des objets complexes comme un revolver à six coups avec un barillet apparent, un monstre aigle majestueux avec plusieurs têtes, ou un robot mécanique avec des membres spécifiques, tout en respectant strictement les instructions spatiales de l'utilisateur. Comparé à d'autres systèmes, MultiCube a produit des formes beaucoup plus précises par rapport à la disposition prévue et a présenté moins d'erreurs, telles que des chevauchements de pièces ou des pièces manquantes. Le système est également assez flexible pour gérer des changements ; si un utilisateur décide de remplacer les jambes d'une créature par des ailes, ou d'allonger une queue, le système peut régénérer l'objet avec les nouvelles parties tout en conservant le reste de la structure intacte.

Au-delà des objets statiques, cette technologie ouvre la porte à des applications plus dynamiques. Parce que le système génère des objets sous forme de pièces distinctes et étiquetées, ces parties peuvent être immédiatement utilisées pour l'animation. Un personnage créé avec MultiCube peut voir ses bras et ses jambes bouger indépendamment sans avoir besoin du processus fastidieux du rigging manuel, qui exige normalement des artistes de définir manuellement comment les articulations se plient et pivotent. Les chercheurs ont également démontré que le système peut être entièrement automatisé ; en le connectant à un grand modèle de langage, un utilisateur peut simplement taper une description telle que « une chambre douillette », et le système identifiera automatiquement les pièces nécessaires — lit, table de chevet, lampe — et les disposera selon une configuration logique sans aucun dessin de boîte manuel.

Bien que le système soit puissant, les chercheurs reconnaissent qu'il n'est pas parfait. Si les boîtes définissant les parties sont dessinées d'une manière qui n'a aucun sens physique, comme placer une roue à l'intérieur d'une tête, l'objet résultant peut paraître étrange. De plus, le système produit occasionnellement des parties qui se chevauchent légèrement, bien que cela soit rare. Malgré ces limitations mineures, ce travail représente une étape majeure pour rendre la création 3D accessible et contrôlable. En donnant aux utilisateurs la capacité de dicter non seulement l'apparence d'un objet, mais aussi la façon dont il est construit et où ses pièces se trouvent, MultiCube rapproche l'intelligence artificielle du niveau de contrôle requis par les artistes professionnels, transformant de simples textes et croquis rudimentaires en des actifs 3D complexes et utilisables.