BoxSplitGen: A Generative Model for 3D Part Bounding Boxes in Varying Granularity

Each language version is independently generated for its own context, not a direct translation.

🎨 BOXSPLITGEN : La magie de sculpter le 3D avec des boîtes

Imaginez que vous êtes un architecte ou un sculpteur. Quand vous créez quelque chose de nouveau, vous ne commencez pas par dessiner chaque vis ou chaque courbe de détail. Vous commencez par une idée vague, un gros bloc, et vous affinez petit à petit.

C'est exactement ce que BOXSPLITGEN permet de faire avec l'intelligence artificielle en 3D. C'est un outil qui aide l'ordinateur à créer des objets (comme une chaise, une voiture ou un avion) en imitant la façon dont l'esprit humain fonctionne : du gros au petit.

Voici comment cela fonctionne, étape par étape, avec des analogies simples.

1. Le problème : Les ordinateurs sont trop "bêtes" pour l'imagination

Aujourd'hui, les IA peuvent générer des images ou des objets 3D à partir de mots (par exemple : "crée-moi une chaise"). Mais c'est comme commander un plat dans un restaurant sans pouvoir dire "moins de sel" ou "plus de fromage". Vous obtenez ce que l'IA décide, pas exactement ce que vous voulez. De plus, si vous voulez changer juste le dossier de la chaise, c'est très difficile.

2. La solution : Le jeu des "Boîtes Magiques"

Les auteurs proposent une méthode basée sur des boîtes englobantes (des cubes virtuels qui entourent les objets).

Imaginez que vous avez un gros cube de pâte à modeler.

Le début (Le Gros Cube) : Tout commence avec un seul gros cube qui contient l'idée de votre objet.
La division (Le "Split") : Au lieu de sculpter, vous demandez à l'IA de diviser ce cube.
- Exemple : Vous avez un cube "Chaise". L'IA le divise en deux : un cube pour le "Siège" et un cube pour le "Dossier".
- Ensuite, vous pouvez diviser le cube "Dossier" en deux autres : "Haut du dossier" et "Bas du dossier".
- Vous continuez ainsi, comme un arbre généalogique de boîtes, jusqu'à avoir des dizaines de petits cubes qui décrivent chaque détail de l'objet.

3. Les deux super-pouvoirs de l'IA

Pour que ce système fonctionne, l'IA utilise deux "cerveaux" (modèles) différents qui travaillent en équipe :

Le Chef de Chantier (BOXSPLITGEN) :
Son travail est de décider quelle boîte diviser et comment la diviser.
- L'analogie : Imaginez un chef d'orchestre. Il regarde l'ensemble des boîtes actuelles et dit : "Toi, la grande boîte du bas, tu vas te séparer en deux pour faire les roues de la voiture". Il apprend à faire cela en regardant des milliers d'exemples d'objets qui ont été "découpés" de cette manière.
- C'est ce qui permet à l'utilisateur d'interagir : il peut dire "Je veux plus de détails ici" et l'IA divise la boîte correspondante.
Le Sculpteur (BOX2SHAPE) :
Une fois que l'utilisateur a créé sa structure de boîtes (le squelette), le Sculpteur intervient.
- L'analogie : C'est comme un potier qui prend une armature en fil de fer (vos boîtes) et y ajoute de l'argile pour créer la forme finale lisse et réaliste.
- Ce modèle est très puissant car il utilise les connaissances d'une IA déjà très avancée, mais il est capable de respecter strictement la forme de vos boîtes. Si vos boîtes forment un "L", l'IA ne fera pas un "O".

4. Pourquoi c'est génial ? (L'expérience utilisateur)

Le papier montre une démo interactive. Imaginez un écran où vous voyez un objet 3D fait de cubes colorés.

Vous cliquez sur un cube et dites "Divise-moi".
L'IA crée deux nouveaux cubes plus petits.
Vous pouvez déplacer ces cubes, les tourner, ou les diviser encore.
À chaque mouvement, l'objet 3D final se met à jour instantanément pour s'adapter à vos nouvelles boîtes.

C'est comme si vous jouiez à un jeu de construction (type Lego ou Minecraft) mais que l'IA remplissait automatiquement les détails manquants pour que ça ressemble à un vrai objet.

En résumé

BOXSPLITGEN, c'est comme donner à l'IA un crayon et une gomme, au lieu de lui donner juste un bouton "Générer".

Au lieu de dire "Fais-moi une chaise", vous dites "Voici le gros bloc, divise-le ici, et là".
Vous passez de l'abstrait (un gros cube) au concret (des détails précis) en guidant l'IA pas à pas.

C'est une avancée majeure pour rendre la création 3D plus intuitive, plus humaine et beaucoup plus contrôlable, permettant aux artistes et aux designers de collaborer avec l'IA plutôt que de simplement lui donner des ordres.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Bien que les modèles génératifs 3D aient connu des avancées spectaculaires (via des représentations latentes, des nuages de points, des voxels, etc.), ils peinent souvent à offrir un contrôle intuitif et interactif pour guider le processus créatif humain. La créativité humaine suit généralement un processus perceptif qui va de l'abstrait au détail (du grossier au fin). Cependant, les modèles actuels manquent de mécanismes pour assister cette transition progressive, en particulier pour affiner des abstractions 3D.

Les approches conditionnelles actuelles, basées sur des prompts textuels, offrent un contrôle spatial limité. Les méthodes utilisant des boîtes englobantes (bounding boxes) existent, mais elles ne permettent généralement pas de faire varier la granularité (le niveau de détail) de manière interactive. Il existe un besoin crucial d'un cadre permettant aux utilisateurs de commencer par une forme grossière (une seule boîte) et de la diviser itérativement pour révéler des détails structurels complexes, mimant ainsi la hiérarchie naturelle de la perception visuelle humaine.

2. Méthodologie : Le Cadre BOXSPLITGEN

Les auteurs proposent un cadre interactif composé de deux modèles génératifs principaux qui fonctionnent en tandem :

A. Modèle de Génération de Découpage de Boîtes (BOXSPLITGEN)

Ce modèle est responsable de la génération de collections de boîtes englobantes 3D avec une granularité variable. Il apprend le processus inverse de l'agrégation hiérarchique (fusion de boîtes) : le découpage itératif.

Représentation Hiérarchique : Une forme 3D est représentée comme un arbre binaire. La racine est une unité cubique englobante. Chaque nœud interne (boîte "pivot") est divisé en deux nœuds enfants (boîtes plus fines).
Processus de Génération (Markovien) : À chaque étape de découpe $s$ , le modèle transforme un ensemble de boîtes $\mathcal{B}_s$ en $\mathcal{B}_{s+1}$ en remplaçant une boîte pivot $b_v$ par deux nouvelles boîtes enfants $C(b_v)$ .
Architecture en Deux Étapes :
1. Classificateur de Pivot (Pivot Classifier) : Un réseau de classification basé sur l'architecture Transformer qui apprend la distribution catégorielle $p(b_v | \mathcal{B}_s)$ . Il sélectionne quelle boîte parmi l'ensemble actuel doit être divisée.
2. Modèle de Diffusion pour les Boîtes Enfants (Child-Boxes Diffusion) : Un modèle de diffusion conditionnel qui apprend la distribution des deux nouvelles boîtes $p(C(b_v) | b_v, \mathcal{B}_s)$ . Il prend en entrée l'ensemble des boîtes actuelles et l'indication du pivot à diviser pour générer les deux nouvelles boîtes.
Pourquoi pas un modèle séquentiel type GPT ? Le processus de découpe est incompatible avec les modèles de génération de séquences classiques car la boîte pivot est supprimée après la division. L'ensemble des boîtes à une étape intermédiaire n'est pas un sous-ensemble de l'ensemble final, ce qui brise la logique de prédiction de tokens séquentiels.

B. Modèle de Génération de Forme à partir de Boîtes (BOX2SHAPE)

Une fois l'ensemble de boîtes désiré obtenu (à un niveau de granularité spécifique), ce modèle génère la forme 3D finale (maillage) alignée sur ces boîtes.

Base : Le modèle est basé sur 3DShape2VecSet, un modèle de diffusion 3D à l'état de l'art qui apprend des priors de haute qualité.
Adaptation Conditionnelle : Les auteurs utilisent une approche inspirée de ControlNet. Contrairement à des travaux précédents qui convertissent les boîtes en images multi-vues (comme Spice-E), BOXSPLITGEN encode directement les boîtes englobantes dans la représentation latente du modèle 3DShape2VecSet via une couche d'encodage apprenable.
Avantage : Cette méthode préserve les priors de haute fidélité du modèle de base tout en permettant un conditionnement strict par les boîtes, assurant une meilleure adhérence géométrique.

3. Contributions Clés

Premier modèle génératif pour des boîtes englobantes 3D à granularité variable : Contrairement aux méthodes précédentes qui génèrent un nombre fixe de parties ou une structure fixe, ce cadre permet à l'utilisateur de contrôler le niveau de détail (du grossier au fin) via le découpage itératif.
Architecture hybride Pivot-Diffusion : La proposition d'un modèle à deux étapes (classification du pivot + diffusion des enfants) pour gérer la nature dynamique et non-séquentielle du découpage de boîtes, surpassant les approches de prédiction de tokens ou d'inpainting simple.
Intégration efficace de ControlNet pour les boîtes 3D : Une méthode simple et efficace pour conditionner un modèle de diffusion 3D avancé (3DShape2VecSet) directement avec des paramètres de boîtes, évitant les conversions complexes en images.
Interface Interactive : Démonstration d'un système où les utilisateurs peuvent diviser, fusionner et manipuler des boîtes pour explorer des formes 3D variées et les éditer localement.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset ShapeNet pour plusieurs catégories (chaises, avions, tables, etc.).

Génération de Découpage (Box-Splitting) :
- Comparé à un modèle de prédiction de tokens (type GPT) et à une approche d'inpainting avec un modèle de diffusion non conditionnel, le modèle BOXSPLITGEN (Classificateur + Diffusion conditionnelle) obtient les meilleurs résultats.
- Métriques : Il surpasse les baselines en termes de couverture (COV), de distance de correspondance minimale (MMD) et de précision 1-NN, indiquant une meilleure fidélité et diversité des abstractions de forme.
- Le classificateur de pivot s'avère crucial : le choix aléatoire du pivot dégrade significativement la qualité.
Génération de Forme Conditionnée (Box-to-Shape) :
- Comparé à Spice-E (qui utilise Shape-E) et à une version de 3DShape2VecSet utilisant un mécanisme de "Gated" (portes) au lieu de ControlNet.
- BOX2SHAPE surpasse les deux approches concurrentes. Il génère des formes de plus haute fidélité et, surtout, une bien meilleure alignement géométrique avec les boîtes d'entrée (mesuré par TOV, VIoU, Box-CD, Box-EMD).
- Les résultats qualitatifs montrent que Spice-E manque souvent de détails fins et que le mécanisme de "Gated" échoue à s'adapter correctement aux conditions de boîtes variées.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la génération 3D interactive et contrôlable.

Alignement avec la cognition humaine : En imitant le processus de pensée "du grossier au fin", le système rend la création 3D plus intuitive pour les humains, permettant une exploration créative qui n'était pas possible avec les modèles de génération directe (text-to-3D) ou les modèles à structure fixe.
Flexibilité : La capacité de modifier la granularité permet aux utilisateurs de concevoir rapidement des concepts globaux puis de les affiner sans repartir de zéro.
Fondation pour l'édition : Le cadre ouvre la voie à des outils d'édition 3D puissants où la manipulation de primitives géométriques simples (boîtes) se traduit directement par des modifications complexes et réalistes de la forme 3D finale.

En résumé, BOXSPLITGEN comble le fossé entre l'abstraction structurelle et la génération de formes réalistes, offrant un contrôle précis et hiérarchique sur la création 3D.