Mamba-CAD: State Space Model For 3D Computer-Aided Design Generative Modeling

Ce papier présente Mamba-CAD, un modèle génératif auto-supervisé basé sur l'architecture Mamba et les réseaux antagonistes génératifs, conçu pour créer des modèles CAO complexes à séquences paramétriques longues, accompagné d'un nouveau jeu de données de 77 078 modèles.

L'essentiel

🏗️ Le Problème : Construire des châteaux de sable trop complexes

Imaginez que vous voulez construire un objet en 3D (comme une voiture ou un meuble) sur un ordinateur. Pour les ingénieurs, chaque objet est en réalité une recette très précise. Cette recette est une liste d'instructions : "Trace un cercle", "Étire-le vers le haut", "Coupe un coin", etc.

C'est ce qu'on appelle une séquence de commandes CAD.

Le problème, c'est que les objets industriels réels sont très complexes. Leurs recettes sont donc énormes.

• Les anciens modèles d'intelligence artificielle (comme ceux basés sur le "Transformer") sont un peu comme des enfants qui ont une mémoire courte. Ils peuvent bien dessiner une chaise simple (une recette de 20 étapes), mais dès qu'il faut construire un moteur de voiture (une recette de 100 étapes), ils se perdent, oublient le début de la phrase et finissent par créer des objets illisibles ou brisés.

🐍 La Solution : Mamba-CAD, le "Serpent" à longue mémoire

Les chercheurs de l'Université Fudan (à Shanghai) ont créé Mamba-CAD. Pour comprendre pourquoi c'est spécial, il faut regarder son nom.

• L'analogie du Serpent (Mamba) : Contrairement aux modèles précédents qui regardent tout d'un coup (et s'essoufflent), Mamba est basé sur un modèle appelé "State Space Model". Imaginez un serpent qui avance. Il ne regarde pas tout le chemin d'un coup, mais il garde en tête où il est allé et où il va, étape par étape, sans jamais oublier le début de son trajet.
• La conséquence : Mamba-CAD peut lire et comprendre des "recettes" de construction très, très longues sans se perdre. Il est capable de gérer des séquences de commandes beaucoup plus complexes que ses prédécesseurs.

🎓 Comment ça marche ? (Le processus en 3 étapes)

L'équipe a construit Mamba-CAD comme un apprenti architecte qui suit un entraînement rigoureux :

1. L'Entraînement "Miroir" (Pré-entraînement) :
   Imaginez que vous donnez à l'IA une photo d'un objet et que vous lui demandez de le reconstruire à l'identique, brique par brique. Mamba-CAD apprend d'abord à lire une séquence de commandes, à la comprendre profondément, et à la redécrire exactement comme elle était. C'est comme si l'IA apprenait à lire et écrire parfaitement avant d'essayer d'inventer des histoires.

2. L'Entraînement "Créatif" (GAN) :
   Une fois qu'elle sait bien lire, on lui apprend à inventer. On lui donne un peu de "bruit" (du hasard, comme du sable lancé au vent) et on lui demande de transformer ce chaos en une structure logique. Pour cela, on utilise un système de duel :

   • Un Générateur (l'artiste) qui essaie de créer de fausses recettes.
   • Un Discriminateur (le critique) qui essaie de repérer les fausses recettes.
     Ils s'entraînent l'un contre l'autre jusqu'à ce que l'artiste soit si bon que le critique ne peut plus distinguer le vrai du faux.

3. La Création Finale :
   Maintenant, l'IA peut prendre un peu de hasard pur et générer une séquence de commandes longue et complexe, que n'importe quel logiciel de CAO (comme AutoCAD) peut lire pour construire un objet 3D réel.

📚 Le Nouveau Livre de Recettes (Le Dataset)

Il y avait un gros problème : les livres de recettes existants (les bases de données publiques) ne contenaient que des objets simples (des chaises, des cubes). Pour entraîner un "serpent" capable de gérer des longs trajets, il faut des routes longues !

Les chercheurs ont donc dû créer leur propre livre de recettes.

• Ils ont filtré des milliers d'objets existants.
• Ils ont gardé uniquement les plus complexes (ceux avec plus de 60 étapes, jusqu'à 128 !).
• Résultat : Une nouvelle base de données de 77 000 objets complexes qui servira de référence pour la communauté scientifique.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Quand on compare Mamba-CAD aux autres modèles :

• Précision : Il reconstruit les objets avec une précision quasi parfaite (99,9 %), là où les autres font des erreurs.
• Longueur : Il réussit à générer des objets avec des séquences de commandes très longues (en moyenne 38 étapes, contre 27 pour les autres).
• Validité : Ses créations sont beaucoup plus souvent "utilisables" (elles ne s'effondrent pas quand on essaie de les construire).

En résumé

Mamba-CAD, c'est comme passer d'un enfant qui peut réciter une petite comptine, à un grand écrivain capable d'écrire un roman complexe sans oublier le début de l'histoire. Grâce à son architecture inspirée du serpent (Mamba) et à une nouvelle bibliothèque d'objets complexes, il ouvre la porte à la création automatique de designs industriels réalistes et détaillés par l'intelligence artificielle.

Résumé technique

1. Problématique

La modélisation générative assistée par ordinateur (CAO) est cruciale pour l'industrie (manufacture, ingénierie, architecture). Les modèles CAO sont souvent représentés par des séquences paramétriques (une série de commandes et de paramètres définissant la logique de conception, comme un cylindre défini par un rayon et une hauteur).

Cependant, les modèles industriels complexes, en particulier les composants, nécessitent des séquences paramétriques très longues pour être définis. Les méthodes existantes, basées principalement sur l'architecture Transformer, peinent à modéliser efficacement ces séquences longues en raison de la complexité computationnelle de l'attention et des limitations de la longueur de contexte. De plus, les jeux de données de référence actuels (comme DeepCAD) contiennent majoritairement des séquences courtes (moyenne de 15 commandes, max 60), ce qui ne permet pas d'évaluer ou d'entraîner des modèles capables de gérer la complexité industrielle réelle.

2. Méthodologie : Mamba-CAD

Les auteurs proposent Mamba-CAD, un cadre de modélisation générative auto-supervisé basé sur l'architecture Mamba (State Space Model - SSM), connue pour sa capacité à traiter de longues séquences avec une complexité linéaire.

L'approche se déroule en trois étapes principales :

A. Représentation des données

• Format : Les modèles CAO sont convertis en séquences discrètes de commandes (CSG - Constructive Solid Geometry) et de paramètres.
• Normalisation : Pour l'entrée du réseau, les séquences sont fixées à une longueur maximale de 128 commandes. Les séquences plus courtes sont remplies avec un symbole de fin <EOS>.
• Encodage : Chaque commande est divisée en type de commande et paramètres. Les valeurs continues sont quantifiées en entiers 8 bits (vecteurs one-hot de dimension 257). Une fusion d'embeddings (commande + paramètres + position) est réalisée pour créer une représentation vectorielle.

B. Architecture du Modèle

Le modèle suit une architecture encodeur-décodeur couplée à un réseau antagoniste génératif latent (Latent GAN) :

1. Pré-entraînement (Auto-encodeur) :
   • Un Encodeur basé sur quatre blocs Mamba traite la séquence CAO et la comprime via un bloc de compression (convolutions 1D) pour obtenir une représentation latente (K).
   • Un Décodeur (Scale Block + couches linéaires) reconstruit la séquence CAO originale à partir de cette représentation latente.
   • L'objectif est de minimiser la perte d'entropie croisée entre la séquence d'entrée et la séquence reconstruite.
2. Entraînement du Générateur (Latent GAN) :
   • Une fois l'encodeur pré-entraîmé, ses paramètres sont gelés.
   • Un Générateur (basé sur des convolutions 1D) apprend à mapper du bruit gaussien standard vers l'espace latent appris (distribution de K).
   • Un Discriminateur distingue les représentations latentes réelles (issues de l'encodeur) des représentations fausses (issues du générateur).
3. Génération :
   • Pour générer un nouveau modèle, on échantillonne du bruit gaussien, on le transforme en représentation latente fausse via le générateur, puis on la décode via le décodeur Mamba-CAD pour obtenir une nouvelle séquence paramétrique CAO.

C. Nouveau Jeu de Données

Pour pallier le manque de données longues, les auteurs ont créé un nouveau jeu de données de 77 078 modèles CAO :

• Filtrage du jeu de données DeepCAD (suppression des séquences < 10 commandes).
• Extraction de modèles du jeu de données ABC (via Onshape) convertis en séquences CSG.
• Résultat : Un jeu de données avec une longueur moyenne de 38 commandes et une distribution allant jusqu'à 128 commandes, bien plus complexe que DeepCAD (moyenne de 15).

3. Contributions Clés

1. Mamba-CAD : Première application de l'architecture Mamba (SSM) à la génération de modèles CAO complexes, surpassant les Transformers pour les séquences longues.
2. Jeu de Données Longue Séquence : Création et publication d'un nouveau jeu de données de 77k modèles CAO avec des séquences paramétriques significativement plus longues que les benchmarks existants.
3. Cadre Auto-supervisé : Une approche efficace combinant pré-entraînement par reconstruction et génération via GAN latent, permettant une génération de formes 3D complexes et valides.

4. Résultats Expérimentaux

Les expériences comparent Mamba-CAD avec des méthodes de l'état de l'art (DeepCAD, TM-CAD, SkexGen, HNC-CAD) sur plusieurs tâches :

• Reconstruction de Séquence CAO :

  • Mamba-CAD atteint une précision exceptionnelle (Ac = 99.96%, Ap = 99.93%) contre ~96% pour les meilleurs Transformers.
  • Réduction drastique du taux d'invalidité (IR = 5.41% vs ~14-15% pour les autres).
  • Meilleure distance de Chamfer médiane (MCD = 0.64 vs 2.81+).
  • Capacité à reconstruire des séquences longues : 85.18% des séquences reconstruites ont une longueur ≥ 60 (contre ~51% pour DeepCAD).

• Génération Aléatoire :

  • Sur les métriques de génération (COV, JSD, MMD), Mamba-CAD surpasse tous les concurrents, produisant des modèles plus diversifiés et plus proches de la distribution réelle.
  • Longueur de génération : Les modèles générés ont une longueur moyenne de 36.75 commandes, contre ~27-31 pour les autres méthodes.
  • Taux de conversion STEP : 74.13% des modèles générés peuvent être convertis avec succès en format STEP (standard industriel), contre ~63% pour les autres.

• Généralisation :

  • Même entraîné sur des données complexes, le modèle généralise bien sur des ensembles de données plus simples (Fusion360), obtenant les meilleurs scores sur toutes les métriques.

5. Signification et Impact

Ce travail démontre que les State Space Models (SSM), et spécifiquement l'architecture Mamba, sont supérieurs aux Transformers pour la modélisation de séquences longues et complexes dans le domaine de la CAO.

• Complexité Industrielle : Mamba-CAD permet de générer des modèles CAO réalistes et complexes (composants industriels) qui étaient auparavant hors de portée des modèles génératifs en raison de la longueur des séquences de commandes.
• Efficacité : L'architecture permet un entraînement et une inférence efficaces sur de longues séquences sans la pénalité quadratique de l'attention des Transformers.
• Ressources Open Source : La publication du nouveau jeu de données et du code favorise la recherche future sur la génération de CAO, comblant le fossé entre la recherche académique et les besoins de l'industrie manufacturière.

En résumé, Mamba-CAD représente une avancée majeure vers la génération automatique de designs industriels complexes, en surmontant la barrière de la longueur de séquence grâce à l'innovation architecturale des SSM.