CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

Ce papier présente CAD-Tokenizer, un cadre innovant utilisant un VQ-VAE séquentiel et un décodage contraint pour tokeniser les données CAD au niveau des primitives, permettant ainsi une génération et une édition de modèles assistés par texte bien plus efficaces que les approches antérieures.

L'essentiel

🏗️ Le Problème : Le Langage des Architectes vs. Le Langage des Humains

Imaginez que vous voulez construire une maison.

• Les humains parlent de manière naturelle : "Fais une fenêtre ronde sur le mur du nord, puis ajoute un étage."
• Les ordinateurs (CAD) ne comprennent pas les mots. Ils comprennent des séquences d'opérations précises : "Dessine un cercle, extrude-le de 5 cm, coupe-le ici, etc."

Jusqu'à présent, les intelligences artificielles (comme les grands modèles de langage, ou LLM) étaient comme des traducteurs très mauvais. Quand on leur disait "Fais une fenêtre", elles essayaient de décomposer la phrase mot par mot (comme "fen", "ê", "tr", "e"). Cela créait du bruit. L'IA perdait le sens de l'objet géométrique et finissait par construire des murs tordus ou des fenêtres carrées là où on voulait du rond. C'était comme essayer de jouer du piano en appuyant sur les touches au hasard, lettre par lettre, au lieu de comprendre les accords.

💡 La Solution : CAD-Tokenizer

Les auteurs de cet article ont créé un outil magique appelé CAD-Tokenizer. Voici comment ça marche, avec une analogie simple :

1. Le Traducteur de "Briques" (au lieu de lettres)

Imaginez que le CAD est un jeu de construction géant (type LEGO).

• L'ancienne méthode (Tokenizeur standard) : Elle prenait chaque instruction et la coupait en petits morceaux de lettres. C'était inefficace.
• La nouvelle méthode (CAD-Tokenizer) : Au lieu de couper les mots, elle identifie directement les briques de base (les primitives).
  • Au lieu de voir "e-x-t-r-u-s-i-o-n", elle voit un seul bloc : [EXTRUSION].
  • Au lieu de voir "l-i-g-n-e", elle voit [LIGNE].

C'est comme passer d'un alphabet à un jeu de blocs préfabriqués. L'IA ne perd plus de temps à deviner comment assembler les lettres ; elle voit directement la brique LEGO qu'elle doit poser.

2. L'Entraînement Spécial (Le VQ-VAE)

Pour apprendre à l'IA à voir ces blocs, les chercheurs ont entraîné un "compresseur" spécial (un VQ-VAE).

• L'analogie : Imaginez un chef cuisinier qui doit préparer un repas complexe. Au lieu de lui donner une liste de courses écrite en lettres minuscules ("p", "o", "m", "m", "e"), on lui donne des sacs étiquetés "Pommes", "Carottes", "Viande".
• Ce compresseur prend la séquence complexe de construction 3D et la résume en une liste de ces "sacs" (tokens) essentiels. Cela rend le processus beaucoup plus rapide et précis.

3. Le Gardien de la Règle (L'Automate à États Finis)

Même avec les bons blocs, l'IA pourrait faire une erreur de logique (par exemple, essayer de coller un mur dans les airs sans fondation).

• Pour éviter cela, les auteurs ont ajouté un Gardien de la Règle (un automate à états finis).
• L'analogie : C'est comme un jeu vidéo avec des niveaux. Vous ne pouvez pas passer du niveau 1 au niveau 3 sans passer par le niveau 2. Le Gardien vérifie à chaque étape : "Est-ce que cette brique est autorisée ici ?". Si l'IA essaie de mettre une fenêtre avant d'avoir dessiné le mur, le Gardien dit : "Non, pas encore !" et force l'IA à corriger son tir.

🚀 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, l'IA peut maintenant :

1. Créer de zéro : Vous lui dites "Fais une chaise" et elle dessine une chaise parfaite.
2. Modifier : Vous lui dites "Ajoute un dossier à cette chaise" et elle modifie le dessin existant sans tout casser.

En résumé :
Avant, demander à une IA de dessiner en 3D, c'était comme essayer de sculpter du marbre avec une cuillère en plastique. Avec CAD-Tokenizer, c'est comme si on lui a donné un burin et un marteau adaptés à la pierre. Elle comprend enfin la structure de l'objet, pas juste les mots qui le décrivent.

C'est une avancée majeure pour l'industrie, car cela permet aux ingénieurs et designers de parler à leur ordinateur comme ils parlent à un collègue humain, et d'obtenir exactement ce qu'ils veulent, du premier coup.

Résumé technique

1. Problématique et Contexte

Le prototypage assisté par ordinateur (CAD) repose sur des séquences d'opérations structurées (esquisses, extrusions) plutôt que sur des coordonnées brutes. Bien que les grands modèles de langage (LLM) aient montré leur potentiel pour générer ou modifier des séquences CAD à partir d'instructions textuelles, les approches actuelles souffrent de limitations majeures :

• Inadéquation de la tokenisation standard : Les tokeniseurs par défaut des LLM (basés sur le BPE ou des mots) décomposent les séquences CAD en fragments de mots naturels (ex: "[extru] [-sion]"). Cela brise la sémantique des primitives géométriques et empêche les mécanismes d'attention de capturer correctement les dépendances structurelles et géométriques.
• Absence d'unification : Les travaux précédents traitent séparément la génération Text-to-CAD (création à partir de zéro) et l'édition CAD Editing (modification d'un modèle existant). Or, le flux de travail industriel nécessite un modèle unifié capable de gérer les deux tâches de manière itérative.
• Qualité de génération : Les modèles unifiés actuels peinent à suivre les instructions complexes et produisent souvent des séquences syntaxiquement invalides ou géométriquement incohérentes.

2. Méthodologie : CAD-Tokenizer

Les auteurs proposent CAD-Tokenizer, un cadre innovant qui remplace la tokenisation textuelle standard par une tokenisation spécifique au domaine, alignée sur la nature primitive et structurelle du CAD. L'architecture se décompose en quatre étapes clés :

A. Tokenisation VQ-VAE basée sur les Primitives

Au lieu de traiter le CAD comme du texte, le modèle utilise un VQ-VAE (Vector Quantized Variational Autoencoder) pré-entraîné pour compresser les séquences CAD en tokens discrets au niveau des primitives.

• Regroupement par primitives (Primitive Pooling) : Contrairement aux VQ-VAE standards qui réduisent toute la séquence en un vecteur latent, CAD-Tokenizer introduit une couche de regroupement spécifique. Elle traite les paires "esquisse-extrusion" comme des unités sémantiques distinctes, produisant plusieurs tokens discrets par paire.
• Avantage : Cela permet de capturer à la fois l'information locale (la forme de la courbe) et contextuelle (la relation avec les primitives voisines).

B. Alignement avec le LLM (Adapters)

Pour intégrer ces nouveaux tokens dans un LLM existant (ici LLaMA-3-8b), les auteurs utilisent des modules Adapters légers.

• Ces adapters mappent bidirectionnellement les vecteurs latents du VQ-VAE vers l'espace d'embedding du LLM.
• Cela permet d'utiliser le LLM pré-entraîné sans modifier son noyau (backbone), tout en lui permettant de comprendre les identifiants de primitives CAD natifs.

C. Affinement par Instruction (Instruction Tuning)

Le LLM est affiné (fine-tuned) sur un ensemble de données unifié couvrant à la fois la génération Text-to-CAD et l'édition CAD.

• Les entrées sont des paires (Instruction, Séquence CAD originale optionnelle).
• Les cibles sont les séquences CAD encodées en tokens primitifs.
• Cette compression des données (|x'| < |x|) améliore l'efficacité de l'entraînement et la capacité du modèle à apprendre les relations entre primitives.

D. Décodage guidé par Automate à États Finis (FSA)

Pour garantir la validité syntaxique des séquences générées, les auteurs remplacent l'échantillonnage auto-régressif naïf par une stratégie guidée par un Automate à États Finis (FSA).

• Le FSA encode la grammaire formelle du langage CAD.
• À chaque étape de génération, il applique un masque sur les logits du LLM, ne permettant que les tokens valides selon l'état actuel de la construction géométrique.
• Cela élimine drastiquement les erreurs de syntaxe (ex: extrusion sans esquisse préalable).

3. Contributions Clés

1. Premier cadre unifié : C'est la première approche à traiter simultanément la génération et l'édition CAD dans un seul modèle unifié.
2. Tokenisation spécifique au CAD : Introduction d'un VQ-VAE avec regroupement par primitives, créant des représentations compactes et sémantiquement riches, contrairement aux tokeniseurs textuels standards.
3. Alignement efficace : Utilisation d'adapters pour intégrer un vocabulaire de primitives CAD dans un LLM pré-entraîné sans réentraînement massif du backbone.
4. Contrainte syntaxique stricte : Intégration d'un FSA pour le décodage, assurant que les séquences générées respectent la grammaire CAD, ce qui améliore la robustesse.

4. Résultats Expérimentaux

Les expériences ont été menées sur des datasets dérivés de SkexGen (CADFusion et CAD-Editor), avec un ensemble de test équilibré d'environ 1000 paires.

• Comparaison Quantitative :

  • Édition CAD : CAD-Tokenizer surpasse les modèles spécifiques (CAD-Editor) et les LLMs génériques (Vanilla-LLaMA, GPT-4o) sur presque toutes les métriques, notamment les scores F1 pour les esquisses et extrusions (+10 points par rapport aux baselines).
  • Génération Text-to-CAD : Le modèle obtient les meilleurs scores F1 et réduit considérablement la distance de Chamfer (CD) par rapport aux baselines, indiquant une meilleure fidélité géométrique.
  • Efficacité : Le modèle montre une meilleure capacité à suivre les instructions (VLM Score et Évaluation Humaine) que les modèles unifiés basés sur des tokeniseurs standards.

• Études d'ablation :

  • Le regroupement par primitives (pooling) est crucial : les variantes sans pooling (tokenisation "single") ou utilisant des tokeniseurs standards (BPE) s'effondrent en termes de qualité et de taux d'invalidité.
  • L'utilisation du FSA réduit le taux d'invalidité (IR) de manière significative par rapport à l'échantillonnage top-p ou beam search standard.

• Qualité : Les résultats qualitatifs montrent que CAD-Tokenizer génère des objets multi-faces plus fidèles et respecte mieux les templates structurels lors de l'édition, évitant les échecs courants comme la persistance de la forme originale sans modification.

5. Signification et Impact

Ce travail marque une avancée significative dans l'intersection entre l'IA générative et la conception industrielle :

• Changement de paradigme : Il démontre que pour des domaines structurés comme le CAD, la tokenisation standard des LLM est insuffisante. Une tokenisation alignée sur la sémantique du domaine (primitives géométriques) est essentielle pour capturer la structure profonde.
• Unification du flux de travail : En réussissant à unifier la création et l'édition, CAD-Tokenizer ouvre la voie à des assistants de conception IA véritablement interactifs, capables de gérer des cycles de conception itératifs complexes.
• Robustesse syntaxique : L'intégration de contraintes de grammaire formelle (FSA) dans le processus de décodage des LLM offre une solution pratique aux problèmes de validité des séquences générées, un défi majeur dans la génération de code ou de modèles paramétriques.

En résumé, CAD-Tokenizer propose une architecture robuste qui combine la puissance des LLM avec une compréhension structurelle profonde du CAD, surpassant les approches précédentes tant en qualité de génération qu'en capacité d'édition précise.