🤖 AI

MUSE: Benchmarking Manufacturable, Functional, and Assemblable Text-to-CAD Generation

Cet article présente MUSE, une nouvelle norme d'évaluation et un cadre d'évaluation conçus pour faire progresser la génération de modèles CAO à partir de texte au-delà de la simple similarité géométrique en évaluant des assemblages B-Rep complexes et modifiables selon des critères d'ingénierie essentiels tels que la fonctionnalité, la fabricabilité et l'assemblabilité.

Auteurs originaux : Xiaoyu Dong, Zhi Li, Xiao-Ming Wu

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoyu Dong, Zhi Li, Xiao-Ming Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot très intelligent et créatif capable d'écouter votre voix et de dessiner des images d'objets en 3D. Si vous dites : « Fais-moi une chaise », il pourrait dessiner une belle chaise qui semble parfaite sur un écran. Mais dans le monde réel, une chaise n'est pas seulement une image ; c'est quelque chose que vous devez construire, assembler et sur quoi vous asseoir sans qu'elle ne s'effondre.

Ce papier présente un nouveau test appelé MUSE pour vérifier si nos actuels « robots intelligents » (modèles d'IA) peuvent réellement concevoir des objets réels et constructibles, et non pas seulement de jolies images.

Voici le détail de ce qu'ils ont fait, en utilisant quelques analogies simples :

1. Le Problème : Dessiner vs Construire

Auparavant, les tests d'IA pour la conception 3D ressemblaient à un cours d'art au lycée. Le professeur disait : « Dessinez une chaise », et la note était basée sur la ressemblance du dessin avec une vraie chaise. Si les pieds étaient légèrement tordus mais que cela ressemblait toujours à une chaise, cela obtenait un A.

Mais dans le monde réel (l'ingénierie), une chaise aux pieds tordus est un désastre. Elle pourrait vaciller, se briser, ou être impossible à construire en bois ou en plastique. Les anciens tests ne vérifiaient pas si la chaise fonctionnerait réellement.

2. Le Nouveau Test : MUSE (L'Examen du « Maître Constructeur »)

Les auteurs ont créé MUSE, qui ressemble à un examen final pour un Maître Constructeur. Au lieu de demander simplement à l'IA de « dessiner une chaise », ils lui donnent une Spécification de Conception détaillée. Pensez-y comme à un plan strict qui indique :

Ce que c'est : Une chaise en bois.
Comment la construire : Utilisez des machines CNC (comme une scie ultra-précise).
Comment l'assembler : Les pieds doivent s'insérer dans l'assise en utilisant des assemblages spécifiques.
Les Règles : Le bois ne peut pas être trop fin, sinon il cassera. Les pièces ne peuvent pas se chevaucher d'une manière qui les rendrait impossibles à découper.

3. Le Filtre en Trois Étapes (L'Entonnoir)

Le papier teste l'IA en trois étapes strictes, comme un entonnoir qui élimine les mauvais designs à chaque étape :

Étape 1 : La Vérification du Code (Peut-il parler le langage ?)
L'IA doit écrire un programme informatique (un script) pour construire l'objet. Si le code contient une faute de frappe ou une erreur logique, le programme plante.
- Analogie : C'est comme demander à un chef d'écrire une recette. Si la recette dit « ajoutez du sel » mais oublie de dire combien, le plat est gâché avant même de commencer.
- Résultat : De nombreuses IA ont échoué ici. Elles ne pouvaient même pas écrire un script fonctionnel.
Étape 2 : La Vérification Géométrique (La forme est-elle valide ?)
Si le code s'exécute, l'ordinateur construit le modèle 3D. Ensuite, les ingénieurs vérifient si la forme a du sens physiquement. Est-elle étanche (sans trous) ? Les pièces se chevauchent-elles d'une manière étrange ?
- Analogie : Imaginez que le chef a suivi la recette, mais que le gâteau qu'il a cuit a un trou au milieu ou que le glaçage fond dans la génoise. Cela ressemble à un gâteau, mais vous ne pouvez pas le manger.
- Résultat : Même lorsque le code fonctionnait, les formes présentaient souvent des « bugs » qui les rendaient impossibles à fabriquer.
Étape 3 : La Vérification de l'Intention de Conception (Fonctionne-t-elle réellement ?)
C'est la partie la plus difficile. L'IA passe les vérifications de code et de forme, mais la chaise fonctionne-t-elle réellement ? Peut-on s'asseoir dessus ? Est-elle stable ? Peut-on assembler les pièces ?
- Analogie : Le chef a cuit un gâteau d'apparence parfaite, mais il est fait de pierre. Il ressemble à un gâteau, mais il est inutile pour manger.
- Résultat : C'est là que la chute la plus importante s'est produite. Même les IA les plus intelligentes ont eu du mal à créer des designs véritablement fonctionnels, manufacturables et faciles à assembler.

4. Le Juge « Rubrique » (Le Professeur Strict)

Pour noter ces designs, les chercheurs n'ont pas simplement demandé à un humain de les regarder (ce qui est lent et coûteux). Ils ont construit un Juge IA spécial (un Modèle Vision-Langage) qui agit comme un professeur strict.

Ce juge ne dit pas simplement « Ça a l'air bien ». Il vérifie par rapport à une Rubrique (une liste de contrôle).
La Liste de Contrôle : « La jambe est-elle connectée à l'assise ? Le bois est-il assez épais ? Les assemblages sont-ils serrés ? »
Les chercheurs ont testé ce Juge IA contre des experts humains et ont constaté qu'il était d'accord avec eux environ 83 % du temps. Cela signifie que l'ordinateur peut noter les designs de manière fiable sans qu'un humain ait besoin de vérifier chacun d'eux.

5. La Grande Découverte

Le papier a découvert une « Cascade d'Échecs ».

Si vous demandez à une IA de concevoir un objet complexe et constructible :
1. Elle échoue souvent à écrire le code.
2. Si elle écrit le code, la forme est souvent brisée.
3. Si la forme est parfaite, le design échoue généralement à fonctionner dans le monde réel (il est instable ou impossible à construire).

Même les modèles d'IA les plus puissants (les plus « intelligents ») n'ont réussi à passer le contrôle final de « l'Intention de Conception » que dans 20 % à 50 % des cas (selon le modèle). Les modèles open-source (gratuits) ont fait encore pire, obtenant souvent des scores proches de zéro sur les critères d'ingénierie finaux.

La Conclusion

Le papier conclut que si l'IA est excellente pour faire ressembler des choses à des objets 3D, elle est encore très mauvaise pour créer des choses qui sont réellement utiles.

Nous sommes actuellement à un point où l'IA peut dessiner une chaise, mais elle ne peut pas encore concevoir une chaise qu'un menuisier pourrait construire et sur laquelle un humain pourrait s'asseoir en toute sécurité. Le benchmark MUSE est un nouvel outil pour pousser les développeurs d'IA à arrêter de faire de jolies images et à commencer à créer de vrais designs fonctionnels.

Résumé Technique : Benchmark MUSE pour la Génération de Text-to-CAD

Énoncé du Problème

Bien que les Grands Modèles de Langage (LLM) aient fait progresser la génération 3D pilotée par le texte, la tâche spécifique du Text-to-CAD (génération de modèles B-Rep éditable à partir de langage naturel) reste insuffisante pour la conception de produits industriels. Les benchmarks existants se concentrent principalement sur des modèles CAO de pièces uniques et reposent sur des métriques de similarité géométrique (par exemple, la distance de Chamfer). Ces métriques échouent à capturer les exigences critiques de l'ingénierie : fonctionnalité, fabricabilité et assemblabilité. Par conséquent, les évaluations actuelles ne peuvent pas déterminer si un modèle généré est une instance de conception viable ou simplement une forme visuellement plausible. De plus, les ensembles de données existants manquent souvent de structures multi-composants et de contraintes d'assemblage, limitant leur utilité pour la fabrication réelle.

Méthodologie

Le Benchmark MUSE

Les auteurs introduisent MUSE, un benchmark conçu pour évaluer la génération d'assemblages B-Rep complexes et éditables. Contrairement aux travaux antérieurs, MUSE se concentre sur des instances de conception complètes définies par des Spécifications de Conception structurées ( $S$ ). Chaque spécification décompose un objectif de haut niveau en quatre composantes :

Description de la Conception ( $D$ ) : Texte de haut niveau décrivant l'objet.
Graphe d'Assemblage Physique ( $G$ ) : Un graphe non orienté où les sommets représentent les composants physiques (par exemple, pieds, panneaux) et les arêtes représentent les interfaces physiques.
Espace de Paramètres Valide ( $\Omega$ ) : Plages admissibles pour les paramètres des composants (dimensions, épaisseur) contraintes par les exigences fonctionnelles et de fabrication.
Plan de Fabrication ( $M$ ) : Contraintes concernant la sélection des matériaux (par exemple, Bois, PLA) et les méthodes de fabrication (par exemple, Fraisage CNC, Impression 3D), incluant les limites de tolérance et les contraintes géométriques.

Construction de l'Ensemble de Données :
L'ensemble de données de 106 instances de conception a été élaboré via un pipeline « Humain dans la boucle » :

Modélisation de Base : Des concepteurs experts ont créé des modèles STEP de haute qualité et les scripts CadQuery correspondants.
Augmentation par LLM : Des LLM (Claude Opus 4.7) ont étendu ces scripts pour créer des variantes diverses (stylistiques et fonctionnelles).
Vues d'Ingénierie : Au lieu d'images rendues, le système extrait des vues d'ingénierie 2D précises (Haut, Avant, Droite, Isométrique) avec des lignes cachées pour assurer une évaluation géométrique précise.
Synthèse des Spécifications : Des LLM ont généré des Spécifications de Conception structurées basées sur les modèles, lesquelles ont ensuite été examinées et corrigées par des experts humains.

Protocole d'Évaluation en Trois Étapes

MUSE emploie un pipeline d'évaluation de type entonnoir où un modèle doit réussir chaque étape pour passer à la suivante :

Vérification du Code : Le script CadQuery généré est exécuté dans un bac à sable. Le succès exige que le script s'exécute sans erreur et exporte un fichier STEP valide.
Vérification Géométrique : Le fichier STEP exporté subit quatre vérifications binaires :
- Étanche : Aucune frontière ouverte.
- Variété : Topologie valide.
- Sans Auto-Intersection : Aucun chevauchement interne.
- Sans Chevauchement : Les composants distincts ne s'interpénètrent pas.
Alignement avec l'Intention de Conception : Les modèles valides sont convertis en vues d'ingénierie et évalués par un Juge VLM (Modèle de Langage Visuel) basé sur une Rubrique. Le juge utilise des rubriques spécifiques à la conception (générées à partir de la Spécification de Conception, des dessins de référence et des tables de connaissances en ingénierie) pour évaluer :
- Fonctionnalité : La conception soutient-elle son usage prévu et reste-t-elle stable ?
- Fabricabilité : La géométrie satisfait-elle les contraintes de matériau et de processus (par exemple, épaisseur de paroi, tolérance) ?
- Assemblabilité : La topologie des composants et les interfaces d'assemblage sont-elles préservées correctement ?

Contributions Clés

Changement de Paradigme d'Évaluation : MUSE va au-delà de la similarité géométrique pour évaluer l'utilisabilité en ingénierie, testant explicitement la fonctionnalité, la fabricabilité et l'assemblabilité.
Spécifications de Conception Structurées : L'introduction d'une définition formelle pour les Spécifications de Conception ( $S = \langle D, G, \Omega, M \rangle$ ) fournit un cadre rigoureux pour définir des assemblages complexes et multi-composants avec des espaces de paramètres valides.
Juge VLM basé sur une Rubrique : L'article propose une méthode d'évaluation évolutive utilisant un juge VLM guidé par des rubriques fines et spécifiques à la conception. Cette approche réduit les hallucinations en ancrant l'évaluation dans des contraintes d'ingénierie et des vues de référence, validées par rapport à des annotations humaines.
Ensemble de Données Complet : Un ensemble de données de 106 instances de conception diverses, fabricables et assemblables couvrant divers matériaux (Bois, PLA, ABS, etc.) et processus (CNC, Impression 3D, Découpe Laser).

Résultats Expérimentaux

Les auteurs ont évalué à la fois des LLM fermés (par exemple, GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro) et des LLM open-source (par exemple, Qwen, Llama) sur MUSE.

Cascade d'Échecs : Les résultats révèlent une dégradation claire des performances à travers les trois étapes. Alors que certains modèles obtiennent un succès modéré en Exécution de Code (par exemple, GPT-5.5 à ~77 %), les performances chutent considérablement en Validité Géométrique (par exemple, ~69 % pour GPT-5.5) et s'effondrent davantage en Alignement avec l'Intention de Conception (par exemple, ~52 % pour GPT-5.5).
Déficiences Fines : Même les modèles les plus performants peinent avec des critères d'ingénierie spécifiques. Par exemple, les meilleurs modèles fermés n'ont obtenu que ~43 % en Assemblabilité et ~48 % en Fabricabilité. Les modèles open-source ont obtenu des résultats nettement pires, échouant souvent à produire des assemblages valides.
Code vs Géométrie : Une haute exécutabilité du code ne garantit pas la validité géométrique ni l'alignement avec l'intention de conception, indiquant que les modèles actuels manquent de raisonnement spatial 3D robuste et de gestion des contraintes d'ingénierie.
Fiabilité du Juge : Le juge VLM basé sur une rubrique a montré une forte corrélation avec les annotations humaines (Pearson $r \approx 0,71$ au niveau des sous-critères et $r \approx 0,83$ au niveau de l'instance de conception), validant son utilisation pour l'évaluation automatisée.

Signification

L'article postule que le Text-to-CAD a été plus facile à mesurer en tant que génération de forme qu'à résoudre en tant que génération de conception. MUSE élève la barre en exigeant que les modèles CAO générés ne soient pas seulement « justes » dans leur forme, mais « justes » dans la pratique de l'ingénierie — capables d'être construits, assemblés et utilisés. Le benchmark expose une faiblesse fondamentale des LLM actuels : bien qu'ils puissent synthétiser du code, ils échouent à générer de manière cohérente des assemblages satisfaisant des contraintes géométriques et d'ingénierie couplées. En fournissant un benchmark réaliste et un cadre d'évaluation, MUSE vise à orienter les recherches futures vers des modèles capables de générer des conceptions véritablement fonctionnelles et fabricables.