CADSmith: Multi-Agent CAD Generation with Programmatic Geometric Validation

Le papier présente CADSmith, un pipeline multi-agents qui génère des modèles CAO via du code CadQuery à partir de descriptions textuelles et les affine itérativement grâce à une boucle de correction combinant validation géométrique programmatique et évaluation visuelle, démontrant ainsi une amélioration significative de la précision et de la fiabilité des modèles générés par les LLM.

L'essentiel

Imaginez que vous voulez construire une pièce mécanique complexe, comme une pièce de moteur ou un cadre de drone, mais au lieu de dessiner vous-même chaque vis et chaque courbe sur un logiciel spécial, vous lui décrivez simplement votre idée en parlant normalement. C'est le défi que relève le CADSmith.

Voici comment cela fonctionne, expliqué comme si c'était une équipe d'artisans dans un atelier très organisé :

1. Le Problème : L'IA qui "rêve" trop

Jusqu'à présent, les intelligences artificielles (IA) qui créent des dessins techniques (CAD) avaient deux gros défauts :

• Soit elles faisaient tout d'un coup, sans vérifier si le résultat était physiquement possible (comme un architecte qui dessine un pont qui s'effondrerait s'il était construit).
• Soit elles regardaient le résultat final comme une simple photo. Si la photo ressemblait à ce que vous vouliez, elles pensaient que c'était bon. Mais en ingénierie, une différence de quelques millimètres peut rendre la pièce inutilisable.

2. La Solution CADSmith : Une Équipe de 5 Experts

Au lieu d'avoir une seule IA qui fait tout, CADSmith utilise une équipe de 5 agents (des sous-programmes spécialisés) qui travaillent ensemble dans une boucle de correction.

Imaginez une chaîne de montage intelligente :

• Le Planificateur (L'Architecte) : Il écoute votre description en langage naturel ("Je veux un arbre avec 6 trous") et le transforme en un plan de construction précis, avec des mesures exactes.
• Le Codeur (Le Dessinateur) : Il écrit le code informatique (le langage que le logiciel de CAO comprend) pour dessiner la pièce. Il ne devine pas : il consulte un manuel technique à chaque fois pour s'assurer d'utiliser les bons outils.
• L'Exécutant (L'Usinier) : Il essaie de construire la pièce virtuellement. Si le code contient une erreur de syntaxe (comme une faute de frappe), il l'arrête tout de suite et dit : "Ça ne marche pas, réessayons".
• Le Juge (L'Inspecteur Double) : C'est la partie la plus brillante. Une fois la pièce construite, elle est vérifiée de deux façons :
  1. Le Vérificateur Mathématique : Il prend des mesures ultra-précises (volume, dimensions, poids) avec une règle numérique parfaite.
  2. Le Juge Visuel : C'est une IA qui regarde la pièce sous trois angles différents (comme un inspecteur de qualité qui tourne autour de l'objet). Elle vérifie si la forme globale correspond à votre demande.
• Le Rafineur (Le Correcteur) : Si le Juge trouve un problème (par exemple, "le trou est trop petit" ou "la forme ressemble à un cube au lieu d'un cylindre"), il renvoie le Codeur avec des instructions précises pour corriger l'erreur.

3. La Magie : La Boucle de Correction

C'est ici que la magie opère. Si la pièce n'est pas parfaite, le système ne s'arrête pas. Il entre dans une boucle de correction :

1. L'inspecteur dit : "Il manque un trou."
2. Le correcteur modifie le code.
3. L'usinier reconstruit.
4. L'inspecteur re-vérifie.

Ce processus se répète jusqu'à ce que la pièce soit parfaite à la fois sur le plan mathématique (les mesures sont exactes) et visuel (la forme est correcte).

4. Pourquoi c'est révolutionnaire ?

Dans les anciens systèmes, l'IA pouvait créer une pièce qui ressemblait à ce que vous vouliez sur une photo, mais qui avait des dimensions fausses de 50 mm au lieu de 5 mm. C'était inutile pour la fabrication réelle.

CADSmith, grâce à son "Inspecteur Double" (mesures précises + regard humain simulé), garantit que :

• La pièce est fabriquable (elle ne s'effondrera pas).
• Elle est exacte (les dimensions sont respectées au millimètre près).
• Elle est fidèle à votre idée (elle a la bonne forme).

En résumé

CADSmith, c'est comme avoir un atelier d'ingénierie infini où chaque pièce est vérifiée par un mathématicien rigoureux et un artiste attentif avant d'être acceptée. Au lieu de simplement "deviner" la forme, le système itère, mesure, corrige et re-mesure jusqu'à ce que le résultat soit d'une précision absolue, prêt à être fabriqué dans le monde réel.

C'est un pas de géant pour transformer une simple phrase en un objet physique précis, sans avoir besoin d'être un expert en dessin technique.

Résumé technique

1. Problématique

La conception assistée par ordinateur (CAO) est une tâche complexe nécessitant une précision dimensionnelle absolue, une validité topologique et une conformité aux contraintes géométriques pour la fabrication. Les méthodes existantes de génération de CAO à partir de texte (Text-to-CAD) souffrent de deux limitations majeures :

• Absence de vérification géométrique : Les approches en un seul passage (one-shot) ne vérifient pas si le code généré est exécutable ou si la géométrie résultante correspond aux spécifications.
• Feedback visuel imparfait : Les systèmes qui utilisent un retour visuel (comme Query2CAD) s'appuient sur des représentations visuelles "perdant" (lossy) qui ne peuvent pas résoudre les erreurs dimensionnelles à l'échelle du millimètre.

Il existe donc un besoin critique d'un système capable de générer du code CAO, de l'exécuter, et de le corriger itérativement en utilisant à la fois des mesures géométriques exactes (numériques) et une évaluation visuelle holistique pour garantir que la pièce générée est à la fois dimensionnellement exacte et structurellement cohérente.

2. Méthodologie : L'Architecture CADSmith

CADSmith propose un pipeline multi-agents qui génère du code CadQuery (une API Python pour OpenCASCADE) à partir de descriptions en langage naturel. Le système fonctionne via deux boucles de correction imbriquées :

A. Les Agents Spécialisés

Le pipeline décompose la tâche en cinq agents :

1. Planner : Convertit le prompt utilisateur en un plan de conception structuré (JSON) listant les composants, les dimensions cibles et les contraintes géométriques.
2. Coder : Génère le script CadQuery. Il utilise la Génération Augmentée par Récupération (RAG) sur la documentation de l'API CadQuery (KB1) et des modèles de solutions d'erreurs (KB2) plutôt que d'être fine-tuné, assurant ainsi que le système reste à jour avec l'évolution de la bibliothèque.
3. Executor : Exécute le code dans un sous-processus Python isolé. Il extrait des métriques exactes du noyau OpenCASCADE (OCCT) : volume, dimensions de la boîte englobante, validité du solide, nombre de faces/arêtes/sommets.
4. Validator (Juge) : Un agent basé sur un modèle Vision-Language (VLM), spécifiquement Claude Opus (plus puissant que le modèle de génération Claude Sonnet), qui agit comme juge indépendant.
5. Refiner : Modifie le code en fonction des retours du Validator pour corriger les erreurs.

B. Les Deux Boucles de Correction

1. Boucle Interne (Correction d'exécution) : Si le code échoue à s'exécuter (erreur de syntaxe ou d'API), un "Error Refiner" analyse la trace d'erreur et le contexte RAG pour corriger le code (jusqu'à 3 tentatives).

2. Boucle Externe (Raffinement Géométrique) : Si le code s'exécute mais que la géométrie est incorrecte, le Validator intervient. Il reçoit :

   • Le prompt original et le code.
   • Les métriques exactes du noyau OCCT.
   • Trois vues rendues du modèle (isométrique, vue arrière haute, profil avant) générées via VTK.

   Le Juge croise ces informations pour détecter les erreurs que les métriques seules manqueraient (ex: une forme globalement correcte mais avec des trous manquants ou une topologie erronée). Si l'échec est confirmé, le Refiner ajuste le code (jusqu'à 5 itérations).

C. Évaluation

Le système est évalué sur un benchmark personnalisé de 100 prompts répartis en trois niveaux de difficulté (T1 : primitives, T2 : pièces d'ingénierie, T3 : pièces complexes). Les métriques sont calculées dans l'espace absolu (millimètres) et non normalisées :

• Chamfer Distance (CD)
• Score F1 (Précision/Rappel à 1mm)
• IoU Volumétrique

3. Contributions Clés

• Architecture Multi-Agents : Remplace les approches monolithiques par un pipeline décomposé (Planificateur, Codeur, Exécuteur, Juge, Affineur).
• Validation Géométrique en Double Boucle : Combinaison unique d'une boucle de correction d'exécution et d'une boucle de raffinement géométrique pilotée par des métriques de noyau exactes et un VLM.
• Juge VLM Indépendant : Utilisation d'un modèle plus puissant (Claude Opus) que celui qui génère le code pour éviter les biais d'auto-confirmation, couplé à une inspection visuelle multi-vues.
• RAG sur la Documentation API : Élimine le besoin de fine-tuning, permettant au système de s'adapter dynamiquement aux mises à jour de CadQuery.

4. Résultats

Les résultats sur le benchmark de 100 entrées montrent une amélioration significative par rapport à une ligne de base "Zero-shot" (un seul appel au LLM sans boucle de correction) :

• Taux d'exécution : CADSmith atteint 100% (contre 95% pour la baseline).
• Précision Dimensionnelle :
  • Le Chamfer Distance moyen chute drastiquement de 28,37 mm (baseline) à 0,74 mm (CADSmith complet).
  • Le Score F1 médian passe de 0,9707 à 0,9846.
  • L'IoU médian passe de 0,8085 à 0,9629.
• Impact de la Vision : L'ablation (suppression des images pour le Juge) montre que la vision est cruciale pour les pièces complexes (T3). Sans vision, le Chamfer Distance moyen pour T3 passe de 1,42 mm à 49,68 mm, prouvant que les métriques numériques seules ne suffisent pas à détecter les "convergences fausses" (formes valides numériquement mais structurellement incorrectes).
• Performance par niveau : Les pièces simples (T1) et intermédiaires (T2) atteignent des scores quasi parfaits (F1 > 0,99). Les pièces complexes (T3) obtiennent un F1 médian de 0,886, démontrant la capacité du système à gérer des opérations avancées (lofts, coques, unions multi-corps).

5. Signification et Conclusion

CADSmith démontre que la génération de CAO par IA peut dépasser le stade de la simple approximation visuelle pour atteindre une fiabilité de fabrication.

• Innovation Majeure : La combinaison de métriques géométriques exactes (OpenCASCADE) et d'une évaluation visuelle holistique (VLM) dans une boucle fermée résout le compromis entre précision numérique et cohérence structurelle.
• Limites et Perspectives : Bien que performant, le système peut encore manquer de petits défauts (ex: micro-espaces entre les pièces) invisibles sur des rendus statiques à résolution standard. Les travaux futurs pourraient inclure des vues adaptatives, des crops haute résolution et une gestion des assemblages multi-pièces.
• Impact Industriel : Ce système ouvre la voie à une automatisation fiable des flux de travail de conception, réduisant la barrière à l'entrée pour la création de géométries d'ingénierie valides et accélérant potentiellement le retour des capacités de fabrication aux États-Unis.

En résumé, CADSmith établit que l'itération guidée par des retours hybrides (programmatiques et visuels) est la voie vers une génération de CAO automatique fiable et précise.