Résumé Technique : ProCAD – Agents Proactifs pour une Génération de Texte-à-CAO Robuste

1. Énoncé du Problème

Les systèmes actuels de texte-à-CAO, qui traduisent des invites en langage naturel en programmes de CAO paramétriques (spécifiquement CadQuery), sont confrontés à un problème critique de robustesse. Bien que les grands modèles de langage (LLM) aient permis des progrès initiaux, ils opèrent généralement sous l'hypothèse que les invites de l'utilisateur sont précises et cohérentes. En pratique, les descriptions géométriques en langage naturel sont fréquemment sous-spécifiées (manquant de dimensions critiques) ou internement incohérentes (contenant des contraintes conflictuelles).

Les approches existantes, qu'il s'agisse de la génération en une seule étape via des LLM affinés ou du raffinement basé sur le feedback, ont tendance à traiter l'invite de l'utilisateur comme une spécification fiable. Face à l'ambiguïté, ces modèles ont souvent tendance à « halluciner » des dimensions pour satisfaire la requête, ce qui conduit à du code invalide ou à des modèles géométriquement incorrects. Cela limite l'utilité pratique de la CAO par texte pour les tâches d'ingénierie réelles où la précision est primordiale.

2. Méthodologie

Les auteurs proposent ProCAD, un cadre d'agents proactifs conçu pour résoudre les problèmes de spécification avant la synthèse du code. Le système décompose la tâche en un pipeline à deux agents :

A. L'Architecture à Deux Agents

1. Agent de Clarification Proactif ($\pi_\phi$) :

   • Rôle : Audite l'invite de l'utilisateur pour détecter les contraintes manquantes ou conflictuelles.
   • Mécanisme : Modélisé comme un processus de décision de Markov (MDP) à horizon fini où l'environnement est l'utilisateur. L'agent décide à chaque étape s'il doit ACCEPTER la spécification actuelle ou DEMANDER une clarification ciblée.
   • Objectif : Maximiser une fonction de récompense équilibrant la fidélité géométrique (minimisation de la distance de Chamfer) et les coûts de communication (minimisation des tours d'interaction et de la longueur des tokens).
   • Stratégie : L'agent est entraîné pour poser des questions minimales et essentielles afin de produire une spécification auto-cohérente, évitant ainsi les interruptions inutiles.

2. Agent de Codage CAO ($\pi_\theta$) :

   • Rôle : Traduit la spécification finalisée et clarifiée en un programme CadQuery exécutable.
   • Mécanisme : Un modèle standard de génération de texte-vers-code affiné sur des données de haute qualité et non ambiguës.

B. Création de Données et Pipeline d'Entraînement

Pour entraîner ces agents, les auteurs ont construit un nouvel ensemble de données de haute qualité et une stratégie d'entraînement :

• Jeu de Données de Haute Qualité Texte-à-CadQuery (10K échantillons) :

  • Source : Dérivé du jeu de données DeepCAD (Wu et al., 2021) via des programmes CadQuery.
  • Processus : Au lieu de générer du code à partir de texte, le pipeline rend les formes sous plusieurs angles de vue et utilise un modèle de langage visuel de pointe (GPT-5-mini) pour générer des descriptions en langage naturel conditionnées à la fois sur les images et sur le code CadQuery source.
  • Vérification : Une boucle « générer-puis-vérifier » garantit la qualité. Les descriptions générées sont vérifiées pour :
    1. Fuite de Code (Code Leakage) : S'assurer qu'aucun fragment de code brut n'est copié dans le texte.
    2. Complétude : La description est renvoyée au VLM pour synthétiser le code ; si la géométrie résultante correspond à la vérité terrain (Distance de Chamfer $< 2 \times 10^{-4}$), l'échantillon est accepté.
  • Raffinement : Les échantillons échouant aux vérifications sont réessayés jusqu'à trois fois ; les échecs persistants sont transmis à des experts humains.

• Entraînement de l'Agent de Codage (ProCAD-coder) :

  • Affiné via un apprentissage supervisé (SFT) sur 1,6K échantillons soigneusement sélectionnés parmi le jeu de données de 10K.
  • Modèle de base : Qwen2.5-7B-Instruct.

• Entraînement de l'Agent de Clarification (ProCAD-clarifier) :

  • Entraîné via un SFT Agentique sur un ensemble de données synthétiques de 6 063 échantillons.
  • Synthèse : Des invites ambiguës sont créées en perturbant les spécifications vérifiées (omission de dimensions ou introduction de conflits).
  • Trajectoires : Les données d'entraînement incluent des trajectures d'agents complètes où l'agent pose des questions et reçoit des réponses d'un utilisateur simulé (utilisant GPT-5-mini comme simulateur d'utilisateur) pour parvenir à une spécification corrigée.
  • But : Apprendre à identifier l'ambiguïté et à poser le nombre minimal de questions nécessaires pour la résoudre.

3. Contributions Clés

1. Cadre Agentique Proactif : Un passage d'une génération statique en une seule étape à un système à deux agents dynamique qui détecte et résout proactivement les ambiguïtés de spécification avant la génération de code.
2. Jeu de Données Curaté de Haute Qualité : Création d'un jeu de données de 10K textes-vers-CadQuery avec des vérifications rigoureuses de fuite et de complétude, démontrant que des descriptions plus propres et précises améliorent considérablement la synthèse de code en aval.
3. Entraînement Efficace avec Peu de Données :
   • L'agent de codage obtient des performances supérieures en utilisant seulement 1,6K échantillons affinés, surpassant les modèles fermés de pointe.
   • L'agent de clarification est entraîné sur un ensemble de 6 063 trajectoires pour gérer efficacement l'ambiguïté.
4. Robustesse à l'Ambiguïté : Le système réduit considérablement la génération de code invalide et les erreurs géométriques face à des invites sous-spécifiées ou conflictuelles.

4. Résultats Expérimentaux

Des expériences ont été menées sur des ensembles de tests non ambigus et ambigus, comparant ProCAD aux modèles de pointe (ex: Claude Sonnet 4.5, GPT-4o-mini) et aux méthodes open-source précédentes.

• Performance de Codage (Invites Non Ambiguës) :

  • ProCAD-coder a réduit le Ratio d'Invalidité (IR) d'environ 86,9 % (Qwen2.5 zero-shot) à 0,9 %.
  • Il a atteint une distance de Chamfer médiane (CD) de 0,066 (échelle $\times 10^{-3}$), surpassant Claude Sonnet 4.5 (0,077) et les méthodes antérieures comme Text-CAD (0,097).

• Performance de Clarification (Invites Ambiguës) :

  • Dans un cadre à deux agents avec des réponses d'utilisateurs simulés, ProCAD (Clarifier + Coder) a obtenu la plus faible CD Moyenne (0,63) et la CD Médiane (0,08).
  • Il a réduit le Ratio d'Invalidité à 0,9 %, contre 14,6 % pour la ligne de base Claude Sonnet 4.5 à un seul modèle.
  • Qualité de l'Interaction : ProCAD a obtenu les scores d'Efficacité (0,9654) et de Résolution (0,9341) les plus élevés, indiquant qu'il pose moins de questions redondantes et résout avec succès les ambiguïtés.

• Généralisation :

  • Le système a maintenu des performances élevées lorsque le simulateur d'utilisateur était remplacé par Claude 4.5 Haiku, démontrant une robustesse aux comportements d'utilisateurs hors distribution.
  • Évaluation Centrée sur l'Humain : Dans des tests avec de vrais annotateurs humains (100 échantillons), ProCAD-clarifier a continué de surpasser les bases en termes d'Efficacité, de Résolution et de fidélité géométrique finale (CD Moyenne 1,28 contre 9,72 pour la meilleure base suivante).

5. Signification et Revendications

L'article affirme que ProCAD représente une étape importante pour rendre la CAO par texte robuste pour les applications d'ingénierie pratiques. Sa principale importance réside dans :

• Changement de Paradigme : Passer d'une génération « réactive » (où les modèles devinent les informations manquantes) à une clarification « proactive » (où les modèles demandent les informations manquantes). Cela s'aligne mieux sur les normes rigoureuses de la conception technique.
• Impact de la Qualité des Données : Les résultats suggèrent que la qualité de la description textuelle est un goulot d'étranglement critique. Les auteurs démontrent que même avec un modèle de base puissant, de mauvaises descriptions ou ambiguës mènent à l'échec, tandis que des descriptions de haute qualité et vérifiées permettent même à de plus petits modèles de surpasser de massifs modèles de pointe.
• Efficacité : Le cadre atteint un état de l'art en matière de robustesse avec des ensembles de données d'affinage relativement petits (1,6K pour le codage, 6K pour la clarification), remettant en question l'idée que la mise à l'échelle massive est toujours nécessaire pour une génération de CAO fiable.

Les auteurs concluent que les travaux futurs devraient se concentrer sur la collecte de jeux de données d'ambiguïté à grande échelle issus d'interactions humaines réelles et sur le développement de modèles de simulateurs d'utilisateurs dédiés pour affiner davantage le processus de clarification proactive.