Technische Samenvatting: ProCAD – Proactieve Agenten voor Robuuste Text-to-CAD Generatie

1. Probleemstelling

Huidige text-to-CAD-systemen, die natuurlijke taalprompts vertalen naar parametrische CAD-programma's (specifiek CadQuery), kampen met een kritiek robuustheidsprobleem. Hoewel Large Language Models (LLM's) initiële vooruitgang hebben mogelijk gemaakt, werken ze doorgaans uit van de assumptie dat gebruikersprompts precies en consistent zijn. In de praktijk zijn geometrische beschrijvingen in natuurlijke taal vaak ondergespecificeerd (ontbrekende cruciale afmetingen) of intern inconsistent (bevatten tegenstrijdige beperkingen).

Bestaande benaderingen, of het nu gaat om one-shot generatie via fine-tuned LLM's of feedback-gebaseerde verfijning, behandelen de gebruikersprompt meestal als een betrouwbare specificatie. Wanneer zij geconfronteerd worden met ambiguïteit, "hallucineren" deze modellen vaak afmetingen om aan de vraag te voldoen, wat leidt tot ongeldige code of geometrisch incorrecte modellen. Dit beperkt het praktische nut van text-to-CAD voor echte engineeringtaken waar precisie essentieel is.

2. Methodologie

De auteurs stellen ProCAD voor, een proactief agentic framework ontworpen om specificatieproblemen op te lossen voordat de codesynthese plaatsvindt. Het systeem deelt de taak op in een twee-agenten pijplijn:

A. De Twee-Agenten Architectuur

1. Proactieve Verhelderende Agent ($\pi_\phi$):

   • Rol: Auditeert de gebruikersprompt om ontbrekende of tegenstrijdige beperkingen te detecteren.
   • Mechanisme: Gemodelleerd als een finite-horizon Markov Decision Process (MDP) waarbij de omgeving de gebruiker is. De agent beslist bij elke stap of hij de huidige specificatie ACCEPTEERT of een gerichte verhelderingsvraag STELT.
   • Doel: Maximaliseer een beloningsfunctie die geometrische getrouwheid (minimaliseren van Chamfer Distance) en communicatie-overhead (minimaliseren van interactierondes en tokenlengte) balanceert.
   • Strategie: De agent is getraind om minimale, essentiële vragen te stellen om een zelfconsistente specificatie te produceren, waarbij onnodige onderbrekingen worden vermeden.

2. CAD Codingsagent ($\pi_\theta$):

   • Rol: Vertaalt de gefinaliseerde, verhelderde specificatie naar een uitvoerbaar CadQuery-programma.
   • Mechanisme: Een standaard text-to-code generatiemodel dat is gefine-tuned op hoogwaardige, ondubbelzinnige data.

B. Data Creatie en Training Pijplijn

Om deze agenten te trainen, hebben de auteurs een nieuwe, hoogwaardige dataset en trainingsstrategie geconstrueerd:

• Hoogwaardige Text-to-CadQuery Dataset (10K samples):

  • Bron: Afgeleid van de DeepCAD dataset (Wu et al., 2021) via CadQuery-programma's.
  • Proces: In plaats van code te genereren vanuit tekst, rendert de pijplijn vormen vanuit meerdere gezichtspunten en gebruikt een frontier Vision-Language Model (GPT-5-mini) om natuurlijke taalbeschrijvingen te genereren geconditioneerd op zowel de afbeeldingen als de bron-CadQuery code.
  • Verificatie: Een "generate-then-verify" loop waarborgt de kwaliteit. Gegenereerde beschrijvingen worden gecontroleerd op:
    1. Code Leakage: Zorgen dat er geen ruwe codefragmenten in de tekst worden gekopieerd.
    2. Volledigheid: De beschrijving wordt teruggekoppeld naar de VLM om code te synthetiseren; als de resulterende geometrie overeenkomt met de grondwaarheid (Chamfer Distance $< 2 \times 10^{-4}$), wordt de sample geaccepteerd.
  • Verfijning: Samples die de controles niet halen, worden tot drie keer opnieuw geprobeerd; aanhoudende fouten worden gerouteerd naar menselijke experts.

• Training van de Codingsagent (ProCAD-coder):

  • Gefine-tuned via Supervised Fine-Tuning (SFT) op 1.6K zorgvuldig gecureerde, ondubbelzinnige samples uit de 10K dataset.
  • Base model: Qwen2.5-7B-Instruct.

• Training van de Verhelderende Agent (ProCAD-clarifier):

  • Getraind via Agentic SFT op een synthetische dataset van 6.063 samples.
  • Synthese: Ambigue prompts worden gecreëerd door geverifieerde specificaties te verstoren (het weglaten van afmetingen of het introduceren van conflicten).
  • Trajecten: De trainingsdata bevat volledige agent-trajecten waarbij de agent vragen stelt en antwoorden van een gesimuleerde gebruiker ontvangt (met behulp van GPT-5-mini als gebruikerssimulator) om tot een gecorrigeerde specificatie te komen.
  • Doel: Leren om ambiguïteit te identificeren en de minimale set vragen te stellen die nodig is om het op te lossen.

3. Belangrijkste Bijdragen

1. Proactief Agentic Framework: Een verschuiving van statische, one-shot generatie naar een dynamisch twee-agenten systeem dat proactief ambiguïteiten in specificaties detecteert en oplost vóór de codegeneratie.
2. Gecureerde Hoogwaardige Dataset: De creatie van een 10K text-to-CadQuery dataset met strikte leakage en volledigheidscontroles, wat aantoont dat schonere, preciezere beschrijvingen de downstream code synthese aanzienlijk verbeteren.
3. Efficiënte Training met Minimale Data:
   • De codingsagent bereikt superieure prestaties met slechts 1.6K gefine-tuned samples, waarmee zij frontier closed-source modellen overtreft.
   • De verhelderende agent is getraind op een synthetische dataset van 6.063 trajecten om ambiguïteit effectief te behandelen.
4. Robuustheid tegen Ambiguïteit: Het systeem vermindert de generatie van ongeldige code en geometrische fouten aanzienlijk wanneer het wordt geconfronteerd met ondergespecificeerde of conflicterende prompts.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ondubbelzinnige en ambigue testsets, waarbij ProCAD werd vergeleken met frontier modellen (bijv. Claude Sonnet 4.5, GPT-4o-mini) en eerdere open-source methoden.

• Codering Prestaties (Ondubbelzinnige Prompts):

  • ProCAD-coder reduceerde de Invalidity Ratio (IR) van ~86.9% (zero-shot Qwen2.5) naar 0.9%.
  • Het behaalde een mediane Chamfer Distance (CD) van 0.066 (geschaald $\times 10^{-3}$), waarmee het Claude Sonnet 4.5 (0.077) en eerdere methoden zoals Text-CAD (0.097) verslaat.

• Verhelderings Prestaties (Ambigue Prompts):

  • In een twee-agenten setting met gesimuleerde gebruikersreacties behaalde ProCAD (Clarifier + Coder) de laagste Mean CD (0.63) en Median CD (0.08).
  • Het reduceerde de Invalidity Ratio naar 0.9%, vergeleken met 14.6% voor de enkele-model Claude Sonnet 4.5 baseline.
  • Interactie Kwaliteit: ProCAD behaalde de hoogste Efficiency (0.9654) en Resolution (0.9341) scores, wat aangeeft dat het minder redundante vragen stelt en ambiguïteit succesvol oplost.

• Generalisatie:

  • Het systeem behield een hoge prestatie wanneer de gebruikerssimulator werd gewisseld van GPT-5-mini naar Claude 4.5 Haiku, wat duidt op robuustheid tegen out-of-distribution gebruikersgedrag.
  • Mensgerichte Evaluatie: In tests met echte menselijke annotatoren (100 samples) bleef ProCAD-clarifier de baselines overtreffen in Efficiency, Resolution en uiteindelijke geometrische getrouwheid (Mean CD 1.28 vs. 9.72 voor de op één na beste baseline).

5. Betekenis en Claims

Het artikel claimt dat ProCAD een belangrijke stap voorwaarts is in het robuust maken van text-to-CAD voor praktische engineeringtoepassingen. De primaire betekenis ligt in:

• Paradigmaverschuiving: Van "reactieve" generatie (waarbij modellen ontbrekende informatie raden) naar "proactieve" verheldering (waarbij modellen om ontbrekende informatie vragen). Dit sluit beter aan bij de rigoureuze standaarden van engineering design.
• Impact van Datakwaliteit: De resultaten suggereren dat de kwaliteit van de tekstbeschrijving een kritieke bottleneck is. De auteurs demonstreren dat zelfs met een sterk base model, slechte of ambigue beschrijvingen leiden tot falen, terwijl hoogwaardige, geverifieerde beschrijvingen zelfs kleinere modellen in staat stellen om massieve frontier modellen te overtreffen.
• Efficiëntie: Het framework bereikt state-of-the-art robuustheid met relatief kleine fine-tuning datasets (1.6K voor codering, 6K voor verheldering), wat de opvatting uitdaagt dat enorme schaal altijd vereist is voor betrouwbare CAD-generatie.

De auteurs concluderen dat toekomstig werk zich moet richten op het verzamelen van grootschalige ambiguïteitsdatasets uit echte menselijke interacties en het ontwikkelen van toegewijde gebruikers-simulator modellen om het proces van proactieve verheldering verder te verfijnen.