Technische Samenvatting: Fundatiemodellen voor Automatische CAD-generatie

Probleemstelling

De automatisering van mechanisch ontwerp blijft een aanzienlijke uitdaging in de engineeringinformatica. Traditionele Computer-Aided Design (CAD)-workflows vereisen gespecialiseerde kennis van constraint-gebaseerde parametrische modellering en scripting, wat een barrière vormt voor niet-specialisten en de integratie in geautomatiseerde verwerkingsketens belemmert. Hoewel Large Language Models (LLM's) het vermogen hebben aangetoond om gestructureerde code te genereren vanuit natuurlijke taal, bestaat er een kritieke kloof tussen het genereren van syntactisch geldige code en het produceren van semantisch correcte, produceerbare 3D-geometrieën. Een script kan zonder fouten parsen, maar toch een onderdeel opleveren met onjuiste afmetingen, ontbrekende kenmerken of topologische defecten die downstream meshing of simulatie verhinderen. Dit artikel behandelt de noodzaak van een robuust evaluatiekader om het vermogen van fundatiemodellen te beoordelen bij het vertalen van specificaties in natuurlijke taal naar geldige parametrische CAD-ontwerpen, specifiek voor mechanische onderdelen.

Methodologie

De auteurs introduceren LLMForge, een multi-model text-to-CAD framework ontworpen om de output van fundatiemodellen te evalueren en te verfijnen via een verenigde pipeline en een gecureerde benchmark.

Benchmark Dataset

De studie maakt gebruik van een benchmark van 97 engineering ontwerpproblemen afkomstig uit vier canonieke geometriefamilies:

1. Rechthoekige platen met gaten en boutcirkels.
2. Multi-feature boxen (hol en solide).
3. Flenscilinders.
4. L-brackets.

Elk probleem is gekoppeld aan een grondwaarheid-kenmerkenspecificatie (aantal gaten, afmetingen, oppervlaktebehandelingen) die wordt gebruikt om analytische adherentiescores te berekenen. Modellen worden geprompt om een strikt gestructureerd JSON-object te produceren dat de CAD-parameters vertegenwoordigt, in plaats van vrije tekstuele code.

Evaluatie Pipelines

Het framework evalueert zeven state-of-the-art fundatiemodellen (DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1, en INTELLECT) onder twee verschillende kritiekregimes, die beide een iteratieve verfijningslus toepassen (tot 4 ronden):

1. IterTracer (Analytisch Regime):

   • Mechanisme: Maakt gebruik van een deterministische, differentiële geometrische analyse van gerenderde bitmaps.
   • Proces: Een Phong-shaded ray-trace renderer genereert orthografische weergaven. Een analytische scorer berekent vijf sub-signalen: silhouette IoU, gat-zichtbaarheid, randvrijheid (edge clearance), aspectverhouding-conformiteit en doorsnede-consistentie.
   • Feedback: Deze metrieken worden omgezet in een scalaire kritiek en teruggekoppeld naar het model voor verfijning. Dit regime is lichtgewicht, snel en introduceert geen stochastische variantie.

2. IterVision (Semantisch Regime):

   • Mechanisme: Augmenteert de analytische scorer met een Vision-Language Model (VLM) gebaseerde semantische criticus (Qwen2.5-VL-72B).
   • Proces: De VLM evalueert gerenderde weergaven van kandidaat-geometrieën met behulp van chain-of-thought redenering om ruimtelijke coherentie en ontwerpintentie te beoordelen.
   • Feedback: De VLM levert een semantische matchscore ($s_{vlm}$) en gestructureerde tekstuele feedback (ontbrekende kenmerken, geometrische problemen), die samen met de analytische metrieken in de verfijningsprompt wordt opgenomen.

Scoring Assen

Gegenereerde onderdelen worden geëvalueerd langs onafhankelijke assen:

• Validatie ($s_{val}$): JSON-schema conformiteit.
• Mesh ($s_{mesh}$): Binaire indicator van succesvolle watertight mesh-generatie.
• Kenmerk ($s_{feat}$): Analytische vergelijking met de grondwaarheid-specificaties.
• Visueel ($s_{vis}$): Composiet van de vijf analytische visuele sub-signalen.
• VLM Semantiek ($s_{vlm}$): (Alleen bij IterVision) Semantische matchscore van de VLM-criticus.

Belangrijkste Bijdragen

1. IterTracer Pipeline: Een iteratief text-to-CAD generatiesysteem dat gebruikmaakt van analytische visuele metrieken voor lichtgewicht, geometrie-bewuste feedback zonder secundaire neurale modellen.
2. IterVision Pipeline: Een uitbreiding die een VLM-gebaseerde semantische criticus integreert om ruimtelijke coherentie en ontwerpintentie te evalueren, wat een nieuwe dimensie aan de evaluatie introduceert.
3. Omvattende Benchmark: Een dataset van 97 engineering problemen over vier geometriefamilies, gekoppeld aan grondwaarheid-specificaties voor analytische scoring.
4. Empirische Evaluatie: Een vergelijkende studie van zeven fundatiemodellen over beide pipelines, inclusie van per-ronde convergentietrajecten en volledige mesh-kwaliteit statistieken.

Experimentele Resultaten

• Top-Tier Prestaties (IterTracer): Vier modellen (DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B) vormden een nauwe prestatiecluster met algemene scores in het bereik $[0.885, 0.890]$ en een mesh-succespercentage van 98,97%. Dit suggereert dat de taak een verzadigingspunt heeft bereikt voor top-tier instruction-tuned modellen onder analytische kritiek.
• Impact van VLM Kritiek (IterVision): De toevoeging van de VLM-as verlaagde de algemene scores uniform met ongeveer 0,04 punten voor de top-cluster, wat wijst op een veeleisendere semantische beoordeling. Echter, Gemma-3-27B bereikte een 100% mesh-succespercentage (97/97) waarbij alle meshes watertight en topologisch valide waren.
• Model Differentiatie: De VLM-as onthulde prestatieverschillen die niet zichtbaar waren in de analytische metrieken. Zo leidde DeepSeek-V3.2 in semantische match ($s_{vlm}$), terwijl Gemma-3-27B het laagst scoorde onder de top vier op deze specifieke as, ondanks de perfecte mesh-generatie.
• Foutmodi: Lagere-tier modellen vertoonden duidelijke foutpatronen. GLM-4.5 vertoonde hoge variantie met incidentele schema-fouten, terwijl MiniMax-M2.1 en INTELLECT leden onder fundamentele geometrische fouten (bijv. malafide parameters die uitzonderingen in de mesh-generatie veroorzaakten). Opvallend genoeg vertoonde INTELLECT een "visueel-geometrische ontkoppeling", waarbij de gerenderde outputs hoge VLM-scores ontvingen ondanks het falen van de mesh-validatie.
• Geometrische Moeilijkheidsgraad: Cilindrische geometrieën scoorden consistent 0,04–0,07 punten lager dan platen en L-brackets, toegeschreven aan het gebrek aan planaire gat-kenmerken (wat visuele discriminatoren vermindert) en een mogelijke onderrepresentatie van rotationeel symmetrische onderdelen in de VLM-trainingsdata.
• Verfijningsdynamiek: Onder IterTracer piekten topmodellen in ronde 1 en namen daarna af, wat suggereert dat analytische feedback discrete fouten in één enkele pass corrigeert. Onder IterVision bleven modellen verbeteren door rondes 2 en 3, wat aangeeft dat semantische feedback een continue kwaliteit-gradiënt biedt die diepere zoekopdrachten ondersteunt.

Betekenis en Claims

Het artikel claimt dat compacte instruction-tuned modellen betrouwbaarheid kunnen bereiken die concurrerend is met aanzienlijk grotere systemen voor de parametrische CAD-generatie van canonieke geometrieën. De studie toont aan dat:

• Analytische vs. Semantische Feedback: Analytische feedback is zeer effectief voor snelle constraint-satisfactie (schema en mesh validiteit), maar verzadigt snel. Semantische visuele feedback (VLM) is noodzakelijk om residuele variaties in ontwerpintentie en ruimtelijke coherentie te ontdekken die analytische metrieken missen.
• Integratie in Industriële Workflows: De gestructureerde JSON-representatie en het multi-round kritiekprotocol zijn geschikt voor integratie in engineering Product Data Management (PDM) workflows. De auteurs suggereren een tweestapsstrategie: het gebruik van analytische kritiek voor snelle generatie en selectieve VLM-aanroeping voor hoogwaardige of ambigue onderdelen om de balans tussen token-uitgave en kwaliteit te bewaken.
• Benchmark Verzadiging: De bijna identieke prestaties van topmodellen onder analytische kritiek suggereren dat huidige benchmarks onvoldoende zijn om state-of-the-art modellen te differentiëren, wat de noodzaak voor de inclusie van semantische evaluatie-assen onderstreept.

De auteurs concluderen dat hoewel de huidige reikwijdte beperkt is tot canonieke geometrieën, het framework een fundament biedt voor toekomstig onderzoek naar schaalbare, geautomatiseerde mechanische vormgeving, inclusioneel van vrije oppervlakken (freeform surfaces) en fabricage-specifieke restricties.