Technische Samenvatting: Text2CAD-Bench

Probleemstelling

Hoewel Large Language Models (LLM's) de vooruitgang bij het genereren van parametrische Computer-Aided Design (CAD)-modellen uit natuurlijke taal hebben versneld, blijft de systematische evaluatie van deze systemen kritiek beperkt. Bestaande benchmarks lijden onder drie primaire tekortkomingen die het menselijke ontwerpdoelwit in strijd brengen met machine-uitvoerbare representaties:

1. Beperkte Geometrische Complexiteit: Huidige datasets bestaan voornamelijk uit eenvoudige schets-extrude-primitieven, zonder ondersteuning voor geavanceerde modelleringseigenschappen die essentieel zijn voor de productie in de echte wereld, zoals afbraken, hoekstralen, zwenkbewegingen, loftbewegingen en vrijvormoppervlakken.
2. Smalle Domeincoverage: Vorige benchmarks richten zich bijna uitsluitend op traditionele mechanische onderdelen, en negeren diverse toepassingen in medische hulpmiddelen, consumentenproducten en architecturale fabricage.
3. Onvoldoende Taaldiversiteit: Bestaande beschrijvingen spiegelen vaak laag-niveau commandosequenties weer in plaats van hoog-niveau ontwerpdoelwitten te verwoorden. Dit moedigt modellen aan om oppervlakkige "commando-vertaal"-koppelingen te leren in plaats van echte "vormbegrip" te bereiken.

Methodologie

De auteurs introduceren Text2CAD-Bench, de eerste uitgebreide benchmark ontworpen om tekst-naar-parametrische CAD-generatie te evalueren over een strikt gedefinieerde complexiteitshiërarchie en diverse toepassingsdomeinen.

Benchmarkconstructie

De benchmark bestaat uit 600 door mensen gecureerde voorbeelden, georganiseerd in vier progressieve niveaus (L1–L4) en gekoppeld aan dubbel-stijl natuurlijke taal prompts:

• Geometrische Beschrijvingen: Imiteren niet-expert gebruikers door vormen te karakteriseren via uiterlijk, ruimtelijke relaties en globale-naar-lokale details.
• Sequentiebeschrijvingen: Sluiten aan bij expert-niveau CAD-conventies, en specificeren stap-voor-stap constructielogica.

De constructiepijplijn volgt een mens-in-de-lus-proces:

1. Ontwerpspecificatie: Definiëren van doelgeometrie en complexiteitsniveaus.
2. Collaboratief Auteurwerk: Menselijke ontwerpers specificeren geometrie en ontwikkelen iteratief CadQuery-code (een Python-gebaseerde API) met AI-ondersteuning, waarbij geldige, waterdichte meshes en overeenkomende complexiteitsniveaus worden gewaarborgd.
3. Generatie van Beschrijvingen: Het creëren van de dubbel-stijl prompts voor elk gevalideerd model.
4. Kwaliteitsborging: Verifiëren van uitvoerbaarheid, correspondentie tussen beschrijving en geometrie, en consistentie tussen stijlen.

Complexiteitsniveaus

• L1 (Basis): Fundamentele geometrie met primitieve vormen en basis ruimtelijke relaties.
• L2 (Gemiddeld): Compositional complexiteit die boolean-operaties en standaard CAD-functies omvat (bijv. hoekstralen op boolean-sneden).
• L3 (Geavanceerd): Geavanceerde operaties inclusief zwenkbewegingen, loftbewegingen, schillen en complexe patronen, waarbij beheersing van pad-gebaseerde geometrie en vrijvormoppervlakken vereist is.
• L4 (Echte Wereld): 100 voorbeelden die diverse domeinen bestrijken (industrieel, consument, medisch, architecturaal). Deze evalueren generalisatie binnen toepassingscontexten (bijv. "geschikt voor M4-schroef") terwijl precieze geometrische parameters worden gehandhaafd.

Evaluatiemetrics

De benchmark hanteert een multi-metric benadering om zowel codevaliditeit als geometrische fideliteit te beoordelen:

• Chamfer-afstand (CD): Meet geometrische gelijkenis tussen gegenereerde en ground-truth meshes.
• Ongeldigheidspercentage (IR): Het percentage codesamples dat faalt bij uitvoering vanwege syntaxisfouten, time-outs of gedegenereerde geometrie.
• Intersection over Union (IoU): Meet volumetrische overlap.
• VLM-gebaseerde Evaluatie (voor L4): Aangezien vergelijking van ground-truth code onvoldoende is voor contextuele ontwerpkwaliteit, scoort een Vision-Language Model (GLM4.6V) gegenereerde modellen op 8 multi-view renderings over vijf functiecategorieën en algehele gelijkenis.

Belangrijkste Bijdragen

1. Datasetconstructie: Het creëren van een dataset van 600 voorbeelden die het gebrek aan geavanceerde geometrische operaties (afbraken, hoekstralen, zwenkbewegingen, loftbewegingen) en toepassingsdiversiteit in vorige benchmarks aanpakt.
2. Dubbel-stijl Promptontwerp: De introductie van geometrische en sequentie promptstijlen, met empirisch bewijs dat aantoont dat geometrische beschrijvingen over het algemeen superieure generatieprestaties opleveren op basis taken, terwijl sequentiebeschrijvingen voordelen tonen op complexe, procedurale taken.
3. Uitgebreide Evaluatie: Een rigoureuze beoordeling van mainstream algemene LLM's (bijv. GPT-5.2, Claude-4.5, DeepSeek-V3.2) en domeinspecifieke modellen, waarbij significante prestatiekloven worden blootgelegd op het gebied van geavanceerde functies en scenario's uit de echte wereld.

Experimentele Resultaten

Experimenten uitgevoerd op Text2CAD-Bench onthullen enkele kritieke bevindingen:

• Prestatieachteruitgang met Complexiteit: Hoewel modellen redelijk presteren op L1–L2-taken, verslechtert de prestatie aanzienlijk op L3. De Chamfer-afstand neemt toe met 1,3–2,1×, en Ongeldigheidspercentages stijgen van ongeveer 15% naar 70–90% naarmate modellen geavanceerde functies zoals zwenkbewegingen en loftbewegingen tegenkomen.
• Promptstijlgevoeligheid: Geometrische beschrijvingen presteren beter dan sequentiebeschrijvingen op L1–L2 over meerdere metrics. Dit voordeel neemt echter af of keert zich om op L3, waarbij de procedurale aard van geavanceerde operaties sequentiebeschrijvingen effectiever maakt voor het verwoorden van constructielogica.
• Algemene versus Domeinspecifieke Modellen: Er bestaat een opvallende divergentie tussen modelcategorieën. Domeinspecifieke modellen (bijv. Text2CAD) bereiken vaak lage Ongeldigheidspercentages maar uiterst slechte geometrische fideliteit (hoge CD, bijna-nul IoU), wat suggereert dat ze syntactisch geldige maar geometrisch onnauwkeurige code genereren. Omgekeerd tonen algemene LLM's betere geometrische uitlijning maar worstelen met code-uitvoering op complexe taken.
• Ontkoppeling van Capaciteiten in Scenario's uit de Echte Wereld (L4): Evaluatie van L4 onthult dat code-uitvoerbaarheid, geometrische precisie en begrip van ontwerpdoelwitten grotendeels onafhankelijke dimensies zijn. Geen enkel model domineert alle drie; bijvoorbeeld, een model met het laagste Ongeldigheidspercentage kan slecht scoren op functieniveau-ontwerpvragen, terwijl een model met hoge geometrische gelijkenis het functionele context kan missen.

Betekenis en Claims

Het artikel positioneert Text2CAD-Bench als een uitdagend doel voor toekomstig onderzoek, en stelt vast dat tekst-naar-CAD grotendeels onopgelost blijft buiten basisgeometrie. De auteurs claimen dat huidige state-of-the-art systemen aanzienlijk worstelen met geavanceerde functies en toepassingscontexten uit de echte wereld, wat wijst op de noodzaak van aanzienlijke vooruitgang in modelcapaciteiten of trainingsdata voordat betrouwbare professionele workflows kunnen worden ondersteund.

Bovendien benadrukt de studie dat outputrepresentatie kritiek belangrijk is, en toont aan dat Python-gebaseerde CadQuery-representaties modellen in staat stellen beter gebruik te maken van voorgeöorde codegeneratiecapaciteiten in vergelijking met traditionele commandosequenties. Tot slot onderstreept de benchmark de noodzaak van multidimensionale evaluatie, aangezien optimalisatie voor codecorrectheid of geometrische fideliteit in isolatie geen garantie biedt voor succes in holistische ontwerptaken. De auteurs geven de benchmark vrij om vooruitgang in het veld te stimuleren, en erkennen dat hoewel 600 voorbeelden de volledige CAD-ontwerpruimte niet exhaustief kunnen vertegenwoordigen, ze een noodzakelijke, hoogwaardige basis bieden voor het diagnosticeren van modelbeperkingen.