🤖 AI

MUSE: Benchmarking Manufacturable, Functional, and Assemblable Text-to-CAD Generation

Dit artikel introduceert MUSE, een nieuwe benchmark en evaluatiekader dat is ontworpen om Text-to-CAD-generatie voorbij eenvoudige geometrische gelijkenis te brengen door complexe, bewerkbare B-Rep-assemblages te beoordelen op basis van kritieke engineeringcriteria zoals functionaliteit, maakbaarheid en monteerbaarheid.

Oorspronkelijke auteurs: Xiaoyu Dong, Zhi Li, Xiao-Ming Wu

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyu Dong, Zhi Li, Xiao-Ming Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, creatieve robot hebt die naar je stem kan luisteren en tekeningen van 3D-objecten kan maken. Als je zegt: "Maak me een stoel", tekent het misschien een prachtige stoel die perfect oogt op een scherm. Maar in de echte wereld is een stoel niet zomaar een afbeelding; het is iets dat je moet bouwen, in elkaar moet zetten en waarop je moet kunnen zitten zonder dat het instort.

Dit artikel introduceert een nieuwe test genaamd MUSE om te zien of onze huidige "slimme robots" (AI-modellen) in staat zijn om daadwerkelijk echte, realiseerbare objecten te ontwerpen, en niet alleen maar mooie afbeeldingen.

Hier is de uiteenzetting van wat ze deden, met behulp van enkele eenvoudige analogieën:

1. Het Probleem: Tekenen versus Bouwen

Voorheen waren AI-tests voor 3D-ontwerp als een kunstles op de middelbare school. De leraar zou zeggen: "Teken een stoel", en het cijfer was gebaseerd op hoe sterk de tekening leek op een echte stoel. Als de poten iets scheef waren maar het er nog steeds uitzag als een stoel, kreeg het een A.

Maar in de echte wereld (techniek) is een stoel met scheve poten een ramp. Hij kan wiebelen, breken, of onmogelijk zijn te bouwen met hout of plastic. De oude tests controleerden niet of de stoel daadwerkelijk zou werken.

2. De Nieuwe Test: MUSE (Het "Meesterbouwer"-examen)

De auteurs hebben MUSE gecreëerd, wat vergelijkbaar is met een eindexamen voor een Meesterbouwer. In plaats van de AI alleen te vragen om "een stoel te tekenen", geven ze hem een gedetailleerde Ontwerpspecificatie. Denk hierbij aan een strikte blauwdruk die zegt:

Wat het is: Een houten stoel.
Hoe het te bouwen: Gebruik CNC-machines (zoals een superprecieze zaag).
Hoe het in elkaar te zetten: De poten moeten in het zitvlak passen met specifieke verbindingen.
De Regels: Het hout mag niet te dun zijn, anders breekt het. De delen mogen niet op een manier overlappen die het onmogelijk maakt om ze te zagen.

3. Het Driefasenfilter (De Trechter)

Het artikel test de AI in drie strikte fasen, als een trechter die slechte ontwerpen bij elke stap filtert:

Fase 1: De Code-check (Kan het de taal spreken?)
De AI moet een computerprogramma (een script) schrijven om het object te bouwen. Als de code een typefout of een logische fout bevat, crasht het programma.
- Analogie: Het is alsof je een chef vraagt om een recept te schrijven. Als het recept zegt "voeg zout toe" maar vergeet te zeggen hoeveel, is het gerecht al geruïneerd voordat het begint.
- Resultaat: Veel AIs faalden hier. Ze konden niet eens een werkend script schrijven.
Fase 2: De Geometrie-check (Is de vorm geldig?)
Als de code draait, bouwt de computer het 3D-model. Vervolgens controleren ingenieurs of de vorm fysiek logisch is. Is het waterdicht (geen gaten)? Overlappen de delen op een vreemde manier?
- Analogie: Stel je voor dat de chef het recept heeft gevolgd, maar de taart die hij gebakken heeft een gat in het midden heeft of de glazuur smelt in de cake. Het ziet eruit als een taart, maar je kunt het niet eten.
- Resultaat: Zelfs wanneer de code werkte, hadden de vormen vaak "glitches" die ze onmogelijk maakten voor productie.
Fase 3: De Ontwerpdoel-check (Werkt het daadwerkelijk?)
Dit is het moeilijkste deel. De AI slaagt voor de code- en vormcontroles, maar werkt de stoel dan echt? Kun je erop zitten? Is hij stabiel? Kun je de onderdelen in elkaar zetten?
- Analogie: De chef bakte een perfect ogende taart, maar deze is gemaakt van steen. Het ziet eruit als een taart, maar het is onbruikbaar om te eten.
- Resultaat: Hier deed de grootste daling zich voor. Zelfs de slimste AIs hadden moeite om ontwerpen te maken die echt functioneel, realiseerbaar en eenvoudig in elkaar te zetten waren.

4. De "Rubric"-rechter (De Strikete Leraar)

Om deze ontwerpen te beoordelen, vroegen de onderzoekers niet zomaar een mens om ze te bekijken (wat traag en duur is). Ze bouwden een speciale AI-rechter (een Vision-Language Model) die fungeert als een strikte leraar.

Deze rechter zegt niet zomaar "Het ziet er goed uit". Hij controleert tegen een Rubric (een checklist).
De Checklist: "Is het been verbonden met het zitvlak? Is het hout dik genoeg? Zijn de verbindingen strak?"
De onderzoekers testten deze AI-rechter tegen menselijke experts en ontdekten dat deze in ongeveer 83% van de gevallen met hen overeenkwam. Dit betekent dat de computer de ontwerpen betrouwbaar kan beoordelen zonder dat een mens elke individuele eenheid hoeft te controleren.

5. De Grote Ontdekking

Het artikel vond een "Faalketen".

Als je een AI vraagt om een complex, realiseerbaar object te ontwerpen:
1. Faalt het vaak bij het schrijven van de code.
2. Als het de code schrijft, is de vorm vaak gebroken.
3. Als de vorm perfect is, faalt het ontwerp meestal om in de echte wereld te werken (het is instabiel of onbouwbaar).

Zelfs de krachtigste AI-modellen (de "slimste") slaagden er slechts in ongeveer 20% tot 50% van de tijd om de uiteindelijke "Ontwerpdoel"-check te doorstaan (afhankelijk van het model). De open-source modellen (gratis) deden het nog slechter, vaak met een score dicht bij nul op de uiteindelijke technische criteria.

De Conclusie

Het artikel concludeert dat AI, hoewel het geweldig is in het laten lijken van dingen op 3D-objecten, nog steeds zeer slecht is in het maken van dingen die werkelijk bruikbaar zijn.

We bevinden ons momenteel op een punt waar AI een stoel kan tekenen, maar nog geen stoel kan ontwerpen die een timmerman kan bouwen en waarop een mens veilig kan zitten. De MUSE-benchmark is een nieuw instrument om AI-ontwikkelaars te dwingen op te houden met het maken van mooie afbeeldingen en te beginnen met het maken van echte, werkende ontwerpen.

Technische Samenvatting: MUSE Benchmark voor Tekst-naar-CAD Generatie

Probleemstelling

Hoewel Large Language Models (LLM's) tekstgestuurde 3D-generatie hebben verbeterd, blijft de specifieke taak van Tekst-naar-CAD (het genereren van bewerkbare, boundary representation (B-Rep) modellen uit natuurlijke taal) ontoereikend voor industrieel productontwerp. Bestaande benchmarks richten zich voornamelijk op CAD-modellen van enkele onderdelen en vertrouwen op meetkunde-gerelateerde vergelijkingsmaten (zoals Chamfer Distance). Deze maten slagen er niet in om kritieke engineeringvereisten te vatten: functionaliteit, maakbaarheid en assembleerbaarheid. Bijgevolg kunnen huidige evaluaties niet bepalen of een gegenereerd model een levensvatbaar ontwerp is of slechts een visueel plausibele vorm. Bovendien ontbreken in bestaande datasets vaak meercomponentige structuren en assemblagebeperkingen, wat hun bruikbaarheid voor real-world fabricage beperkt.

Methodologie

De MUSE Benchmark

De auteurs introduceren MUSE, een benchmark ontworpen om de generatie van complexe, bewerkbare B-Rep-assemblages te evalueren. In tegenstelling tot eerdere werken, richt MUSE zich op complete ontwerpproducten die worden gedefinieerd door gestructureerde Ontwerpspecificaties ( $S$ ). Elke specificatie ontbindt een hoog-niveau doel in vier componenten:

Ontwerpbeschrijving ( $D$ ): Hoog-niveau tekst die het object beschrijft.
Fysisch Assemblage-Graph ( $G$ ): Een ongerichte graaf waarbij hoekpunten fysische componenten vertegenwoordigen (bijv. poten, panelen) en randen fysische interfaces vertegenwoordigen.
Geldige Parameter Ruimte ( $\Omega$ ): Toelaatbare bereiken voor componentparameters (afmetingen, dikte) die worden beperkt door functionele en fabricagevereisten.
Fabricageplan ( $M$ ): Beperkingen met betrekking tot materiaalkeuze (bijv. Hout, PLA) en fabricagemethoden (bijv. CNC-frezen, 3D-printen), inclusief tolerantiegrenzen en geometrische beperkingen.

Dataset Constructie:
De dataset van 106 ontwerpproducten werd samengesteld via een "Human-in-the-loop"-proces:

Seed Modeling: Expertontwerpers creëerden hoogwaardige STEP-modellen en bijbehorende CadQuery-scripts.
LLM Augmentatie: LLM's (Claude Opus 4.7) breidden deze scripts uit om diverse varianten te creëren (stijl- en functioneel).
Engineering Views: In plaats van gerenderde afbeeldingen, extrahert het systeem precieze 2D-engineering views (Boven, Voorkant, Rechts, Isometrisch) met verborgen lijnen om een accurate geometrische beoordeling te waarborgen.
Specificatie Synthese: LLM's genereerden gestructureerde Ontwerpspecificaties op basis van de modellen, die vervolgens werden beoordeeld en gecorrigeerd door menselijke experts.

Drie-staps Evaluatieprotocol

MUSE hanteert een trechterstijl evaluatieproces waarbij een model elke fase moet doorstaan om door te gaan naar de volgende:

Code Check: Het gegenereerde CadQuery-script wordt uitgevoerd in een sandbox. Succes vereist dat het script zonder fouten draait en een geldig STEP-bestand exporteert.
Geometrische Check: Het geëxporteerde STEP-bestand ondergaat vier binaire checks:
- Waterdicht: Geen open grenzen.
- Manifold: Geldige topologie.
- Zelfdoorsnijding-vrij: Geen interne overlappingen.
- Overlap-vrij: Distincte componenten doordringen elkaar niet.
Ontwerpintentie-uitlijning: Geldige modellen worden omgezet naar engineering views en geëvalueerd door een Op Rubric Gebaseerde Visuele Taalmodel (VLM) Rechter. De rechter gebruikt ontwerpspecifieke rubrics (gegenereerd vanuit de Ontwerpspecificatie, referentietekeningen en engineeringkennis Tabellen) om te beoordelen:
- Functionaliteit: Ondersteunt het ontwerp zijn beoogde gebruik en blijft het stabiel?
- Maakbaarheid: Voldoet de geometrie aan materiaal- en procesbeperkingen (bijv. wanddikte, tolerantie)?
- Assembleerbaarheid: Zijn de componenttopologie en voeginterfaces correct behouden?

Belangrijkste Bijdragen

Verschuiving in Evaluatieparadigma: MUSE gaat verder dan geometrische gelijkenis om engineering bruikbaarheid te evalueren, en test expliciet op functionaliteit, maakbaarheid en assembleerbaarheid.
Gestructureerde Ontwerpspecificaties: De introductie van een formele definitie voor Ontwerpspecificaties ( $S = \langle D, G, \Omega, M \rangle$ ) biedt een rigoureus kader voor het definiëren van complexe, meercomponentige assemblages met geldige parameterruimten.
Op Rubric Gebaseerde VLM Rechter: Het artikel stelt een schaalbare evaluatiemethode voor met behulp van een VLM-rechter die wordt geleid door fijnmazige, ontwerpspecifieke rubrics. Deze aanpak reduceert hallucinaties door de evaluatie te verankeren in engineeringbeperkingen en referentieviews, gevalideerd tegen menselijke annotaties.
Uitgebreide Dataset: Een dataset van 106 diverse, maakbare en assembleerbare ontwerpproducten die verschillende materialen (Hout, PLA, ABS, enz.) en processen (CNC, 3D-printen, Laser snijden) bestrijken.

Experimentele Resultaten

De auteurs evalueerden zowel gesloten-bron (bijv. GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro) als open-source LLM's (bijv. Qwen, Llama) op MUSE.

Falingscascade: Resultaten tonen een duidelijke achteruitgang in prestaties over de drie fasen heen. Hoewel sommige modellen matig succesvol zijn in Code-executie (bijv. GPT-5.5 bij ~77%), daalt de prestatie aanzienlijk in Geometrische Validiteit (bijv. ~69% voor GPT-5.5) en stort verder in bij Ontwerpintentie-uitlijning (bijv. ~52% voor GPT-5.5).
Fijnmazige Tekortkomingen: Zelfs de sterkste modellen worstelen met specifieke engineeringcriteria. Bijvoorbeeld, de beste gesloten-bronmodellen behaalden slechts ~43% op Assembleerbaarheid en ~48% op Maakbaarheid. Open-source modellen presteerden aanzienlijk slechter, waarbij ze vaak faalden om geldige assemblages te produceren.
Code versus Geometrie: Hoge code-uitvoerbaarheid garandeert geen geometrische validiteit of ontwerpintentie-uitlijning, wat aangeeft dat huidige modellen gebrek hebben aan robuuste 3D-ruimtelijke redenering en engineeringbeperkingen-handhaving.
Betrouwbaarheid van de Rechter: De op rubric gebaseerde VLM-rechter toonde een sterke correlatie met menselijke annotaties (Pearson $r \approx 0,71$ op het niveau van sub-criteria en $r \approx 0,83$ op het niveau van ontwerpproduct), wat het gebruik ervan voor geautomatiseerde evaluatie valideert.

Betekenis

Het artikel stelt dat Tekst-naar-CAD makkelijker te meten is als vormgeneratie dan op te lossen als ontwerpgeneratie. MUSE verhoogt de lat door te eisen dat gegenereerde CAD-modellen niet alleen "goed" zijn qua vorm, maar ook "goed" zijn in engineeringpraktijk – in staat om te worden gebouwd, gemonteerd en gebruikt. De benchmark blootlegt een kernzwakte in huidige LLM's: hoewel ze code kunnen synthetiseren, falen ze coherent assemblages te genereren die gekoppelde geometrische en engineeringbeperkingen bevredigen. Door een realistische benchmark en evaluatiekader te bieden, streeft MUSE ernaar toekomstig onderzoek te sturen naar modellen die echt functionele en maakbare ontwerpen kunnen genereren.