CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

Dit paper introduceert CAD-Tokenizer, een raamwerk dat CAD-ontwerpen omzet in primitieve-bewuste tokens via een sequence-based VQ-VAE, waardoor tekstgestuurde CAD-prototyping en bewerking aanzienlijk effectiever worden dan met bestaande methoden.

De kern

Stel je voor dat je een 3D-ontwerper bent, zoals een architect of een ingenieur die auto's of meubels ontwerpt. In de echte wereld gebruiken ze speciale software (CAD) om objecten te bouwen. Maar hoe werkt die software eigenlijk? Het is niet alsof ze een blokje naar een ander blokje slepen. Nee, ze schrijven een recept of een bouwplan.

Dit bouwplan is een reeks van instructies: "Teken een lijn, maak er een cirkel van, duw dit omhoog, knip dit stuk eraf." Dit noemen ze een sequentie (een volgorde).

Het Probleem: De Verkeerde Vertaler

De onderzoekers in dit paper hebben een probleem ontdekt. Ze wilden een slimme computer (een AI) leren om deze bouwplannen te maken op basis van gewone tekst. Bijvoorbeeld: "Maak een stoel met een hoge rugleuning."

Het probleem was dat de standaard-AI's (zoals de grote taalmodellen die we vandaag de dag gebruiken) niet goed kunnen omgaan met deze technische bouwplannen.

• De analogie: Stel je voor dat je een boek in het Nederlands hebt, maar de vertaler die je gebruikt, breekt elk woord op in losse letters of rare stukjes. Het woord "extrude" (een techniekterm voor 'omhoog duwen') wordt door de standaard-AI opgebroken in [extru] en [sion].
• Het gevolg: De AI ziet alleen losse letters en leest de zin niet als een logisch geheel. Ze ziet geen "bouwstap", maar alleen rommel. Hierdoor maakt de AI fouten, bouwt ze rare vormen, of begrijpt ze niet wat je bedoelt met "knip dit stuk eraf".

De Oplossing: CAD-Tokenizer

De onderzoekers hebben een nieuwe tool bedacht, genaamd CAD-Tokenizer. Dit is als een speciale vertaler die is getraind om precies te weten wat een "bouwstap" is.

In plaats van woorden op te breken in letters, leert deze tool de AI om te denken in bouwstenen (primitieven):

1. De "Lego-blokjes": De AI leert dat een hele zin als line, 10, 7 eigenlijk één blokje is: "Teken een lijn van 10 naar 7".
2. De "Recept-stap": In plaats van te kijken naar letters, kijkt de AI naar hele stappen: "Doe een extrude-stap".

Hoe werkt dit in de praktijk?
Stel je voor dat je een chef-kok bent (de AI).

• De oude manier: De kok krijgt een recept geschreven in een taal die hij niet kent, en hij moet elk woord letterlijk uitspellen. Hij maakt een soep, maar omdat hij "ui" en "snijd" niet als één begrip ziet, gooit hij de ui in de soep zonder te snijden.
• De nieuwe manier (CAD-Tokenizer): De kok krijgt een kaart met duidelijke pictogrammen: "1. Snijd ui", "2. Bak ui", "3. Voeg water toe". Hij begrijpt direct wat de stap is en maakt een perfecte soep.

Twee Taken in Eén

Wat dit onderzoek zo speciaal maakt, is dat ze niet alleen een AI hebben gemaakt die nieuwe stoelen kan ontwerpen (van tekst naar 3D), maar ook een AI die bestaande stoelen kan aanpassen (tekst naar bewerking).

• Vroeger: Je had één robot voor het bouwen en een andere robot voor het repareren.
• Nu: Met CAD-Tokenizer heb je één slimme robot die beide kan. Hij begrijpt dat als je zegt "Maak de poten langer", hij niet de hele stoel opnieuw moet bouwen, maar alleen die specifieke stap moet aanpassen in het bouwplan.

De "Verkeersregelaar" (FSA)

Er is nog een slimme truc: de FSA (Finite State Automaton).
Stel je voor dat de AI een kind is dat bouwt met Lego. Het kind kan soms gekke dingen doen, zoals een blokje in de lucht laten zweven. Dat is geen geldig bouwwerk.
De onderzoekers hebben een verkeersregelaar gebouwd die naast de AI staat. Deze regelaar zegt: "Stop! Je kunt nu geen cirkel tekenen, want je bent nog niet klaar met de lijn."
Dit zorgt ervoor dat de AI alleen geldige, logische bouwplannen maakt. Geen zwevende blokken, alleen stevige constructies.

Conclusie

Kortom: CAD-Tokenizer is een nieuwe manier om computers te leren praten in de taal van ontwerpers.

• Het stopt met het opbreken van woorden in letters.
• Het leert de computer om te denken in logische bouwstappen.
• Het zorgt ervoor dat één AI zowel nieuwe ontwerpen kan maken als bestaande ontwerpen kan verbeteren.

Dit betekent dat in de toekomst ingenieurs en ontwerpers gewoon kunnen praten tegen hun computer: "Maak die deur breder en voeg een raam toe," en de computer zal precies weten wat er moet gebeuren, zonder dat er rare, onbruikbare vormen ontstaan. Het maakt het ontwerpen van de wereld om ons heen sneller en makkelijker.

Technische samenvatting

Probleemstelling

Computer-Aided Design (CAD) is fundamenteel voor industriële prototyping. CAD-modellen worden niet gedefinieerd door ruwe coördinaten, maar door sequenties van constructieoperaties (zoals schetsen en extrusies). Hoewel recente studies hebben aangetoond dat Large Language Models (LLM's) kunnen worden gebruikt voor tekst-gestuurde CAD-taken (zoals generatie en bewerking), bestaat er nog geen unified framework dat beide taken efficiënt combineert.

De kernproblemen met bestaande methoden zijn:

1. Ongeschikte Tokenisatie: Standaard LLM-tokenizers (zoals BPE) breken CAD-sequenties op in natuurlijke taal-woordstukken (bijv. "[extru] [-sion]"). Dit fragmenteert semantische primitieven (zoals lijnen, bogen, extrusieparameters) en verhindert dat de attention-mechanismen van het model de geometrische structuur en relaties tussen CAD-primitieven effectief modelleren.
2. Gebrek aan Unified Modellen: Bestaande werken behandelen "Text-to-CAD" (generatie van nul) en "CAD Editing" (modificatie van bestaande modellen) als gescheiden taken. Een systeem dat beide ondersteunt, vereist echter een ander type begrip dan een systeem dat slechts één van beide doet.
3. Syntactische Validiteit: Standaard generatiestrategieën (zoals top-p sampling) negeren de formele grammatica van CAD-talen, wat leidt tot ongeldige sequenties die niet kunnen worden gecompileerd door CAD-kernels.

Methodologie: CAD-Tokenizer

De auteurs introduceren CAD-Tokenizer, een framework dat specifiek is ontworpen om CAD-data te vertalen naar een token-ruimte die beter aansluit bij de structuur van CAD, en dit te integreren in een LLM voor unified text-based prototyping. De aanpak bestaat uit vier hoofdstappen:

1. Primitieve-gebaseerde VQ-VAE Tokenisatie:

   • In plaats van woorden te tokeniseren, wordt een Vector Quantized Variational Autoencoder (VQ-VAE) getraind om CAD-sequenties (bestaande uit schets-extrusie paren) te comprimeren naar discrete tokens op primitief-niveau.
   • Er wordt een speciale primitive pooling layer geïntroduceerd. In tegenstelling tot standaard VQ-VAE's die de hele sequentie samenvoegen tot één vector, genereert deze laag meerdere discrete representaties voor elk schets-extrusie paar. Dit behoudt zowel lokale als contextuele informatie.
   • De output zijn compacte, semantisch betekenisvolle tokens (bijv. één token voor een volledige kromme of extrusie) in plaats van karakters of woordstukken.

2. Aligneren met LLM Embeddings:

   • Omdat de VQ-VAE tokens in een andere vectorruimte zitten dan de embedding-ruimte van de LLM, worden adapter-laags gebruikt.
   • Deze adapters worden getraind om de VQ-VAE output bi-directioneel te mappen naar de embedding-ruimte van de LLM (in dit geval LLaMA-3-8b), zonder de backbone van de LLM te hoeven herschrijven. Dit zorgt voor naadloze integratie.

3. Unified Instruction Tuning:

   • De LLM wordt gefinetuned op een dataset die zowel "Text-to-CAD" generatie als "CAD Editing" taken bevat.
   • De input bestaat uit instructies en (optioneel) de oorspronkelijke CAD-sequentie, gecodeerd via de CAD-Tokenizer.
   • Door de compressie van de sequenties (minder tokens per CAD-model) is het trainen efficiënter en effectiever.

4. FSA-geleide Inferentie (Finite State Automaton):

   • Om syntactisch geldige CAD-sequenties te garanderen, wordt tijdens de inferentie een Finite State Automaton (FSA) gebruikt.
   • De FSA definieert de geldige overgangen tussen tokens (bijv. na een lijn moet er een <curve_end> komen, of na een extrusie-start moeten parameters volgen).
   • Tijdens het genereren worden de logit-masks van de LLM beperkt door de FSA, zodat alleen grammaticaal correcte tokens kunnen worden geselecteerd. Dit elimineert veel syntactische fouten.

Belangrijkste Bijdragen

1. Eerste Unified Framework: Het is het eerste systeem dat Text-to-CAD generatie en CAD-editing combineert in één model.
2. Modality-Specific Tokenizer: Ontwikkeling van een primitieve-gebaseerde VQ-VAE tokenizer die CAD-data omzet in discrete, semantische eenheden, in plaats van natuurlijke taal-fragmenten.
3. Adapter-Alignering: Een efficiënte methode om de token-ruimte van de VQ-VAE te aligneren met een bestaande LLM-backbone via adapters.
4. Grammatica-gedreven Sampling: Introductie van een FSA-strategie die de syntactische validiteit van gegenereerde CAD-modellen garandeert tijdens de inferentie.

Resultaten

De auteurs evalueren CAD-Tokenizer op zowel kwantitatieve als kwalitatieve metrics, vergeleken met state-of-the-art modellen (zoals CADFusion, CAD-Editor) en baselines (Vanilla LLaMA, GPT-4o).

• Kwantitatieve Prestaties:
  • CAD Editing: CAD-Tokenizer behaalt de beste resultaten op bijna alle metrics, inclusief F1-scores voor schetsen en extrusies (+10 punten verbetering ten opzichte van gespecialiseerde baselines), Chamfer Distance, en validiteit.
  • Text-to-CAD: Significant betere prestaties in het genereren van correcte sequenties en lagere Chamfer Distance vergeleken met baselines.
  • Validiteit: Het gebruik van FSA leidt tot een drastische daling van het "Invalidity Ratio" (ongeldige sequenties) vergeleken met standaard sampling methoden (top-p, beam search).
• Kwalitatieve Prestaties:
  • Het model volgt instructies nauwkeuriger bij bewerkingen (bijv. het toevoegen van een gat of veranderen van een vorm) zonder de oorspronkelijke structuur onnodig te behouden of te breken.
  • De gegenereerde modellen lijken meer op menselijke ontwerpen en vertonen minder structurele fouten dan baselines.
• Ablatie Studies:
  • Studies tonen aan dat primitieve pooling essentieel is; modellen zonder pooling (single token per paar) of standaard BPE-tokenizers presteren slecht.
  • De FSA-strategie is cruciaal voor het verminderen van syntactische fouten.

Betekenis en Impact

CAD-Tokenizer markeert een belangrijke stap in de automatisering van industriële ontwerpprocessen. Door de kloof tussen natuurlijke taal en de complexe, gestructureerde taal van CAD-oplossingen te overbruggen via modality-specifieke tokenisatie, maakt het:

• Efficiëntere Prototyping: Ontwerpers kunnen sneller itereren door zowel nieuwe modellen te genereren als bestaande modellen te bewerken via tekst.
• Betere Integratie: Het bewijst dat het mogelijk is om gespecialiseerde domeinkennis (CAD-grammatica) te integreren in generieke LLM's zonder de backbone volledig te vervangen.
• Toekomstige Richting: Het werk legt de basis voor meer geavanceerde CAD-assistenten die complexe ontwerpintenties kunnen begrijpen en uitvoeren, hoewel er nog uitdagingen blijven op het gebied van ruimtelijk redeneren en het hanteren van zeer complexe instructies.

Samenvattend biedt CAD-Tokenizer een robuust en efficiënt framework dat de beperkingen van standaard LLM-tokenizers voorbijstijgt en een nieuwe standaard zet voor tekst-gestuurde CAD-prototyping.