Technische Samenvatting: Computer-Aided Design Generatie door Gekaskadeerd Discreet Diffusiemodel

1. Probleemstelling

Computer-Aided Design (CAD) is een hoeksteen van moderne engineering, maar de creatie ervan blijft sterk afhankelijk van arbeidsintensieve, handmatige workflows die vatbaar zijn voor menselijke fouten. Hoewel recente deep learning-benaderingen hebben geprobeerd CAD-generatie te automatiseren door modellen voor te stellen als sequenties van discrete commando's en parameters, lopen bestaande methoden tegen een fundamentele beperking aan.

Huidige state-of-the-art methoden, zoals autoregressieve modellen of continue diffusiemodellen (bijvoorbeeld Diffusion-CAD), embedden vaak discrete CAD-tokens in een continue Euclidische ruimte. De auteurs betogen dat deze benadering fundamenteel niet in overeenstemming is met de aard van CAD-gegevens. CAD-tokens zijn inherent discreet en heterogeen; het projecteren ervan in een continu domein faalt in het behoud van semantische nabuurschapsrelaties. Bijgevolg verstoort het isotrope Gaussische ruis dat wordt gebruikt in continue diffusie representaties naar gebieden die corresponderen met semantisch ongeldige of betekenisloze CAD-symbolen, wat de geometrische geldigheid van de gegenereerde ontwerpen ondermijnt.

2. Methodologie

Om deze beperkingen aan te pakken, stelt het artikel een Gekaskadeerd Discreet Diffusiemodel (CDDM) voor. Dit kader werkt direct op categorische tokenverdelingen in plaats van continue embeddings, waardoor semantische consistentie tijdens het gehele generatieproces wordt gewaarborgd. De architectuur is verdeeld in twee opeenvolgende fasen:

A. Gekaskadeerde Architectuur

De generatietak wordt gefactoriseerd in twee conditionele kansen: $p(M) = p(\zeta) p(\theta | \zeta)$, waarbij $\zeta$ de sequentie van discrete CAD-commando's voorstelt en $\theta$ de bijbehorende parameters.

1. Commando-diffusie: Genereert de sequentie van discrete commando's (bijvoorbeeld Lijn, Cirkel, Extrude).
2. Parameter-diffusie: Genereert de gekwantiseerde parameters, geconditioneerd op de gegenereerde commando's.

B. Voorwaartse Proces: Symboolbewuste Overgangsmatrices

In tegenstelling tot standaarddiffusie die uniforme ruis toepast, maakt de CDDM gebruik van een Markov-keten met zorgvuldig ontworpen overgangsmatrices ($Q_t$) die zijn toegespitst op de specifieke aard van de gegevens:

• Voor Commando's: Er wordt een absorberende-toestand overgangsmatrix gebruikt. Dit corrumpeert tokens progressief naar een aangewezen absorberend symbool, waardoor semantische inhoud op een manier wordt gewist die consistent is met de sequentiële aard van commando's.
• Voor Parameters: Gezien de heterogeniteit van CAD-parameters ontwerpen de auteurs drie specifieke overgangskernen:
  • Coördinatieparameters: Er wordt een Gaussische kern gebruikt om lokale ruimtelijke continuïteit vast te leggen (bijvoorbeeld om ervoor te zorgen dat token 100 waarschijnlijker overgaat naar 99 of 101 dan naar 1).
  • Dimensionale parameters: Er wordt een schaalinvariante kern toegepast. Dit meet verstoring relatief (bijvoorbeeld $|i-j|/(i+j)$) in plaats van absoluut, zodat een verandering van 1% in een grote dimensie op vergelijkbare wijze wordt behandeld als een verandering van 1% in een kleine dimensie.
  • Booleaanse parameters: Een prior-bewarende kern beperkt overgangen tot geldige categorieën op basis van empirische trainingsstatistieken, waardoor diffusie naar ongeldige toestanden wordt voorkomen.

C. Omgekeerd Proces: Ruisverwijderingsnetwerken

Het herstel van schone gegevens uit gecorrumpeerde toestanden wordt afgehandeld door twee verschillende netwerken:

1. Commando-ruisverwijderaar: Een Transformer-encoder uitgerust met multi-head self-attention om globale afhankelijkheden tussen commando-tokens te modelleren.
2. Parameter-ruisverwijderaar: Een gespecialiseerde Transformer-architectuur die omvat:
   • Global Self-Attention: Voor lange-afstandsafhankelijkheden.
   • Local Self-Attention: Een kerninnovatie waarbij een op commandoniveau gebaseerde attentiemasker interacties tussen parameters die tot verschillende commando's behoren, onderdrukt, zodat parameters alleen correleren met hun specifieke commando.
   • Cross-Attention: Injecteert de gegenereerde commandosequentie als een conditie om de parametergeneratie te sturen.

D. Conditionele Generatie

Het kader ondersteunt conditionele generatie (bijvoorbeeld vanuit puntwolken of specifieke commandolengtes) door het introduceren van aanvullende cross-attention-lagen die conditionele kenmerken (van PointNet of lengte-indicatoren) fuseren met de commando- en parameterkenmerken.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Eerste Gekaskadeerd Discreet Diffusiekader voor CAD: De auteurs introduceren een model dat direct werkt op categorische tokens zonder continue embedding, waardoor semantische consistentie wordt behouden en ongeldige geometrieën die gebruikelijk zijn bij continue diffusie worden vermeden.
2. Symboolbewuste Overgangsmechanismen: Het ontwerp van specifieke overgangsmatrices voor heterogene parameters (Gaussisch voor coördinaten, schaal-invariant voor dimensies en prior-bewarend voor booleaanse waarden) maakt controleerbare, token-geldige corruptieprocessen mogelijk die in continue ruimten onmogelijk zijn.
3. Commandobewuste Parameter-ruisverwijderingsnetwerk: Het voorstellen van een netwerkarchitectuur met lokale self-attention (om parameterinteracties binnen commando's te beperken) en cross-conditionering, wat expliciet de structurele relatie tussen commando's en hun parameters modelleert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op het DeepCAD-dataset (meer dan 178.000 modellen).

• Unconditionele Generatie: De CDDM presteerde beter dan bestaande autoregressieve modellen (DeepCAD, SkexGen) en continue diffusie-baselines (Diffusion-CAD) over meerdere metrieken. Opmerkelijk is dat het een Coverage (COV) van 89,10% bereikte (tegenover 79,11% voor Diffusion-CAD) en een ongeldigheidspercentage van 4,0% (tegenover 4,1% voor Diffusion-CAD en aanzienlijk lager dan B-rep-methoden, die varieerden van 20-30%).
• Ablatiestudies:
  • Gekaskadeerd vs. Unify: Een unify diffusiemodel (waarbij commando's en parameters als één sequentie worden behandeld) resulteerde in een ongeldigheidspercentage van meer dan 90%, wat de noodzaak van de gekaskadeerde benadering bevestigt.
  • Discreet vs. Continu: Discrete diffusie presteerde aanzienlijk beter dan continue diffusie voor parametergeneratie, wat de bewering valideert dat continue ruis discrete tokensemantiek verstoort.
  • Overgangsmatrices: Het gebruik van de voorgestelde gemengde overgangsmatrices (Gaussisch, schaal-invariant, prior-bewarend) leverde superieure resultaten op in vergelijking met het gebruik van een uniforme overgangsmatrix voor alle parameters.
  • Attentie-mechanismen: De combinatie van globale en lokale self-attention-lagen in het parameternetwerk presteerde beter dan het gebruik van slechts één van deze lagen.
• Conditionele Generatie: Kwalitatieve resultaten toonden effectieve controleerbaarheid, waarbij succesvol CAD-modellen werden gegenereerd met specifieke commandolengtes en geldige CAD-sequenties werden gereconstrueerd uit puntwolk-invoer.

5. Betekenis en Beweringen

Het artikel beweert dat de voorgestelde CDDM een significante vooruitgang vertegenwoordigt in geautomatiseerde CAD-generatie door rekening te houden met de inherente discrete en heterogene aard van ontwerpdata. Door af te stappen van continue embeddings, vermijdt de methode de semantische inconsistenties die eerdere diffusiebenaderingen teisterden.

De auteurs positioneren het werk als het eerste dat succesvol een gekaskadeerd discreet diffusiekader toepast op dit domein. Zij stellen dat hun symboolbewuste overgangsmechanismen en commandobewuste attentiestructuren een robuuste oplossing bieden voor het genereren van geometrisch geldige en diverse CAD-modellen, en dat ze de state-of-the-art overtreffen in zowel kwaliteit van unconditionele generatie als conditionele controleerbaarheid. De broncode is bedoeld om vrijgegeven te worden om verder onderzoek te faciliteren.