Mamba-CAD: State Space Model For 3D Computer-Aided Design Generative Modeling

Dit paper introduceert Mamba-CAD, een zelftoezicht generatief model op basis van een Mamba-architectuur dat is ontworpen om complexe industriële CAD-modellen met lange parametrische sequenties effectief te genereren en evalueren.

De kern

Stel je voor dat je een meesterbouwer bent die niet met bakstenen, maar met een magische lijst van instructies werkt. Elke instructie zegt: "Trek een cirkel," "Verhoog dit," of "Schaal dat." Als je deze instructies in de juiste volgorde uitvoert, ontstaat er een compleet 3D-ontwerp, zoals een auto, een stoel of een gebouw. In de wereld van computerontwerp (CAD) noemen we deze lijst een parametrische CAD-sequentie.

Het probleem is dat complexe ontwerpen vaak heel lange lijsten van instructies nodig hebben. Bestaande computerprogramma's (zoals de bekende "Transformers") raken vaak de draad kwijt als de lijst te lang wordt. Ze vergeten de eerste instructie voordat ze bij de laatste aankomen, waardoor het eindresultaat een rommel wordt.

Hier komt Mamba-CAD om de hoek kijken.

Wat is Mamba-CAD?

Mamba-CAD is een slimme nieuwe computerprogrammatuur die is ontworpen om deze lange lijsten van instructies perfect te begrijpen en zelfs zelf nieuwe, complexe ontwerpen te bedenken. Het is gebaseerd op een technologie genaamd Mamba (een "State Space Model"), die speciaal goed is in het onthouden van lange verhalen.

Hoe werkt het? (Met een analogie)

Stel je voor dat Mamba-CAD een meesterchef is in een keuken die een nieuw recept moet bedenken.

1. De Opleiding (Pre-training):
   Eerst laat je de chef duizenden bestaande recepten zien (de CAD-modellen). De chef leert niet alleen de ingrediënten, maar vooral de volgorde en de logica.

   • De truc: In plaats van een gewone chef die snel vergeetachtig wordt bij lange recepten, heeft deze chef een supergeheugen (de Mamba-architectuur). Hij kan zich perfect herinneren wat hij 100 stappen geleden heeft gezegd, terwijl hij nu de 128e stap uitvoert.
   • De chef oefent door recepten te lezen en ze daarna uit het hoofd na te schrijven. Als hij fouten maakt, leert hij ervan. Dit heet "reconstructie".

2. De Creatie (Generatie):
   Als de chef goed getraind is, geef je hem een willekeurige vonk van inspiratie (ruis uit een willekeurig getal).

   • De chef gebruikt zijn supergeheugen om op basis van die vonk een nieuw, compleet recept te bedenken dat nog nooit eerder bestond.
   • Omdat hij zo goed is in lange lijsten, kan hij een recept schrijven dat 128 stappen lang is, terwijl andere chefs al vastlopen na 60 stappen.

3. Het Resultaat:
   De computer neemt dit nieuwe recept en bouwt er een 3D-model van. Of het nu een simpele doos is of een ingewikkeld auto-onderdeel, Mamba-CAD maakt het correct.

Waarom is dit zo speciaal?

• Lange verhalen: De meeste AI-modellen zijn als een kind dat een kort gedichtje kan onthouden, maar een heel boek niet. Mamba-CAD is als een bibliothecaris die het hele boek uit het hoofd kent.
• Nieuwe Database: Om deze chef echt goed te trainen, hebben de onderzoekers van de Fudan Universiteit een nieuwe bibliotheek gecreëerd. Ze hebben 77.000 complexe ontwerpen verzameld die veel langere instructielijsten hebben dan wat er voorheen beschikbaar was. Het is alsof ze van simpele tekeningen zijn gegaan naar complexe blauwdrukken van wolkenkrabbers.
• Beter dan de rest: In tests bleek Mamba-CAD veel minder fouten te maken dan de huidige topmodellen. Het kon niet alleen bestaande ontwerpen beter nabouwen, maar ook nieuwe, complexe vormen bedenken die voor andere AI's te moeilijk waren.

Samenvattend

Mamba-CAD is een doorbraak in het generatieve ontwerp. Het is als een AI die eindelijk de geduld en het geheugen heeft om de complexe, lange instructielijsten van de echte industriële wereld te begrijpen. Hierdoor kunnen we in de toekomst sneller en slimmer nieuwe producten, auto-onderdelen en gebouwen ontwerpen, gewoon door de computer een "vonk" te geven en te laten doen wat hij het beste kan: creatief en accuraat bouwen.

Technische samenvatting

Probleemstelling

Generatieve modellering voor Computer-Aided Design (CAD) is cruciaal voor industrieën zoals machinebouw, voertuigontwikkeling en architectuur. Bestaande methoden, vaak gebaseerd op Transformer-architecturen, behandelen parametrische CAD-sequenties (een reeks commando's en parameters die een 3D-vorm definiëren) als discrete talen.

De belangrijkste beperking van bestaande benaderingen is hun inability om lange en complexe parametrische CAD-sequenties effectief te modelleren. Industriële CAD-modellen, vooral voor componenten, vereisen vaak sequenties die veel langer zijn dan de huidige benchmarks (zoals DeepCAD, waar de maximale lengte 60 commando's bedraagt). Transformers kampen met de "attention complexity" bij het verwerken van zeer lange sequenties, wat leidt tot onvolledige of ongeldige generaties voor complexe ontwerpen.

Methodologie: Mamba-CAD

De auteurs introduceren Mamba-CAD, een zelftoezicht (self-supervised) generatief framework dat gebruikmaakt van een Mamba-architectuur (een Selective State Space Model of SSM). SSM's staan bekend om hun efficiëntie en vermogen om lange-termijn afhankelijkheden in lange sequenties te modelleren zonder de kwadratische complexiteit van Transformers.

Het framework bestaat uit drie hoofdfasen:

1. Data Representatie en Pre-processing:

   • CAD-modellen worden omgezet in parametrische sequenties bestaande uit commando's (zoals lijn, boog, extrude) en hun parameters.
   • Om consistentie te garanderen, worden sequenties gepadded tot een vaste lengte van $N=128$.
   • Commando's en parameters worden gekwantiseerd en omgezet in discrete vectoren (bijv. 8-bit integer quantisatie voor continue waarden) om ze geschikt te maken voor neurale netwerken.

2. Architectuur (Encoder-Decoder):

   • Encoder: Gebaseerd op een Mamba-backbone (vier Mamba-blokken). Deze encodeert de input-sequenties naar een latente representatie ($K$).
   • Compressie: Een Compress Block (met 1D-convoluties) verlaagt de dimensie van de latente representatie om de training van de generatieve component te vergemakkelijken.
   • Decoder: Een symmetrische decoder (met Scale Block en lineaire lagen) reconstrueert de originele CAD-sequenties uit de latente ruimte.

3. Trainingsstrategie:

   • Fase 1: Pre-training (Reconstructie): Het encoder-decoder model wordt getraind met een zelftoezichtstaak waarbij de input-sequenties moeten worden gereconstrueerd. Dit leert het model de onderliggende structuur en logica van CAD-modellen.
   • Fase 2: Latent GAN Training: De encoder wordt bevroren. De verkregen latente representaties dienen als een "kennisrijke verdeling". Een 1D Latent Generative Adversarial Network (GAN) wordt getraind om valse (fake) latente representaties te genereren vanuit Gaussisch ruis, die statistisch dicht bij de echte CAD-representaties liggen.
   • Fase 3: Generatie: Tijdens de generatiefase wordt willekeurige ruis ingevoerd in de Generator (van de GAN), wat een valse latente representatie oplevert. Deze wordt door de bevroren Decoder van Mamba-CAD verwerkt om een nieuwe, geldige parametrische CAD-sequentie te produceren.

Nieuwe Dataset

Omdat bestaande datasets (zoals DeepCAD) te kort waren om de capaciteiten van het model te testen, hebben de auteurs een nieuwe dataset samengesteld:

• Grootte: 77.078 CAD-modellen.
• Complexiteit: De sequenties variëren van 61 tot 128 commando's (gemiddelde lengte significantly hoger dan DeepCAD).
• Bron: Gecombineerd uit gefilterde DeepCAD-data en geparste data uit de ABC-dataset (via Onshape-scripts), specifiek gefocust op CSG (Constructive Solid Geometry) representaties.

Resultaten

Uitgebreide experimenten tonen aan dat Mamba-CAD significant beter presteert dan concurrenten (DeepCAD, TM-CAD, SkexGen, HNC-CAD) op diverse taken:

• Reconstructie: Mamba-CAD bereikt een bijna perfecte nauwkeurigheid ($A_c = 99.96\%$, $A_p = 99.93\%$) en een zeer lage Invalid Ratio (5.41% vs. ~14-42% bij anderen).
• Completering: Bij het invullen van gemaskerde delen van sequenties (40% masking) presteert het model superieur, wat aantoont dat het de context van lange sequenties beter begrijpt.
• Generatie: Bij willekeurige generatie (random generation) produceert Mamba-CAD complexere en geldigere 3D-vormen. Het bereikt de hoogste "Unique" en "Novel" scores en een hogere "Step Ratio" (percentage sequenties dat succesvol naar STEP-formaat kan worden geconverteerd).
• Lengte: Het model is in staat om geldige sequenties te genereren met een gemiddelde lengte van 38.91 commando's, waarbij 85.18% van de gegenereerde sequenties langer is dan 60 commando's (een mijlpaal die andere modellen nauwelijks halen).

Belangrijkste Bijdragen

1. Mamba-CAD Framework: De eerste toepassing van een State Space Model (Mamba) voor generatieve CAD-modellering, specifiek ontworpen om de beperkingen van Transformers bij lange sequenties te overwinnen.
2. Nieuwe Benchmark Dataset: De creatie en publicatie van een dataset met 77.078 complexe CAD-modellen met lange parametrische sequenties (tot 128 commando's), wat een nieuwe standaard zet voor het veld.
3. Superieure Prestaties: Aantonen dat het model niet alleen langere sequenties kan verwerken, maar ook complexere 3D-structuren genereert met een hogere geldigheid en diversiteit dan bestaande state-of-the-art methoden.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de automatisering van industriële ontwerpprocessen. Door in staat te zijn om complexe, langdurige ontwerpl logica's te genereren, opent Mamba-CAD de deur voor het creëren van realistischere en functioneel complexere CAD-componenten.

Beperkingen en toekomstig werk:

• Het model focust momenteel op CSG-representaties en kan nog geen BRep-commando's (zoals "fillet" of "chamfer") direct parsen.
• Het is een onvoorwaardelijk generatief model; toekomstig werk zal zich richten op het integreren van extra modaliteiten (tekst, afbeeldingen, puntwolken) voor conditionele generatie.
• De dataset is beperkt tot bepaalde commando-types; uitbreiding naar meer geavanceerde CAD-operaties is nodig.

Samenvattend biedt Mamba-CAD een robuuste oplossing voor het genereren van complexe 3D-ontwerpen door de kracht van State Space Models te benutten voor het modelleren van lange, sequentiële ontwerpl logica's.