BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning

BrepCoder is een unificerend multimodaal groot taalmodel dat diverse CAD-taken uitvoert door industriestandaard B-rep-geometrie te interpreteren als code en via een tweestaps trainingsstrategie te leren voor taken zoals reverse engineering, voltooiing en foutcorrectie.

De kern

🏗️ De "Super-Diploma" voor de Digitale Bouwer

Stel je voor dat CAD (Computer-Aided Design) het vakgebied is waar mensen digitale gebouwen, auto's en producten ontwerpen. Vaak werken deze ontwerpers met een heel specifiek formaat genaamd B-rep. Dit is als de "geheime taal" of de blauwdruk van de 3D-wereld. Het bevat niet alleen hoe iets eruitziet, maar ook hoe het is gebouwd (eerst een lijn, dan een cirkel, dan extruderen...).

Het probleem tot nu toe was dat de slimme computers (AI) die we hebben, vaak maar één ding goed konden.

• Wil je een onvolledig ontwerp afmaken? Dan heb je model A nodig.
• Wil je een fout in het ontwerp opsporen? Dan heb je model B nodig.
• Wil je uitleggen wat een vorm is? Dan heb je model C nodig.

Het is alsof je voor elke klus in huis een andere specialist moet bellen: een loodgieter voor de kraan, een elektricien voor het stopcontact en een timmerman voor de kast. Dat is inefficiënt en duur.

🚀 De Oplossing: BrepCoder

De onderzoekers van deze paper hebben BrepCoder bedacht. Dit is een universele AI die alles in één pakket heeft. Je kunt hem alles vragen over een 3D-ontwerp, of het nu gaat om het afmaken, repareren of uitleggen.

Hoe doen ze dit? Ze gebruiken een slimme truc: Ze vertalen de blauwdruk naar code.

De Analogie: De Recept-Boek Truc

Stel je voor dat een 3D-ontwerp een gebakken taart is.

• De oude manier: De AI keek alleen naar een foto van de taart. Ze kon zien dat er aardbeien op lagen, maar ze wist niet hoe je de taart had gemaakt. Ze kon de taart niet zelf bakken als je een foutje in het recept wilde corrigeren.
• De BrepCoder-methode: De onderzoekers hebben de taart vertaald naar een kookrecept (in Python-code).
  • In plaats van alleen naar de foto te kijken, leest BrepCoder het recept: "Neem 200g bloem, voeg 3 eieren toe, bak 30 minuten op 180 graden."

Omdat BrepCoder een Large Language Model (LLM) is (dezelfde technologie als ChatGPT), is hij al een meester in het lezen en schrijven van recepten (code). Door de 3D-ontwerpen om te zetten in code, kan de AI de logica van het ontwerp echt begrijpen.

🎓 De Twee-Fasen Opleiding

BrepCoder is niet zomaar geboren; hij heeft een speciale opleiding gevolgd in twee stappen:

Fase 1: De "Reconstructie-Oefening" (Reverse Engineering)
Stel je voor dat je een gebakken taart krijgt en je moet het recept erachter terugvinden.

• De AI krijgt een 3D-ontwerp (de taart) en moet het bijbehorende recept (de code) schrijven.
• Hierdoor leert de AI niet alleen hoe de taart eruitziet, maar ook waarom hij zo is gemaakt. Hij leert de "bouwlogica". Dit is de basis van zijn intelligentie.

Fase 2: De "Meester-Kok" (Toepassing)
Nu de AI het recept begrijpt, kan hij allerlei andere taken uitvoeren:

1. Afmaken (Completion): Je geeft hem de eerste helft van het recept en vraagt: "Hoe maak ik de taart af?" Hij schrijft de rest van de code.
2. Foutenreparatie (Error Correction): Je geeft hem een recept met een fout (bijv. "bak 1000 minuten"). Hij ziet dat dit niet past bij de taart en corrigeert het naar "30 minuten".
3. Vragen beantwoorden (CAD-QA): Je vraagt: "Hoeveel gaten heeft deze taart?" Omdat hij het recept kent, kan hij tellen en antwoorden.

🌟 Waarom is dit zo speciaal?

1. Eén model voor alles: Je hoeft geen nieuwe AI te bouwen voor elke nieuwe klus. BrepCoder is de "Zwitsers zakmes" van de CAD-wereld.
2. Het begrijpt de logica: Omdat hij werkt met code (recepten) in plaats van alleen beelden, maakt hij minder fouten. Hij begrijpt dat als je een gat maakt, je eerst een vlak moet hebben.
3. Industriële relevantie: De meeste echte ontwerpen in de industrie worden opgeslagen als B-rep. BrepCoder praat direct de taal van de industrie, zonder dat je eerst beelden hoeft te maken.

Conclusie

Kortom: BrepCoder is een slimme AI die 3D-ontwerpen leest alsof het computercode is. Door eerst te oefenen met het "terugontwerpen" van ontwerpen naar code, leert hij de diepe logica van het bouwen. Daarna kan hij die kennis gebruiken om ontwerpen af te maken, fouten te repareren en vragen te beantwoorden. Het is een grote stap richting een toekomst waar robots en AI ons helpen ontwerpen, net als een super-diploma-houdende assistent die alles snapt.

Technische samenvatting

Probleemstelling

Bestaande diep leermethoden voor Computer-Aided Design (CAD) kampen met twee fundamentele beperkingen:

1. Taak-specifieke architecturen: De meeste modellen zijn ontworpen voor één specifieke taak (zoals reverse engineering of foutoplossing) en vereisen structurele aanpassingen voor nieuwe taken. Dit beperkt de schaalbaarheid en voorkomt dat kennis wordt gedeeld tussen verschillende taken.
2. Onvoldoende focus op B-rep: Hoewel de industriestandaard voor CAD-modellen de Boundary Representation (B-rep) is, richten de meeste bestaande studies zich op minder representatieve formaten zoals puntwolken of afbeeldingen. Bestaande modellen die B-rep gebruiken, zijn vaak beperkt tot beschrijvende taken (zoals het genereren van bijschriften) en missen het vermogen om de onderliggende ontwerplogica en de procedurele stappen voor het construeren van het model te begrijpen.

Er is dus behoefte aan een universeel Multimodaal Groot Taalmodel (MLLM) dat B-rep als kerninvoer gebruikt en in staat is om diverse complexe CAD-taken uit te voeren door de relatie tussen geometrie en ontwerplogica te leren.

Methodologie: BrepCoder

BrepCoder is een unificerend framework dat B-rep data koppelt aan Python-achtige CAD-code, gebruikmakend van de redeneercapaciteiten van Large Language Models (LLM). De aanpak bestaat uit drie hoofdfasen:

1. Multimodale Uitlijning (Multimodal Alignment)

• Representatie: In plaats van discrete integer-tokens (zoals in DeepCAD), worden CAD-modelleersequenties omgezet in Python-achtige code. Dit maakt gebruik van objectgeoriënteerde syntaxis (bijv. sketch0 = [], loop0_0.Line(...)), wat de LLM toelaat om bestaande programmeerkennis te benutten.
• Encodering van B-rep: Het paper gebruikt UV-Net als encoder. In plaats van complexe heterogene grafen, worden oppervlakken als knooppunten behandeld in een face-adjacency graaf. Geometrische informatie wordt geprojecteerd op 2D- en 1D-roosters en verwerkt via een Graph Neural Network (GNN) om zowel lokale details als globale context te vangen.
• CoCa-framework: Om de B-rep features uit te lijnen met de CAD-code, wordt het CoCa (Contrastive Captioners) framework toegepast. Dit combineert twee verliesfuncties:
  • Contrastive Loss: Voor globale uitlijning tussen de B-rep en de code.
  • Captioning Loss: Voor het genereren van de code token-voor-token op basis van de B-rep features.
    Dit zorgt ervoor dat het model niet alleen globale vormen herkent, maar ook fijne geometrische details kan vertalen naar specifieke code.

2. Twee-staps Trainingsstrategie

• Fase 1: Reverse Engineering (Pre-training): Het model wordt getraind om B-rep invoer om te zetten in de bijbehorende Python-achtige CAD-code. Hierdoor internaliseert het model de fundamentele correlaties tussen geometrische features en ontwerplogica.
• Fase 2: Multi-task Adaptatie (Fine-tuning): Met de pre-trained weights als startpunt wordt het model gefinetuned voor diverse downstream-taken:
  • Completion: Het aanvullen van een gemaskeerd deel van de code.
  • Error Correction: Het identificeren en corrigeren van logische fouten in de code op basis van de B-rep geometrie.
  • CAD-QA: Het beantwoorden van vragen over de eigenschappen of het ontwerpintentie van het model.

3. Architectuur Integratie

De B-rep encoder wordt "bevroren" na Fase 1 en gekoppeld aan de LLM (Qwen 2.5-1.5B) via een Projector-module (bestaande uit drie lineaire lagen en GELU-activatie). Deze projector mapt de B-rep features naar de embedding-ruimte van de LLM.

Belangrijkste Bijdragen

1. Unificerend Framework: BrepCoder is het eerste framework dat B-rep als primaire modality gebruikt binnen een uniek MLLM-architectuur voor een breed scala aan CAD-taken, in plaats van taak-specifieke modellen.
2. Code-gebaseerde Representatie: Door B-rep te vertalen naar Python-achtige code, wordt de kracht van LLM's voor programmeerredenering benut om complexe ontwerplogica te interpreteren.
3. Twee-staps Strategie: De combinatie van pre-training op reverse engineering en daaropvolgende fine-tuning zorgt voor sterke generalisatie en het internaliseren van ontwerplogica, wat essentieel is voor taken die hoge engineering-redenering vereisen.

Resultaten

Het model werd geëvalueerd op de DeepCAD-dataset (170K sequenties) en de SGP-Bench voor QA.

• Reverse Engineering: BrepCoder behaalde een Chamfer Distance (CD) van 0.464 (vergeleken met 0.972 bij de state-of-the-art CADCL), wat een verbetering van ~52% betekent. Het behaalde ook een hoge parameter-accuraatheid (82.01%) en een zeer lage Invalid Ratio (0.86%), wat aantoont dat het gegenereerde code vaak uitvoerbaar is.
• Downstream Taken:
  • Completion: BrepCoder behaalde 92.69% commando-accuraatheid, significant hoger dan CAD-Llama (73.87%).
  • Error Correction: Met 99.08% commando-accuraatheid en een CD van 0.335 overtrof het commerciële modellen zoals GPT-5 en Gemini, die moeite hebben met het afleiden van exacte numerieke waarden uit 2D-afbeeldingen.
  • CAD-QA: BrepCoder (1.5B parameters) behaalde 79% nauwkeurigheid, vergelijkbaar met veel grotere puntwolk-gebaseerde modellen (PointLLM 7B: 81%).

Ablatie Studies bevestigden dat het trainen van de encoder vanaf nul (in plaats van pre-trained weights), het gebruik van het CoCa-framework (in plaats van CLIP), en het bevriezen van de encoder cruciaal zijn voor de prestaties. Ook bleek dat de pre-training in Fase 1 direct bijdraagt aan de prestaties in Fase 2.

Betekenis en Impact

BrepCoder markeert een verschuiving in CAD-onderzoek van gespecialiseerde, statische modellen naar generieke, intelligente CAD-agenten. Door B-rep direct te koppelen aan de redeneercapaciteiten van taalmodellen via code, overbrugt het de kloof tussen geometrische data en ontwerpintentie. Dit stelt systemen in staat om niet alleen geometrie te reconstrueren, maar ook fouten te corrigeren, ontwerpen te voltooien en semantische vragen te beantwoorden. De methode biedt een robuuste basis voor toekomstige ontwikkelingen in geautomatiseerd ontwerp en industriële intelligentie.