BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning

Das Paper stellt BrepCoder vor, ein einheitliches multimodales Großsprachmodell, das durch die Umwandlung von B-rep-Daten in Code und ein zweistufiges Training in der Lage ist, diverse CAD-Aufgaben wie Vervollständigung, Fehlerkorrektur und Fragenbeantwortung direkt aus dem industriestandardkonformen B-rep-Format zu lösen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Architekt oder ein Ingenieur, der komplexe 3D-Modelle für Autos, Maschinen oder Gebäude entwirft. In der Computerwelt werden diese Entwürfe nicht einfach als Bilder gespeichert, sondern als eine Art „Bauanleitung" in einem speziellen Format namens B-rep (Boundary Representation). Das ist wie ein extrem detaillierter, mathematischer Bauplan, der jede Kante, jede Fläche und jede Verbindung exakt beschreibt.

Das Problem bisher: Die meisten KI-Modelle, die wir heute haben, sind wie Spezialisten mit einem einzigen Werkzeug.

• Ein Modell kann vielleicht nur aus einem Bild einen Entwurf machen.
• Ein anderes kann nur Fehler in einem Text finden.
• Ein drittes kann nur Teile eines Bauplans vervollständigen.
  Wenn man eine neue Aufgabe hat, muss man oft ein ganz neues, spezielles Modell bauen. Das ist ineffizient, teuer und die Modelle können ihr Wissen nicht untereinander teilen.

BrepCoder ist die Lösung dafür. Es ist wie ein Schweizer Taschenmesser unter den KI-Modellen für 3D-Design. Hier ist die einfache Erklärung, wie es funktioniert:

1. Die Sprache der Maschinen: Vom Bauplan zum Code

Stellen Sie sich den B-rep-Bauplan als eine riesige, verschlüsselte Liste von Koordinaten vor. Für eine KI ist das schwer zu verstehen.
BrepCoder macht etwas Cleveres: Es übersetzt diesen Bauplan in eine Art Programmiersprache (ähnlich wie Python), die für Menschen und KIs verständlich ist.

• Die Analogie: Stellen Sie sich vor, Sie haben einen fertigen Kuchen (das 3D-Modell). Die meisten KIs versuchen, den Kuchen zu beschreiben oder zu zeichnen. BrepCoder hingegen schaut sich den Kuchen an und schreibt das Rezept zurück, mit dem er gebacken wurde. Es versteht nicht nur das Ergebnis, sondern die Logik, wie man dorthin kommt.

2. Der zweistufige Lernprozess (Der „Lehrmeister"-Ansatz)

BrepCoder lernt nicht einfach alles auf einmal. Es durchläuft zwei Phasen, ähnlich wie ein Auszubildender in einer Werkstatt:

• Phase 1: Das Reverse Engineering (Das „Rätselraten")
  In dieser Phase bekommt die KI nur den fertigen 3D-Kuchen (das B-rep-Modell) und muss das Rezept (den Code) selbst erfinden. Sie muss herausfinden: „Welche Form wurde zuerst gezeichnet? Welches Loch wurde wo gebohrt?"

  • Warum das wichtig ist: Indem sie das Rezept selbst schreibt, lernt die KI die Logik des Designs. Sie versteht, warum etwas so gebaut ist, nicht nur wie es aussieht. Das ist wie wenn ein Koch nicht nur ein Gericht probiert, sondern lernt, wie man es Schritt für Schritt zubereitet.

• Phase 2: Der Spezialist für alles (Die „Meisterprüfung")
  Sobald die KI die Logik verinnerlicht hat, kann sie diese Kenntnisse nutzen, um viele verschiedene Aufgaben zu lösen:

  • Vervollständigung: Sie bekommt einen halbfertigen Code und schreibt den Rest.
  • Fehlerkorrektur: Sie sieht einen Code mit Fehlern (z. B. ein Loch an der falschen Stelle) und korrigiert ihn, weil sie weiß, wie das Design sein sollte.
  • Fragen beantworten: Man kann sie fragen: „Wie viele Löcher hat dieser Teil?" oder „Ist das ein Zylinder?", und sie antwortet korrekt, weil sie den Code im Kopf hat.

3. Warum ist das so besonders?

Früher waren KIs wie Einzelkämpfer, die nur eine Sache konnten. BrepCoder ist wie ein universeller Assistent.

• Einheitliches Gehirn: Es nutzt ein großes Sprachmodell (LLM), das bereits weiß, wie Programmiersprachen funktionieren.
• Verständnis statt Auswendiglernen: Da es die Designs als Code versteht, kann es logisch schlussfolgern. Wenn ein Teil falsch ist, weiß es, wie man es repariert, ohne dass es dafür ein neues Modell braucht.
• Industrie-Standard: Die meisten echten Ingenieursarbeiten nutzen das B-rep-Format. BrepCoder spricht direkt die Sprache der Industrie, nicht nur die Sprache von Bildern oder Punktwolken.

Zusammenfassung in einem Bild

Stellen Sie sich vor, Sie haben einen riesigen, komplizierten LEGO-Bausatz.

• Die alten KIs waren wie Leute, die nur das fertige Modell fotografieren und beschreiben konnten.
• BrepCoder ist wie ein genialer LEGO-Meister, der das fertige Modell nimmt, es in seine Einzelteile zerlegt, das Rezept (den Code) daraus schreibt und dann sofort in der Lage ist:
  1. Ein fehlendes Teil im Rezept zu ergänzen.
  2. Einen falschen Schritt im Rezept zu korrigieren.
  3. Ihnen zu sagen, wie viele rote Steine im Modell verbaut sind.

Das Ergebnis: BrepCoder ist ein universeller KI-Assistent, der nicht nur „sieht", sondern „versteht", wie 3D-Objekte konstruiert werden, und damit Ingenieuren hilft, schneller und fehlerfreier zu arbeiten.

Technische Zusammenfassung

1. Problemstellung

Das Gebiet des computergestützten Designs (CAD) steht vor mehreren Herausforderungen, die durch aktuelle Deep-Learning-Ansätze noch nicht vollständig gelöst wurden:

• Fehlende Einheitlichkeit: Die meisten bestehenden Modelle sind auf spezifische Aufgaben zugeschnitten (z. B. nur Reverse Engineering oder nur Vervollständigung) und erfordern strukturelle Änderungen für neue Aufgaben. Dies verhindert den Wissensaustausch zwischen verschiedenen Aufgaben und schränkt die Skalierbarkeit ein.
• Ungeeignete Eingabemodalitäten: Viele Ansätze basieren auf Punktwolken oder Bildern. Diese verlieren jedoch oft die topologische Struktur und die präzisen geometrischen Details, die im industriellen Standard Boundary Representation (B-rep) enthalten sind.
• Mangelndes Verständnis von Design-Logik: Bisherige MLLMs (Multimodale Large Language Models), die B-rep verarbeiten, beschränken sich oft auf deskriptive Aufgaben (z. B. Bildunterschriften oder Klassifizierung). Sie verstehen die finale Geometrie, erfassen aber nicht die prozeduralen Schritte (die Modellierungssequenz), die zur Erzeugung der Form notwendig sind. Dies macht sie für komplexe ingenieurtechnische Aufgaben wie Fehlerkorrektur oder Generierung von Modellierungssequenzen ungeeignet.

2. Methodik: BrepCoder

BrepCoder ist ein einheitliches Multimodales Large Language Model (MLLM), das B-rep-Daten als Kern-Eingabemodalität nutzt und diese mit der Code-Generierungsfähigkeit von LLMs verbindet.

A. Modalitätsausrichtung (Multimodal Alignment)

• Repräsentation als Code: Anstelle von diskreten Token-Sequenzen (wie in DeepCAD) werden CAD-Modellierungssequenzen in Python-ähnlichen CAD-Code (basierend auf CAD-Llama) umgewandelt. Dieser Code nutzt objektorientierte Syntax (z. B. sketch0 = [], loop0_0.Line(...)), was es dem LLM ermöglicht, seine vortrainierten Programmierkenntnisse und logischen Schlussfolgerungen zu nutzen.
• B-rep Kodierung: Da B-rep-Daten kontinuierliche Geometrien und topologische Verbindungen definieren, wird UV-Net als Encoder verwendet. Dieser wandelt die B-rep-Daten in einen Flächen-Nachbarschaftsgraphen um, wobei Flächen als Knoten und Verbindungen als Kanten dienen. Geometrische Informationen werden auf 2D- und 1D-Gitter projiziert und durch ein Graph Neural Network (GNN) zu lokalen und globalen Feature-Embeddings verarbeitet.
• CoCa-basiertes Alignment: Um sowohl globale als auch feingranulare Details zu erfassen, wird das CoCa-Framework (Contrastive Captioning) verwendet. Es kombiniert zwei Verlustfunktionen:
  1. Contrastive Loss: Sichert die globale Ausrichtung zwischen B-rep-Features und dem CAD-Code.
  2. Captioning Loss: Trainiert das Modell, den CAD-Code basierend auf den B-rep-Features zu generieren (Captioning).

B. Zwei-Phasen-Trainingsstrategie

• Phase 1 (Multimodale Ausrichtung & Reverse Engineering): Das Modell lernt, B-rep-Geometrien in explizite Modellierungssequenzen (CAD-Code) zu übersetzen. Ein B-rep-Encoder wird trainiert, um Features zu extrahieren, die mit dem Code korrelieren.
• Phase 2 (Multimodale Integration & Feinabstimmung): Der B-rep-Encoder wird eingefroren und über einen Projector (MLP-Schicht) mit einem vortrainierten LLM (Qwen 2.5-1.5B) verbunden. Das gesamte System wird dann für verschiedene Downstream-Aufgaben feinabgestimmt:
  • Vervollständigung (Completion): Vorhersage des fehlenden Teils einer Code-Sequenz basierend auf B-rep und Anfangscode.
  • Fehlerkorrektur (Error Correction): Identifikation und Korrektur logischer Widersprüche oder falscher Parameter im Code.
  • CAD-QA: Beantwortung von Fragen zu den Eigenschaften oder der Designabsicht des 3D-Modells.

3. Wichtige Beiträge

1. Einheitliches Framework: BrepCoder ist das erste Framework, das B-rep als zentrale Eingabe nutzt, um diverse CAD-Aufgaben in einer einzigen MLLM-Architektur zu lösen, anstatt task-spezifische Modelle zu verwenden.
2. Logik-Übersetzung: Durch die Umwandlung von B-rep in Python-ähnlichen Code nutzt das Modell die starke logische Schlussfolgerungsfähigkeit von LLMs, um Designlogik und prozedurales Wissen zu internalisieren.
3. Zweistufige Strategie: Die Vorab-Trainingsphase (Reverse Engineering) dient als Fundament, um die Korrelation zwischen Geometrie und Code zu lernen, was die Generalisierungsfähigkeit für nachgelagerte Aufgaben signifikant verbessert.
4. Überlegene Leistung: Das Modell zeigt überlegene Ergebnisse bei komplexen Aufgaben, die ein hohes Maß an ingenieurtechnischem Denken erfordern.

4. Ergebnisse

Die Evaluation erfolgte auf dem DeepCAD-Datensatz (170k Sequenzen) und dem SGP-Bench für CAD-QA.

• Reverse Engineering: BrepCoder erreichte einen Chamfer Distance (CD) von 0,464 (skaliert), was eine Verbesserung von ca. 52 % gegenüber dem vorherigen State-of-the-Art (CADCL) darstellt. Die Parameter-Genauigkeit (ACC_param) lag bei 82,01 %.
• Vervollständigung (Completion): Mit einer Befehlskorrektheit (ACC_cmd) von 92,69 % und einer Parameterkorrektheit von 87,94 % übertraf BrepCoder CAD-Llama deutlich. Der Grund liegt in der Informationsdichte von B-rep im Vergleich zu textuellen Beschreibungen.
• Fehlerkorrektur: BrepCoder erreichte eine Befehlskorrektheit von 99,08 % und eine Parameterkorrektheit von 93,74 %. Im Vergleich zu kommerziellen MLLMs (GPT, Gemini), die nur 2D-Bilder verarbeiten können, erzielte BrepCoder einen deutlich niedrigeren CD (0,335 vs. >350), da es die vollständige topologische Struktur direkt verarbeitet.
• CAD-QA: Mit einer Genauigkeit von 79 % auf dem SGP-Bench (nur 2 % hinter dem größten PointLLM-Modell) demonstrierte BrepCoder (nur 1,5 Mrd. Parameter) eine hohe Effizienz.
• Ablationsstudien: Die Studien zeigten, dass das Training des Encoders von Grund auf (statt Feinabstimmung), die Verwendung des CoCa-Frameworks (statt CLIP) und das Einfrieren des Encoders während der Integration entscheidend für die Leistung sind.

5. Bedeutung und Ausblick

BrepCoder stellt einen Paradigmenwechsel in der CAD-KI dar. Indem es B-rep-Daten nicht nur als statische Geometrie, sondern als strukturellen Code interpretiert, überwindet es die Grenzen bisheriger Modelle. Es beweist, dass ein einheitliches MLLM in der Lage ist, komplexe ingenieurtechnische Aufgaben wie Reverse Engineering, Fehlerbehebung und semantisches Verständnis zu meistern.

Dies legt den Grundstein für allgemeine CAD-Agenten, die in der Lage sind, Designprozesse zu automatisieren und zu optimieren. Zukünftige Arbeiten planen die Erweiterung auf Punktwolken-Eingaben und die Integration weiterer Reverse-Engineering-Aufgaben, um eine nahtlose Automatisierung im industriellen Design zu erreichen.