CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

Die Arbeit stellt CAD-Tokenizer vor, ein Framework, das durch modality-spezifische Tokenisierung und primitive-basierte Kodierung die Text-zu-CAD-Generierung und -Bearbeitung verbessert, indem sie die strukturellen Semantiken von CAD-Modellen besser erfasst als herkömmliche LLM-Tokenisierer.

Das Wesentliche

Das Problem: Der Übersetzer, der alles durcheinanderbringt

Stell dir vor, du bist ein Architekt und möchtest einem Roboter sagen: „Baue mir eine Tasse mit einem Henkel."

In der Welt des Computer-Aided Design (CAD) ist das keine einfache Liste von Maßen. Es ist eher wie ein Rezept, das in Schritten geschrieben ist:

1. Zeichne einen Kreis.
2. Ziehe ihn hoch (Extrusion).
3. Zeichne eine Linie für den Henkel.
4. Biege sie um.

Bisher haben KI-Modelle (wie große Sprachmodelle) versucht, diese Rezepte zu lesen. Aber sie benutzten einen falschen Übersetzer. Dieser Übersetzer zerlegte das Rezept in winzige, sinnlose Wortfetzen, wie ein Koch, der ein Rezept in einzelne Buchstaben zerlegt: „Z", „e", „i", „c", „h", „n", „e"...

Das Problem: Der Roboter versteht nicht mehr, dass „Zeichne" eine ganze Anweisung ist. Er sieht nur Buchstaben. Er verliert den Überblick über die Struktur und baut am Ende einen Haufen Schrott statt einer Tasse.

Die Lösung: CAD-Tokenizer – Der neue Chef-Koch

Die Forscher haben einen neuen Ansatz namens CAD-Tokenizer entwickelt. Stell dir das wie einen spezialisierten Übersetzer vor, der nicht auf Buchstaben, sondern auf Bausteine achtet.

Statt das Rezept in Buchstaben zu zerlegen, fasst er es in sinnvolle Blöcke zusammen:

• Block 1: [Kreis zeichnen]
• Block 2: [Hochziehen]
• Block 3: [Henkel hinzufügen]

Diese Blöcke nennt man „Primitiven" (die kleinsten sinnvollen Einheiten). Der KI-Modell bekommt jetzt nicht mehr 50 Buchstaben zu lesen, sondern nur noch 5 klare Bausteine. Das ist wie der Unterschied zwischen einem Text, der in winzigen Buchstaben geschrieben ist, und einem Text, der in klaren, gut lesbaren Absätzen formatiert ist.

Die drei genialen Tricks

Die Forscher haben drei Dinge getan, um das System perfekt zu machen:

1. Der Kompressor (VQ-VAE)
Stell dir vor, du hast einen riesigen Haufen Lego-Steine. Der alte Weg war, jeden einzelnen Stein einzeln zu zählen. Der neue Weg (der VQ-VAE) ist wie ein intelligenter Kompressor. Er packt die Lego-Steine in fertige, vorgefertigte Sets (die Blöcke) und gibt dem Roboter nur noch die Anweisung: „Nimm Set A, dann Set B." Das spart enorm viel Zeit und Speicherplatz.

2. Der Dolmetscher (Adapter)
Die KI (das große Sprachmodell) spricht eigentlich nur „Menschlich" (Wörter). Die CAD-Blöcke sprechen „CAD". Damit sie sich verstehen, haben die Forscher einen kleinen Dolmetscher (Adapter) eingebaut. Dieser Dolmetscher sitzt zwischen dem Kompressor und der KI und sorgt dafür, dass die KI die CAD-Blöcke genau so versteht, als wären es ihre eigenen Wörter. So muss man die ganze KI nicht neu erfinden, man gibt ihr nur eine neue Sprache bei.

3. Der Bauleiter (FSA)
Wenn man einem Roboter freies Feld lässt, baut er manchmal Unsinn (z. B. einen Henkel, der in der Luft schwebt). Damit das nicht passiert, haben die Forscher einen Bauleiter (Finite State Automaton) hinzugefügt.
Stell dir das wie ein Regelwerk vor: „Du darfst erst einen Henkel zeichnen, wenn die Tasse fertig ist." Der Bauleiter hält die Hand auf und sagt: „Stopp! Das geht noch nicht!" Er sorgt dafür, dass das Ergebnis immer technisch korrekt ist, bevor es überhaupt fertig ist.

Warum ist das so wichtig?

Bisher musste man zwei verschiedene KIs haben: Eine, die neue Tassen erfindet (Text-zu-CAD), und eine andere, die alte Tassen verändert (CAD-Bearbeitung).

Mit CAD-Tokenizer haben die Forscher eine Einzel-KI gebaut, die beides kann.

• Sagst du: „Mach eine Tasse", baut sie eine.
• Sagst du: „Mach den Henkel größer", ändert sie die bestehende Tasse.

Das Ergebnis

Durch diese Methode ist die KI viel schneller, macht viel weniger Fehler und versteht die Anweisungen viel besser. Es ist, als hätte man einem Architekten nicht mehr einen Stapel mit einzelnen Buchstaben gegeben, sondern ein fertiges, gut strukturiertes Bauplan-Buch.

Kurz gesagt: CAD-Tokenizer verwandelt das chaotische „Buchstabensalat"-Verständnis der KI in eine klare, strukturierte Sprache aus Bausteinen, damit Computer endlich so gut Designen können wie Menschen.

Technische Zusammenfassung

1. Problemstellung

Computer-Aided Design (CAD) ist ein fundamentaler Bestandteil industrieller Prototypenentwicklung. CAD-Modelle werden nicht durch rohe Koordinaten, sondern durch sequenzielle Konstruktionsbefehle (z. B. Skizzen, Extrusionen) definiert. Während es bereits Ansätze für die Text-zu-CAD-Generierung und das Text-basierte CAD-Editing gibt, fehlt es bisher an einem einheitlichen Modell, das beide Aufgaben (Erstellung und nachträgliche Änderung) in einem einzigen Framework vereint.

Das Hauptproblem liegt in der Tokenisierung durch herkömmliche Large Language Models (LLMs). Standard-Tokenizer (wie BPE) zerlegen CAD-Sequenzen in natürliche Sprach-Wortteile (z. B. [extru], [sion]). Dies führt zu folgenden Nachteilen:

• Verlust der Semantik: Die atomaren CAD-Primitiven (Linien, Bögen, Extrusionsparameter) werden fragmentiert.
• Strukturelle Unfähigkeit: Aufmerksamkeitsmechanismen (Attention) konzentrieren sich auf Satzzeichen oder unvollständige Token statt auf die geometrische Struktur.
• Ineffizienz: Die Modellierung von Abhängigkeiten zwischen geometrischen Primitiven wird erschwert, was die Qualität und Effizienz der Generierung und Bearbeitung mindert.

2. Methodik: CAD-Tokenizer

Die Autoren stellen CAD-Tokenizer vor, ein Framework, das eine modalspezifische Tokenisierung verwendet, um CAD-Daten in diskrete, primitive-bewusste Token zu übersetzen. Der Ansatz besteht aus vier Hauptkomponenten:

A. Primitive-basierter VQ-VAE (Vector Quantized Variational Autoencoder)

Statt CAD-Sequenzen als Text zu behandeln, wird ein VQ-VAE trainiert, um die Sequenzen in diskrete Token zu komprimieren:

• Eingabe: CAD-Sequenzen werden in Paare aus Skizze und Extrusion zerlegt.
• Primitive Pooling: Im Gegensatz zu herkömmlichen VQ-VAEs, die eine Sequenz in einen einzigen latenten Vektor zusammenfassen, führt CAD-Tokenizer ein primitive-spezifisches Pooling durch. Jedes Skizzen-Extrusions-Paar wird in mehrere diskrete Repräsentationen kodiert.
• Ziel: Dies erfasst sowohl lokale als auch kontextuelle Informationen und erzeugt kompakte Token, die die geometrische Struktur widerspiegeln.

B. Alignment mit LLM-Embeddings

Da die Vektoren des VQ-VAE nicht direkt mit dem Embedding-Raum eines vortrainierten LLM (hier LLaMA-3-8b) übereinstimmen, werden Adapter-Module eingeführt:

• Diese Adapter bilden die VQ-VAE-Ausgaben bidirektional auf das LLM-Embedding-Abbildung ab.
• Ein Rekonstruktionsverlust sorgt dafür, dass die Token nach dem Mapping die ursprüngliche semantische Information bewahren, ohne das Backbone-LLM selbst neu trainieren zu müssen.

C. Unified Instruction Tuning

Das Framework trainiert das LLM in einem einheitlichen Setup für zwei Aufgaben:

1. Text-to-CAD: Generierung eines CAD-Modells aus einer Textanweisung (ohne Vorlage).
2. CAD-Editing: Modifikation eines bestehenden CAD-Modells basierend auf einer Textanweisung.
   Durch die Nutzung der komprimierten CAD-Token ist das Fine-Tuning effizienter und effektiver als bei rohen Textsequenzen.

D. FSA-gesteuerte Inferenz (Finite-State Automaton)

Da CAD-Sequenzen formale Sprachen mit strengen Syntaxregeln sind, reicht eine naive autoregressive Sampling-Strategie (wie Top-p) nicht aus, um syntaktisch gültige Modelle zu garantieren.

• Die Autoren führen einen Finite-State Automaton (FSA) ein, der die gültigen Konstruktionsschritte definiert.
• Während der Inferenz maskiert der FSA ungültige Logits, sodass das Modell nur grammatikalisch korrekte Token auswählen kann. Dies reduziert syntaktische Fehler erheblich.

3. Hauptbeiträge

1. Erstes einheitliches Framework: CAD-Tokenizer ist das erste System, das Text-zu-CAD-Generierung und CAD-Editing in einem einzigen Modell vereint.
2. Spezifische Tokenisierung: Entwicklung eines VQ-VAE-basierten Tokenizers, der CAD-Daten auf Primitivebene kodiert, anstatt sie in Wortteile zu zerlegen.
3. Adapter-Alignment: Einführung einer effizienten Methode, um die Vokabulare von VQ-VAE und LLM ohne vollständiges Neutrainieren des Backbones abzugleichen.
4. Syntax-Garantie: Integration einer FSA-basierten Sampling-Strategie, die die Einhaltung der CAD-Grammatik erzwingt und die Qualität der Ausgabe sicherstellt.

4. Ergebnisse

Die Evaluierung erfolgte auf dem SkexGen-Dataset (angepasst für CADFusion und CAD-Editor) mit einem Testset von ca. 1.000 Paaren.

• Quantitative Ergebnisse:

  • CAD-Editing: CAD-Tokenizer übertrifft spezialisierte Baselines (wie CAD-Editor) und allgemeine LLMs (Vanilla-LLaMA, GPT-4o) in fast allen Metriken, insbesondere bei F1-Scores für Skizzen (+10 Punkte) und Extrusionen.
  • Text-to-CAD: Das Modell zeigt deutliche Verbesserungen bei F1-Scores und Chamfer Distance (CD) im Vergleich zu Vanilla-LLaMA und liegt nahe an spezialisierten Modellen wie CADFusion, jedoch mit besserer Generalisierung.
  • Robustheit: Die Invaliditätsrate (IR) ist signifikant niedriger als bei Baselines ohne FSA (4,94 % vs. 17,2 % bei Top-p Sampling).

• Qualitative Ergebnisse:

  • Das Modell erzeugt realistischere und strukturgetreuere Objekte.
  • Bei Editing-Aufgaben folgt es den Anweisungen präziser und verändert das Originalmodell entsprechend, statt es nur zu kopieren (ein häufiger Fehler bei Baselines).

• Ablationsstudien:

  • Primitive Pooling ist essenziell; Varianten ohne Pooling oder mit BPE-Tokenisierung scheitern.
  • Die FSA-Inferenz verbessert die Qualität drastisch im Vergleich zu Standard-Decoding-Methoden.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass die Anpassung der Tokenisierung an die spezifische Natur der Domäne (hier CAD) entscheidend für den Erfolg von LLMs ist. Durch die Abbildung von CAD auf diskrete Primitive statt auf Wörter wird die Modellierung geometrischer Zusammenhänge ermöglicht.

• Industrielle Relevanz: Ein einheitliches Modell für Erstellung und Bearbeitung beschleunigt den gesamten Prototyping-Prozess.
• Effizienz: Die Kompression der Daten durch VQ-VAE reduziert den Rechenaufwand beim Training und Inferenz.
• Zukünftige Herausforderungen: Die Autoren identifizieren Limitationen bei komplexen Formen und räumlichem Verständnis, was auf die Notwendigkeit besserer Backbones oder Datensätze hinweist. Zudem wird angemerkt, dass rein distributionale Metriken bei Editing-Aufgaben irreführend sein können, wenn Modelle die Eingabe unverändert zurückgeben.

Zusammenfassend etabliert CAD-Tokenizer einen neuen Standard für textgesteuerte CAD-Systeme, indem er die Lücke zwischen natürlicher Sprache und formaler geometrischer Syntax durch modalspezifische Tokenisierung und strukturelle Constraints schließt.