CADSmith: Multi-Agent CAD Generation with Programmatic Geometric Validation

Die Arbeit stellt CADSmith vor, ein Multi-Agenten-System, das durch einen iterativen Verfeinerungsprozess mit programmatischer geometrischer Validierung und einem visuellen Bewertungsmodell die Genauigkeit und Zuverlässigkeit von LLM-generierten CAD-Modellen aus natürlicher Sprache signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einen Ingenieur beauftragen, einen komplexen mechanischen Teil zu bauen – sagen wir, eine spezielle Halterung für Ihr Fahrrad – und Sie beschreiben dies nur mit Worten. Früher war das wie ein blindes Glücksspiel: Sie gaben die Beschreibung einem KI-Modell, und hofften, dass das Ergebnis nicht nur aussah wie ein Fahrradteil, sondern auch wirklich funktionierte. Oft passte das Ergebnis aber nicht: Die Schraubenlöcher waren einen Millimeter zu weit links, oder das Teil war so instabil, dass es beim ersten Drehen auseinanderfiel.

Die Forscher von CADSmith haben eine Lösung entwickelt, die wie ein perfektes Team aus Spezialisten funktioniert, anstatt sich auf einen einzigen "Alleskönner" zu verlassen.

Hier ist die Geschichte, wie CADSmith funktioniert, einfach erklärt:

1. Das Problem: Der "Halluzinierende" Architekt

Bisherige KI-Modelle waren wie Architekten, die toll zeichnen können, aber keine Ahnung von Mathematik haben. Sie malten ein schönes Bild, aber wenn man die Maße nachmessen wollte, stimmten die Zahlen nicht. Wenn die KI einen Fehler machte (z. B. "Ich habe vergessen, ein Loch zu bohren"), wusste sie oft nicht, dass sie einen Fehler gemacht hatte, und lieferte einfach ein falsches Teil aus.

2. Die Lösung: Ein Team von fünf Experten

CADSmith ist kein einzelner Roboter, sondern eine Firma mit fünf Mitarbeitern, die in einer engen Kette zusammenarbeiten. Sie nennen das einen "Multi-Agenten-Workflow".

• Der Planer (Der Chef): Er hört sich Ihre Beschreibung an und zerlegt sie in eine klare, strukturierte Liste. Statt "Mach mal ein Ding mit Löchern" sagt er: "Wir brauchen Zylinder A, Zylinder B, und genau 6 Löcher mit 5 mm Durchmesser."
• Der Programmierer (Der Handwerker): Er nimmt den Plan und schreibt den eigentlichen Code (die Bauanleitung für die Maschine). Wichtig: Er schaut nicht raten, sondern blättert ständig in einem Handbuch nach, wie die Befehle genau funktionieren. So vermeidet er, dass er alte oder falsche Befehle benutzt.
• Der Tester (Der Sicherheitsprüfer): Er nimmt den Code und führt ihn aus.
  • Loop 1 (Der schnelle Check): Wenn der Code einen Fehler wirft (z. B. "Syntaxfehler"), schickt er ihn sofort zurück zum Programmierer, der es korrigiert. Das passiert so lange, bis der Code überhaupt läuft.
• Der Richter (Der Qualitätskontrolleur): Das ist das Herzstück. Wenn der Code läuft, baut er das 3D-Teil. Aber sieht es auch richtig aus?
  • Der Maßband-Mann: Er misst das Teil mit einem digitalen Maßband (genau bis auf den Millimeter). Passt das Volumen? Ist die Breite genau 50 mm?
  • Der Maler (Die KI mit Augen): Er malt das Teil aus drei verschiedenen Blickwinkeln (von oben, von vorne, von der Seite) und schaut es sich an. Er vergleicht das Bild mit Ihrer ursprünglichen Beschreibung. "Hm, du hast gesagt 'sechs Löcher', aber ich sehe nur fünf."
• Der Korrektor (Der Retter): Wenn der Richter sagt: "Das ist falsch!", gibt er dem Programmierer nicht nur ein "Falsch", sondern eine genaue Diagnose: "Das Loch ist zu klein, und die Form ist schief." Der Programmierer ändert den Code, und das Team beginnt von vorne, bis alles perfekt ist.

3. Die Magie: Warum es besser funktioniert

Stellen Sie sich vor, Sie versuchen, einen Kuchen zu backen, aber Sie können ihn nicht probieren.

• Die alten Methoden waren wie ein Koch, der nur auf das Aussehen schaut. Der Kuchen sieht goldbraun aus, aber innen ist er roh (die Maße stimmen nicht).
• CADSmith ist wie ein Koch, der zwei Werkzeuge hat:
  1. Ein Thermometer (das OpenCASCADE-Messsystem), das die Temperatur exakt misst.
  2. Ein Scharfer Blick (die KI mit den Augen), der sieht, ob der Kuchen auch wirklich die richtige Form hat und nicht nur wie ein Kuchen aussieht.

Wenn das Thermometer sagt "300 Grad" (perfekt), aber der Blick sagt "Der Kuchen ist schief", weiß das Team, dass noch etwas fehlt. Sie arbeiten in einem Kreislauf: Messen -> Prüfen -> Korrigieren -> Messen.

4. Das Ergebnis

Die Forscher haben 100 verschiedene Aufgaben getestet, von einfachen Würfeln bis hin zu komplexen Maschinenteilen.

• Ohne dieses Team (nur ein einfacher KI-Versuch): 95 % der Teile liefen, aber viele waren falsch dimensioniert.
• Mit CADSmith: 100 % der Teile liefen fehlerfrei. Die Maße waren extrem genau, und die Form entsprach genau der Beschreibung.

Zusammenfassung

CADSmith ist wie ein unermüdlicher Qualitätskontrolleur, der niemals müde wird, immer nachmisst und niemals aufhört, bis das Teil perfekt ist. Es kombiniert die Präzision eines Computers (der millimetergenau misst) mit der Intuition eines menschlichen Ingenieurs (der das Gesamtbild betrachtet).

Das Besondere dabei: Sie müssen die KI nicht jahrelang mit Beispielen trainieren. Sie gibt ihr einfach das Handbuch und lässt sie durch Versuch und Irrtum lernen, bis das Ergebnis stimmt. Das macht das System zukunftssicher: Wenn sich die Bautechnik ändert, muss man nur das Handbuch aktualisieren, nicht das ganze Gehirn der KI neu programmieren.

Kurz gesagt: CADSmith verwandelt vage Beschreibungen in präzise, fertige Baupläne, indem es sicherstellt, dass das, was auf dem Bildschirm aussieht, auch in der Realität funktioniert.

Technische Zusammenfassung

1. Problemstellung

Die Erstellung von CAD-Modellen (Computer-Aided Design) aus natürlichen Sprachbeschreibungen stellt eine große Herausforderung für Large Language Models (LLMs) dar. Bestehende Ansätze leiden unter zwei Hauptproblemen:

• Fehlende geometrische Verifizierung: Viele Methoden arbeiten in einem einzigen Durchgang (Single-Pass) ohne Überprüfung, ob der generierte Code korrekt ausgeführt wird oder die Geometrie den Spezifikationen entspricht.
• Verlustige visuelle Rückmeldung: Andere Ansätze nutzen visuelle Feedback-Schleifen (z. B. durch Bildanalyse), die jedoch oft keine millimetergenauen Maßfehler erkennen können. Ein Modell kann visuell „richtig" aussehen, aber dimensionale Toleranzen verletzen oder topologische Fehler (z. B. nicht wasserdichte Volumenkörper) aufweisen.

Für die Fertigung ist jedoch nicht nur die visuelle Ähnlichkeit, sondern die exakte Einhaltung von Maßen, Volumen und Topologie entscheidend. LLMs neigen dazu, Dimensionen zu halluzinieren oder APIs falsch zu verwenden. Es fehlt ein System, das sowohl präzise numerische Messungen als auch ein ganzheitliches visuelles Verständnis kombiniert, um iterative Korrekturen vorzunehmen.

2. Methodik: Die CADSmith-Pipeline

CADSmith ist ein Multi-Agenten-System, das CadQuery-Code (eine Python-API für OpenCASCADE) generiert und durch zwei verschachtelte Korrekturschleifen verfeinert. Der Prozess umfasst fünf spezialisierte Agenten:

1. Planner: Wandelt den natürlichen Sprachprompt in einen strukturierten Designplan (JSON) um, der Komponenten, Zielmaße und geometrische Constraints definiert.
2. Coder: Generiert den CadQuery-Code. Statt eines Fine-Tunings nutzt er Retrieval-Augmented Generation (RAG) über die API-Dokumentation von CadQuery und eine Datenbank mit Fehler-Solutions-Mustern. Dies hält das System aktuell, wenn sich die CAD-Bibliothek ändert.
3. Executor: Führt den Code in einer isolierten Python-Umgebung aus.
   • Innere Schleife (Fehlerbehandlung): Wenn der Code einen Laufzeitfehler wirft, analysiert ein Error Refiner den Stacktrace unter Nutzung von RAG und korrigiert den Code (bis zu 3 Versuche).
4. Validator (Außere Schleife): Prüft die erfolgreich ausgeführte Geometrie. Dies ist der Kern der Innovation:
   • Programmatic Geometric Validation: Der OpenCASCADE-Kernel (OCCT) liefert exakte Metriken: Bounding-Box-Abmessungen, Volumen, Anzahl der Flächen/Kanten/Ecken und die Gültigkeit des Volumenkörpers (watertight).
   • Vision-Language Model (VLM) Judge: Ein separates, stärkeres Modell (Claude Opus) fungiert als Richter. Es erhält den Prompt, den Code, die Kernel-Metriken und drei gerenderte Ansichten des 3D-Modells (isometrisch, Rückansicht, Frontprofil). Der Judge prüft visuell, ob die im Prompt geforderten Merkmale (z. B. Lochanzahl) sichtbar sind und ob die Form insgesamt konsistent ist.
5. Refiner: Erhält bei einem Validierungsfehler sowohl die numerischen Diskrepanzen als auch das visuelle Feedback des Judges und generiert korrigierten Code. Dieser Prozess wiederholt sich bis zu fünfmal.

Wichtige Design-Entscheidungen:

• Vermeidung von Self-Confirmation Bias: Der Judge (Claude Opus) ist ein anderes, stärkeres Modell als der Code-Generator (Claude Sonnet).
• Absolute Metriken: Die Auswertung erfolgt im absoluten Millimeter-Raum, nicht normalisiert, um die dimensionale Genauigkeit zu bewerten.

3. Schlüsselbeiträge

• Multi-Agenten-Architektur: Ersetzung monolithischer Modelle durch eine dekomponierte Pipeline (Planner, Coder, Executor, Validator, Refiner).
• Dual-Loop-Validierung: Kombination einer inneren Schleife für Syntax-/Laufzeitfehler und einer äußeren Schleife für geometrische Korrekturen, die auf Kernel-Metriken und VLM-Inspektion basiert.
• Unabhängiger VLM-as-Judge: Nutzung eines separaten Vision-Language-Modells zur Vermeidung von Bestätigungsfehlern und zur Erkennung von Fehlern, die reine Zahlenwerte übersehen (z. B. falsche Topologie trotz korrektem Volumen).
• RAG statt Fine-Tuning: Das System bleibt durch Abfragen der API-Dokumentation aktuell und benötigt kein aufwendiges Nachtrainieren bei API-Änderungen.

4. Ergebnisse

Die Evaluation erfolgte auf einem neuen Benchmark mit 100 Prompts in drei Schwierigkeitsstufen (T1: Primitive, T2: Technische Teile, T3: Komplexe Teile).

• Gesamtleistung: CADSmith (vollständige Pipeline) erreicht eine 100%ige Ausführungsrate (im Vergleich zu 95% beim Zero-Shot-Baseline).
• Qualitätsverbesserung:
  • Der mittlere Chamfer-Abstand (CD) sank drastisch von 28,37 (Zero-Shot) auf 0,74.
  • Der mittlere IoU (Intersection over Union) verbesserte sich von 0,8085 auf 0,9629.
  • Der mittlere F1-Score stieg von 0,9707 auf 0,9846.
• Einfluss der Vision: Der Abzug der visuellen Eingabe (No-Vision-Ablation) führte bei komplexen Teilen (T3) zu einem katastrophalen Anstieg des Chamfer-Abstands von 1,42 auf 49,68. Dies zeigt, dass Kernel-Metriken allein „falsche Konvergenz" (Shape ist mathematisch plausibel, aber strukturell falsch) nicht erkennen können.
• Schwierigkeitsstufen: Während T1 und T2 fast perfekte Ergebnisse liefern, zeigt T3 (komplexe Teile mit Lofts, Sweeps, etc.) eine leichte Abnahme, bleibt aber deutlich über dem Basiswert.

5. Bedeutung und Fazit

CADSmith demonstriert, dass ein geschlossener Regelkreis (Closed-Loop) mit programmatischer geometrischer Validierung und visueller Inspektion die Zuverlässigkeit von LLM-generierten CAD-Modellen erheblich steigert.

• Praxisrelevanz: Das System adressiert das Problem, dass generierte Teile oft nur visuell ähnlich, aber für die Fertigung unbrauchbar sind. Durch die Kombination aus exakten Maßen und visueller Prüfung werden Teile erzeugt, die den industriellen Anforderungen näher kommen.
• Forschungsbeitrag: Die Arbeit zeigt, dass reine Code-Generierung oder reine Bild-basierte Bewertung nicht ausreichen. Die Synchronisation von numerischer Präzision (OpenCASCADE) und semantischem visuellem Verständnis (VLM) ist entscheidend für die Automatisierung komplexer Ingenieursaufgaben.
• Limitationen: Das Paper gibt zu, dass bestimmte subtile Fehler (z. B. kleine Lücken an Verbindungsstellen) auch durch die drei festen Ansichten schwer zu erkennen sind, was zukünftige Arbeiten zu adaptiven Ansichten oder höheren Auflösungen motiviert.

Zusammenfassend etabliert CADSmith einen neuen Standard für Text-zu-CAD-Generierung, der über einfache Code-Synthese hinausgeht und echte, validierbare Ingenieursgeometrie liefert.