Seek-CAD: A Self-refined Generative Modeling for 3D Parametric CAD Using Local Inference via DeepSeek

Die Studie stellt Seek-CAD vor, ein training-freies Verfahren, das das lokal ausgeführte Open-Source-LLM DeepSeek-R1 in Kombination mit visuellem Feedback und Chain-of-Thought-Reflexion nutzt, um parametrische 3D-CAD-Modelle selbstverfeinernd zu generieren.

Das Wesentliche

Stell dir vor, du möchtest einen komplexen 3D-Druck oder eine technische Zeichnung für eine Maschine erstellen. Früher musste man das alles mühsam von Hand programmieren – wie das Bauen eines Hauses Ziegel für Ziegel, ohne Bauplan.

Das Papier stellt Seek-CAD vor, ein neues Werkzeug, das wie ein super-intelligenter, selbstkorrigierender Architekt funktioniert. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der "blinde" KI-Architekt

Künstliche Intelligenz (KI) ist heute sehr gut darin, Texte zu verstehen und Bilder zu zeichnen. Aber wenn es darum geht, präzise technische Baupläne (CAD-Modelle) zu erstellen, machen große KI-Modelle oft Fehler.

• Das alte Problem: Frühere KIs wurden wie ein Schüler ausgebildet, der tausende Beispiele auswendig gelernt hat (Feinabstimmung). Das ist teuer und unflexibel.
• Das neue Problem: Wenn man eine KI einfach nur "fragt", was sie bauen soll, denkt sie oft nicht Schritt für Schritt nach. Sie wirft einfach einen Entwurf hin, der vielleicht aussieht wie ein Stuhl, aber eigentlich ein Tisch ist, oder bei dem die Beine durch den Boden ragen.

2. Die Lösung: Seek-CAD (Der "Suche-und-Verbessere"-Architekt)

Seek-CAD nutzt eine spezielle KI (DeepSeek-R1), die nicht neu trainiert werden muss. Stattdessen nutzt sie eine clevere Methode, die man sich wie einen Baumeister mit einem strengen Bauleiter vorstellen kann.

Schritt 1: Der Bauplan (Der "Gedankenstrom")

Wenn du der KI sagst: "Baue einen Stuhl mit vier Beinen und einer Lehne", denkt die KI erst einmal laut nach. Sie schreibt einen Gedankenstrom (Chain-of-Thought) auf:

"Okay, zuerst zeichne ich ein Rechteck für die Sitzfläche. Dann extrudiere ich (ziehe ich hoch) die Beine. Dann füge ich die Lehne hinzu."

Schritt 2: Der Baustellen-Besuch (Schritt-für-Schritt-Ansicht)

Das ist der geniale Teil: Die KI baut das Modell nicht einfach nur als fertiges Bild. Sie zeigt dir jeden einzelnen Schritt des Bauprozesses.

• Stell dir vor, du filmst den Bauprozess: Zuerst siehst du nur das Fundament, dann die Wände, dann das Dach.
• Seek-CAD macht genau das: Es rendert (zeichnet) das Modell in kleinen Etappen.

Schritt 3: Der Bauleiter (Die visuelle Kontrolle)

Hier kommt ein zweiter KI-Experte (ein "Vision Language Model", wie Gemini) ins Spiel. Dieser Bauleiter schaut sich die Schritt-für-Schritt-Fotos an und vergleicht sie mit dem Gedankenstrom der ersten KI.

• Szenario: Die erste KI dachte: "Ich baue ein Bein." Aber auf dem Foto sieht der Bauleiter: "Moment mal! Das sieht eher aus wie ein Tischbein, das schief ist, und du hast vergessen, die Querverbindung zu zeichnen."
• Der Bauleiter sagt: "Das passt nicht! Hier ist ein Fehler."

Schritt 4: Die Selbstkorrektur

Die erste KI bekommt dieses Feedback zurück. Sie denkt sich: "Ah, ich habe einen Fehler gemacht. Ich korrigiere meinen Code und baue es nochmal."
Dieser Prozess wiederholt sich ein paar Mal, bis der Bauleiter zufrieden ist und sagt: "Perfekt, das ist ein Stuhl!"

3. Die neue Bauweise (SSR-Paradigma)

Früher haben viele Systeme nur einfache Bauklötze verwendet (z. B. "Zeichne eine Linie, ziehe sie hoch"). Seek-CAD nutzt eine neue Methode namens SSR (Skizze, Skizze-basierter Zug, Verfeinerung).

• Vergleich: Stell dir vor, du baust mit LEGO. Die alten Systeme konnten nur einfache Türme bauen. Seek-CAD kann aber auch Nägel, Schrauben und abgerundete Ecken hinzufügen. Es versteht komplexe Details wie "diese Kante muss abgerundet sein" oder "dieses Loch muss hier genau sitzen".

4. Warum ist das wichtig?

• Kein teures Training: Man muss die KI nicht monatelang füttern, um sie zu lernen. Sie nutzt ihr vorhandenes Wissen und korrigiert sich selbst.
• Industrie-tauglich: Die Modelle sehen nicht nur gut aus, sie sind technisch korrekt und können von echten Maschinen verarbeitet werden.
• Fehlervermeidung: Durch den ständigen Abgleich von "Gedanken" und "Bild" werden grobe Fehler sofort erkannt, bevor das Endergebnis fertig ist.

Zusammenfassung in einem Satz

Seek-CAD ist wie ein Architekt, der laut denkt, einen Baumeister hat, der jeden einzelnen Schritt auf der Baustelle filmt, und der sofort korrigiert, wenn das Bild nicht mit dem Plan übereinstimmt – alles ohne dass man ihm vorher tausende Beispiele zeigen musste.

Technische Zusammenfassung

1. Problemstellung

Die automatische Generierung von parametrischen 3D-CAD-Modellen (Computer-Aided Design) ist ein zentrales Ziel für die Automatisierung im industriellen Design. Während Large Language Models (LLMs) vielversprechend für Text-zu-CAD-Aufgaben sind, bestehen erhebliche Herausforderungen:

• Mangelnde Anpassungsfähigkeit: Herkömmliche Fine-Tuning-Ansätze erfordern enorme Rechenressourcen und spezifische Datensätze.
• Fehlende Denkprozesse: Bestehende trainingsfreie (training-free) Methoden nutzen zwar fortschrittliche LLMs, fehlt jedoch oft ein Mechanismus, um „Chain-of-Thought" (CoT) – also den schrittweisen Denkprozess – effektiv zu nutzen und zu validieren.
• Komplexität der Modelle: Viele aktuelle Ansätze basieren auf dem einfachen „Sketch-Extrude" (SE)-Paradigma, das nur grundlegende Operationen unterstützt und komplexe industrielle Designs (mit Verklebungen, Fasen, Schalen etc.) nicht adäquat abbilden kann.
• Fehleranfälligkeit: Ohne Feedback-Schleifen neigen generierte CAD-Codes zu syntaktischen Fehlern oder geometrischen Inkonsistenzen, die nicht mit der ursprünglichen Beschreibung übereinstimmen.

2. Methodik: Das Seek-CAD Framework

Seek-CAD ist ein trainingsfreies Framework, das auf der lokal bereitgestellten Reasoning-LLM DeepSeek-R1-32B-Q4 basiert. Es kombiniert Retrieval-Augmented Generation (RAG) mit einem selbstverfeinernden Mechanismus, der visuelle und logische Rückmeldungen nutzt.

A. Lokale Inferenz-Pipeline & RAG

• Backbone: DeepSeek-R1 wird lokal ohne Fine-Tuning eingesetzt, um Ressourcen zu sparen und Flexibilität zu erhöhen.
• Wissensbeschränkung (Knowledge Constraint): Um Halluzinationen zu minimieren, wird DeepSeek-R1 durch ein System-Prompt gesteuert, das Funktionsdefinitionen, die Dokumentation des SSR-Paradigmas (siehe unten) und Beispiele enthält.
• RAG (Retrieval-Augmented Generation): Ein lokaler Korpus von 10.000 CAD-Modellen wird durchsucht. Für eine Texteingabe werden die Top-3 ähnlichen CAD-Codes (Text + Code) per hybrider Suche (Vektor + Volltext) abgerufen und als Kontext in den Prompt eingefügt, um die Generierung zu leiten.

B. Das SSR-Design-Paradigma (Sketch, Sketch-based feature, Refinements)

Anstelle des traditionellen SE-Paradigmas führt das Paper das SSR-Paradigma ein:

• Ein CAD-Modell wird als Sequenz von SSR-Tripeln dargestellt: (Skizze, skizzenbasiertes Feature, [Verfeinerungen]).
• Features: Umfasst nicht nur Extrusionen, sondern auch komplexe Operationen wie Drehen (Revolve), Fasen (Chamfer), Abrundungen (Fillet) und Schalen (Shell).
• CapType-Referenzmechanismus: Ein neuartiges System, um topologische Primitive (Kanten, Flächen) aus früheren Schritten für nachfolgende Verfeinerungen zu referenzieren. Dies löst das Problem, dass in parametrischen Modellen oft keine direkten Verweise auf Zwischenergebnisse existieren.

C. Schrittweise visuelle Rückmeldung (Step-wise Visual Feedback - SVF)

Dies ist der Kern der Selbstverfeinerung:

1. Rendering: Der initial generierte Code wird nicht nur als Endform, sondern als Sequenz von schrittweisen Perspektivbildern gerendert (jeder SSR-Schritt wird einzeln dargestellt, wobei vorherige Schritte ausgeblendet oder transparent gemacht werden, um die Konstruktion zu visualisieren).
2. CoT-Integration: DeepSeek-R1 generiert einen „Chain-of-Thought" (CoT), der die logischen Schritte des Designs erklärt.
3. VLM-Validierung: Ein Vision Language Model (Gemini-2.0) bewertet die Ausrichtung zwischen den schrittweisen Bildern und dem CoT.
   • Stimmt die Logik mit dem Bild überein?
   • Wenn nein, gibt Gemini-2.0 eine detaillierte Fehlerbeschreibung zurück.
4. Iterative Verfeinerung: DeepSeek-R1 nutzt dieses Feedback, um den Code zu korrigieren. Dieser Prozess läuft bis zu einer maximalen Iteration (in der Praxis meist 1 Runde), um eine Balance zwischen Genauigkeit und Kompilierbarkeit zu finden.

3. Wichtige Beiträge

1. Seek-CAD Framework: Ein vollständig trainingsfreies System, das DeepSeek-R1 für die CAD-Generierung nutzt und durch eine Kombination aus visueller und logischer Rückmeldung (CoT + Bilder) eine hohe geometrische Treue erreicht.
2. SSR-Paradigma & CapType: Einführung eines neuen Design-Paradigmas, das komplexe industrielle Features unterstützt, sowie eines Referenzsystems (CapType), das die Generierung von Verfeinerungsfeatures (wie Fasen an spezifischen Kanten) ermöglicht.
3. Neuer Datensatz: Erstellung eines 40.000-Beispiele umfassenden CAD-Datensatzes, der auf dem SSR-Paradigma basiert und deutlich komplexere Modelle als existierende Datensätze (wie DeepCAD) abdeckt.
4. Step-wise Visual Feedback: Ein neuartiger Ansatz, der nicht nur das Endergebnis, sondern den gesamten Konstruktionsverlauf visuell validiert, was die Fehlerkorrektur bei komplexen Modellen signifikant verbessert.

4. Ergebnisse

Die Experimente wurden auf einem Testset von 500 CAD-Modellen (unabhängig vom Trainingskorpus) durchgeführt und verglichen mit Fine-Tuning-Methoden (CAD-Llama) und anderen trainingsfreien Ansätzen (3D-PreMise, CADCodeVerify).

• Geometrische Genauigkeit: Seek-CAD übertrifft alle Baselines in Metriken wie Chamfer Distance (CD), Hausdorff Distance (HD) und Intersection over Ground Truth (IoGT).
  • CD: 0.1979 (Seek-CAD) vs. 0.2147 (CAD-Llama).
  • IoGT: 0.7226 (Seek-CAD) vs. 0.7023 (CAD-Llama).
• Text-Übereinstimmung: Der G-Score (Bewertung der Übereinstimmung zwischen Beschreibung und Bild durch Gemini) liegt bei 3.5185, was auf ein besseres semantisches Verständnis hindeutet.
• Verfeinerungseffekt: Die schrittweise visuelle Rückmeldung (SVF) verbessert die Ergebnisse signifikant gegenüber einer einmaligen Generierung. Eine zweite Iteration bringt nur marginale Gewinne, erhöht aber die Fehlerquote bei der Kompilierung.
• Robustheit: Das Framework zeigt auch auf dem einfacheren DeepCAD-Datensatz (SE-Paradigma) überlegene Leistung, was die Generalisierungsfähigkeit unterstreicht.
• Neuartigkeit: Trotz der Nutzung eines lokalen Korpus generiert Seek-CAD Modelle mit einer hohen „Novelty" (64,04%), was zeigt, dass es nicht einfach kopiert, sondern kreativ generiert.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass lokale, trainingsfreie LLMs mit Reasoning-Fähigkeiten (wie DeepSeek-R1) in Kombination mit multimodalen Feedback-Schleifen (Visuell + Logisch) eine leistungsstarke Alternative zu ressourcenintensiven Fine-Tuning-Methoden darstellen.

• Industrielle Relevanz: Durch das SSR-Paradigma und die Unterstützung komplexer Features (Fasen, Schalen) nähert sich die generierte CAD-Struktur realen industriellen Anforderungen an.
• Effizienz: Der Ansatz eliminiert den Bedarf an teurem Training und ermöglicht den Einsatz auf lokaler Hardware (eine GPU), was die Zugänglichkeit für CAD-Generierung erhöht.
• Zukunft: Die Integration von CoT und schrittweiser Visualisierung bietet einen neuen Weg, um die „Black Box" der CAD-Generierung zu öffnen und die Fehlerkorrektur durch maschinelles Feedback zu automatisieren.

Zusammenfassend stellt Seek-CAD einen Paradigmenwechsel dar: Weg vom reinen „Text-zu-Code" hin zu einem selbstkorrigierenden, visuell validierten Designprozess, der die Lücke zwischen natürlichsprachlichen Beschreibungen und komplexen parametrischen 3D-Modellen schließt.