cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

Die Arbeit stellt cadrille vor, ein multi-modales CAD-Rekonstruktionsmodell, das durch eine zweistufige Pipeline aus überwachtem Feinabstimmen und Reinforcement-Learning-basiertem Training mit GRPO neue State-of-the-Art-Ergebnisse auf mehreren Datensätzen erzielt.

Das Wesentliche

Stell dir vor, du hast ein altes, verstaubtes Spielzeugauto oder eine komplexe Maschine vor dir. Du möchtest wissen, wie es genau gebaut wurde, damit du es nachbauen, reparieren oder sogar verbessern kannst. Früher war das wie ein Rätsel: Du musstest es Stück für Stück zerlegen und die Baupläne mühsam von Hand zeichnen.

Das ist das Problem, das die Forscher mit ihrer neuen Methode namens cadrille lösen wollen. Hier ist eine einfache Erklärung, wie sie es tun, ohne Fachchinesisch:

1. Das Ziel: Vom Chaos zum Bauplan

In der Welt der Technik (CAD) gibt es zwei Arten, wie man Dinge beschreibt:

• Der "Klumpen": Ein 3D-Modell, das wie eine Statue aussieht. Man sieht die Form, aber man weiß nicht, wie man sie gebaut hat.
• Der "Bauantrag": Ein Computercode (ein Python-Skript), der sagt: "Nimm einen Zylinder, schneide ein Loch rein, füge eine Schraube hinzu." Das ist mächtig, weil man den Code später ändern kann.

Frühere Computerprogramme waren wie einseitige Spezialisten. Einer konnte nur aus einem 3D-Scan (einem "Klumpen") einen Bauplan machen. Ein anderer nur aus einem Foto. Ein dritter nur aus einer Textbeschreibung. Wenn du aber nur ein Foto hast und der Spezialist für Fotos nicht gut genug ist, warst du im Regen stehen.

cadrille ist wie ein multitalentierter Architekt, der alles kann: Er kann einen 3D-Scan, ein Foto oder sogar eine Textbeschreibung ("Mach mir einen Stuhl mit vier Beinen") nehmen und daraus den perfekten Bauplan schreiben.

2. Der Trick: Wie lernt der Computer?

Das Besondere an cadrille ist, wie es trainiert wird. Die Forscher nutzen zwei Phasen, ähnlich wie ein Schüler, der erst lernt, dann aber auch Feedback bekommt.

Phase 1: Der "Kopier-Heft"-Lernprozess (Supervised Fine-Tuning)

Stell dir vor, der Computer lernt, indem er Millionen von Beispielen durchschaut. Er sieht ein Foto und den dazugehörigen Bauplan. Er kopiert das Muster.

• Das Problem: Wenn er nur mit künstlich generierten Beispielen lernt (wie in einem Videospiel), ist er im echten Leben oft verwirrt. Echte Fotos sind verrauscht, echte Scans haben Löcher. Der Computer macht dann Fehler oder schreibt Code, der gar nicht funktioniert.

Phase 2: Der "Coaching"-Effekt (Reinforcement Learning)

Hier kommt die Magie ins Spiel. Die Forscher lassen den Computer nicht einfach nur kopieren, sondern er probieren aus.

• Der Computer schreibt einen Bauplan.
• Ein automatischer Prüfer (ein "Roboter-Lehrer") schaut sich das Ergebnis an.
• Die Belohnung: Wenn das Ergebnis gut aussieht und der Code funktioniert, gibt es einen "Goldstern" (Belohnung).
• Die Strafe: Wenn der Code abstürzt oder das Ding krumm aussieht, gibt es eine "rote Karte" (Strafe).

Der Computer lernt aus diesen Fehlern. Er versteht nicht nur was er schreiben muss, sondern auch wie man es richtig macht, damit es funktioniert. Das ist wie ein Koch, der nicht nur Rezepte auswendig lernt, sondern immer wieder probiert, schmeckt und seine Gewürzmengen anpasst, bis das Essen perfekt ist.

3. Warum ist das so wichtig?

• Ein Modell für alles: Früher brauchte man drei verschiedene Programme für drei verschiedene Eingaben. Jetzt reicht eines.
• Robustheit: Dank der "Coaching"-Phase (Phase 2) macht cadrille viel weniger Fehler. Es schreibt Code, der tatsächlich funktioniert, statt nur gut auszusehen.
• Echte Welt: Die Methode funktioniert nicht nur mit perfekten Computergrafiken, sondern auch mit echten, etwas schmutzigen Scans von echten Objekten.

Zusammenfassung in einer Metapher

Stell dir vor, du willst ein Haus bauen.

• Alte Methoden: Du hast einen Maurer, der nur aus Blaupausen bauen kann, einen Zimmermann, der nur aus Fotos bauen kann, und einen Tischler, der nur aus Beschreibungen baut. Keiner von ihnen ist perfekt, und sie können nicht zusammenarbeiten.
• cadrille: Du hast einen Super-Baumeister. Er kann dir auf ein Foto zeigen, auf einen 3D-Scan schauen oder dir zuhören, wenn du sagst "Ich will ein Haus mit einem Turm". Er schreibt dann nicht nur eine Skizze, sondern einen automatischen Bauplan, den eine Maschine sofort abarbeiten kann. Und das Beste: Er hat in einer virtuellen Werkstatt geübt, wo er tausende Male Fehler gemacht hat, bis er lernte, wie man niemals einen Fehler macht.

Das Ergebnis? Wir können jetzt viel schneller und einfacher aus Fotos oder Scans fertige, bearbeitbare 3D-Modelle erstellen. Das demokratisiert das Design – jeder kann etwas entwerfen, ohne ein Experte zu sein.

Technische Zusammenfassung

1. Problemstellung

Computer-Aided Design (CAD) ist fundamental für Ingenieurwesen und Fertigung, erfordert jedoch oft manuelle Arbeit und spezialisiertes Wissen. Das Ziel der CAD-Rekonstruktion ist es, aus gescannten Objekten (Punktwolken, Bildern) direkt bearbeitbare 3D-CAD-Modelle zu generieren.

Bisherige Ansätze leiden unter folgenden Einschränkungen:

• Eingeschränkte Modalitäten: Die meisten Methoden unterstützen nur eine Eingabeart (entweder Punktwolken, Bilder oder Text), was ihre Generalisierbarkeit und Robustheit einschränkt.
• Qualitätsverlust bei Multimodalität: Frühere multimodale Ansätze (z. B. CAD-MLLM, CAD-GPT) liefern deutlich schlechtere Ergebnisse als die besten ein-Modalitäten-Methoden.
• Generalisierungsprobleme: Modelle, die auf handgefertigten Datensätzen trainiert wurden, skalieren schlecht auf reale Daten, während Modelle auf prozedural generierten Daten oft Schwierigkeiten haben, auf reale Szenarien zu übertragen.
• Gültigkeit des Codes: Viele generierte Python-Skripte für CAD sind ungültig (Invalidity Ratio), was eine Nachbearbeitung erfordert.

2. Methodik: CA DRILLE

Das vorgestellte Modell cadrille ist ein multimodales System, das auf einem Vision-Language-Modell (VLM) basiert und CAD-Modelle als ausführbaren Python-Code (unter Verwendung der Bibliothek CadQuery) ausgibt.

Architektur

• Basis: Das Modell nutzt ein vortrainiertes VLM (Qwen2-VL-2B), das bereits Text und Bilder versteht und Python-Code generieren kann.
• Multimodale Eingabe:
  • Text: Wird über die originale Embedding-Schicht verarbeitet.
  • Bilder: Werden durch den visuellen Encoder des VLM verarbeitet (Multi-View-Images werden zu einem 2x2-Raster kombiniert).
  • Punktwolken: Werden ähnlich wie im Vorgängermodell CAD-Recode verarbeitet: Punkte werden per Furthest Point Sampling von der Oberfläche genommen, ohne Normalen, und über eine trainierbare lineare Schicht in den Embedding-Raum projiziert.

Zwei-Stufen-Trainings-Pipeline

Das Kernstück der Methode ist ein innovativer Trainingsansatz, der von LLM-Paradigmen inspiriert ist:

1. Supervised Fine-Tuning (SFT):

   • Das Modell wird auf einem großen, prozedural generierten Datensatz (CAD-Recode, ~1 Million Modelle) trainiert.
   • Ziel: Das Modell lernt, multimodale Eingaben (Punkte, Bilder, Text) in korrekte Python-CAD-Skripte zu übersetzen.
   • Vorteil: Durch die Nutzung synthetischer Daten wird eine hohe Vielfalt und Skalierbarkeit erreicht, ohne auf teure handgefertigte Daten angewiesen zu sein.

2. Reinforcement Learning (RL) Fine-Tuning:

   • Problem bei SFT: Das reine SFT auf synthetischen Daten führt zu Generalisierungsproblemen bei realen Daten (z. B. CC3D-Datensatz) und einer hohen Rate an ungültigem Code.
   • Lösung: Ein zweiter Trainingsschritt mit RL, der auf handgefertigten Daten (DeepCAD, Fusion360) basiert, die nicht mit CAD-Sequenzen annotiert sein müssen.
   • Reward-Funktion: Der Reward $R(\tau)$ besteht aus zwei Komponenten:
     • $r_{IoU}$: Intersection over Union zwischen dem generierten CAD-Modell und dem Ground-Truth-Mesh (mit einem Faktor 10 gewichtet für Präzision).
     • $r_{invalid}$: Eine starke Strafe (-10) für ungültigen Code, sonst 0.
   • Algorithmen: Das Paper vergleicht und nutzt fortschrittliche RL-Methoden:
     • DPO (Direct Preference Optimization): Lernt aus Paaren von bevorzugten und nicht-bevorzugten Ausgaben.
     • Dr. CPPO: Eine hybride Methode aus Dr. GRPO (kein Referenzmodell nötig) und CPPO (Nutzung von Samples mit starkem Signal). Dies führt zu den besten Ergebnissen.
   • Hard Example Mining: Nur Beispiele, bei denen der SFT-Modell-Reward unter einem Schwellenwert liegt, werden für das RL-Training verwendet, um die Konvergenz zu beschleunigen.

3. Wichtige Beiträge

1. Erster multimodaler State-of-the-Art: cadrille ist das erste Modell, das Punktwolken, Bilder und Text in einem einheitlichen Framework verarbeitet und dabei die Leistungsfähigkeit der besten ein-Modalitäten-Methoden übertrifft.
2. RL für CAD-Rekonstruktion: Der Nachweis, dass RL-Fine-Tuning die Qualität und vor allem die Gültigkeit (Validity) von generiertem CAD-Code signifikant verbessert, insbesondere bei multimodalen Eingaben.
3. Effizientes Trainingsschema: Die Trennung von SFT (auf synthetischen Daten) und RL (auf handgefertigten Daten) umgeht die Inkonsistenzen zwischen Datensätzen und ermöglicht eine bessere Anpassung an reale Daten ohne massive manuelle Annotation.
4. Umfassende Evaluation: Das Modell wurde auf 10 Benchmarks über drei Modalitäten und vier Datensätze (DeepCAD, Fusion360, CC3D, Omni-CAD) evaluiert.

4. Ergebnisse

Die Experimente zeigen deutliche Verbesserungen gegenüber dem aktuellen State-of-the-Art (z. B. CAD-Recode, Text2CAD, CAD-MLLM):

• DeepCAD (Synthetisch): cadrille erreicht in allen drei Modalitäten gleichzeitig neue Bestwerte. Die Invalidity Ratio (IR) sinkt drastisch (z. B. bei Bildern von 3,6 % auf 0,5 %).
• Fusion360 & CC3D (Realwelt/Zero-Shot):
  • Auf dem realen CC3D-Datensatz (mit Rauschen und fehlenden Teilen) erreicht cadrille mit RL-Fine-Tuning (Dr. CPPO) eine IoU von 65,0 % und eine IR von nur 0,1 %.
  • Zum Vergleich: CAD-Recode erreicht hier nur 60,5 % IoU und 9,8 % IR.
• Generalisierung: RL-Fine-Tuning auf Bilddaten verbessert auch die Leistung bei Punktwolken und umgekehrt, was die Robustheit des Modells unterstreicht.
• Effizienz: Im Gegensatz zu CAD-Recode, das für gute Ergebnisse 10 Samples pro Eingabe benötigt (was die Inferenzzeit verzehnfacht), liefert cadrille mit einem einzigen Sample bessere Ergebnisse und eine deutlich geringere IR.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass die Kombination aus großen Sprachmodellen, multimodalen Eingaben und Reinforcement Learning einen Paradigmenwechsel in der CAD-Rekonstruktion darstellt.

• Demokratisierung des Designs: Durch die Unterstützung von Text und einfachen Bildern (Smartphone-Kameras) wird CAD-Rekonstruktion für Nicht-Experten zugänglicher.
• Robustheit: Die Fähigkeit, mit realen Scans (CC3D) umzugehen, öffnet Türen für Anwendungen im Bereich Reverse Engineering und Wartung in der Industrie.
• Zukünftige Richtungen: Die Autoren schlagen vor, Modalitäten in einem Prompt zu kombinieren, um fehlende Eingaben zu kompensieren, und die Komplexität der prozedural generierten Daten weiter zu erhöhen, um noch besser an reale Scans angepasst zu sein.

Zusammenfassend stellt cadrille einen neuen Benchmark für die CAD-Rekonstruktion dar, der nicht nur die Genauigkeit, sondern vor allem die praktische Anwendbarkeit und Robustheit in realen Szenarien signifikant verbessert.