CADReasoner: Iterative Program Editing for CAD Reverse Engineering

Probleemstelling

Het herwinnen van precieze CAD-modellen (Computer-Aided Design) uit ruwe 3D-scan-data is een fundamenteel maar uitdagend probleem in computer vision en graphics.

• De Kloof: Gescande 3D-data (zoals puntwolken of meshes van LiDAR/RGB-D sensoren) bevatten vaak ruis, ontbrekende gebieden en onvolkomenheden. CAD-modellen daarentegen zijn schone, parametrische representaties met exacte oppervlakken en structuren.
• Beperkingen van Bestaande Methoden: Veel huidige AI-systemen voor CAD-reconstructie vertrouwen op "single-shot" (eenmalige) voorspellingen of simpele uitlijningstechnieken. Ze missen het vermogen om fouten iteratief te verbeteren.
• Menselijke Vergelijking: Menselijke ingenieurs werken anders: ze vergelijken de input-vorm continu met de reconstructie en passen het ontwerp iteratief aan op basis van de resterende verschillen. Bestaande agent-gebaseerde methoden proberen dit te imiteren met "frozen" (niet-trainbare) Vision-Language Models (VLMs), maar deze hebben vaak een zwakke 3D-gronding en leren niet van hun eigen fouten.

Methodologie: CADReasoner

CADReasoner is een nieuw model dat is getraind om zijn voorspellingen iteratief te verfijnen op basis van de geometrische discrepantie tussen de invoer en de voorspelde vorm.

1. Kernarchitectuur en Loop:

• Output: Het model genereert een uitvoerbaar CadQuery Python-programma (een script dat een 3D-object bouwt).
• Iteratieve Self-Correction: In plaats van één keer te voorspellen, werkt het in een gesloten lus:
  1. Het model ontvangt de huidige voorspelling (mesh) en de doel-geometrie.
  2. Het analyseert het verschil en genereert een bijgewerkt CadQuery-script.
  3. Het nieuwe script wordt uitgevoerd om een nieuwe mesh te renderen.
  4. Deze nieuwe mesh wordt weer teruggevoerd als input voor de volgende iteratie.
• Selectie: Na elke stap wordt het "beste tot nu toe" behaalde script geselecteerd op basis van de geometrische afstand (Chamfer Distance).

2. Multimodale Invoer (Complementaire Modaliteiten):
Het model fuseert twee soorten data om de geometrische fouten te begrijpen:

• Multi-view Overlays: 8 vaste weergaven (6 orthografische + 2 isometrische) waarbij de doel-mesh (groen) en de voorspelde mesh (rood) worden over elkaar gelegd. Overlap is geel. Dit geeft visuele informatie over globale inconsistenties.
• Puntwolken (Point Clouds): Puntwolken van zowel de doel- als de voorspelde mesh. Voor elk punt wordt een vector berekend naar het dichtstbijzijnde punt op de tegenovergestelde mesh. Dit levert een lokale, metrische foutsignaal op (richting en grootte van de correctie).

3. Scan-Simulatie Protocol:
Om de kloof tussen synthetische datasets en de realiteit te overbruggen, introduceert het paper een scan-simulatie:

• In plaats van perfecte meshes te gebruiken, wordt een virtuele camera langs een object bewogen om zichtbare punten te extraheren.
• Er worden typische scan-artefacten toegevoegd: onvolledige oppervlaktebedekking, afgeronde randen, en willekeurige gaten (missing patches).
• Dit protocol wordt toegepast tijdens zowel training als evaluatie, zodat het model leert omgaan met realistische, imperfecte data.

4. Training Strategie (Curriculum Learning):
Het model (gebaseerd op Qwen2-VL 2B) wordt getraind via Supervised Fine-Tuning (SFT) met een curriculum:

• Stadium A: Leren om een script te genereren vanuit niets (t=1).
• Stadium B & C: Leren om bestaande, imperfecte scripts te verfijnen (t>1) door gebruik te maken van de fouten die het model zelf in eerdere stappen heeft gemaakt. Dit voorkomt dat het model alleen leert om "makkelijke" eerste voorspellingen te doen.

Belangrijkste Bijdragen

1. Iteratieve Self-Correction: CADReasoner is een framework dat iteratieve inferentie en zelfcorrectie toepast, waardoor de alignatie tussen CAD-modellen en input stap voor stap verbetert.
2. Realisme door Scan-Simulatie: Door scan-simulatie toe te passen tijdens training en evaluatie, wordt het probleem realistischer gemaakt dan in eerdere werken die puur op synthetische, schone data leunden.
3. State-of-the-Art Prestaties: Het model presteert beter dan bestaande methoden op meerdere benchmarks, met name in scenario's met scan-defecten.
4. Geometrie als Kern: In tegenstelling tot methoden die geometrie alleen gebruiken als een scalair beloningssignaal (RL), staat de geometrische discrepantie centraal in de SFT-training, wat beter aansluit bij hoe ingenieurs redeneren.

Resultaten

De evaluatie vond plaats op drie benchmarks: DeepCAD, Fusion 360, en MCB (Machine Component Benchmark).

• Prestaties op Schone Data: CADReasoner bereikt de beste resultaten in termen van Chamfer Distance (CD), Intersection over Union (IoU) en Invalid Rate (IR). Op DeepCAD en Fusion 360 verbetert het model de resultaten aanzienlijk na 5 iteraties (t=5).
• Prestaties op Scan-Data: Waar andere methoden (zoals cadrille of CAD-Recode) sterk degraderen bij scan-artefacten, behoudt CADReasoner zijn prestaties. Het bereikt bijna dezelfde nauwkeurigheid als bij schone data.
• Multimodale Fusie: Het combineren van afbeeldingen en puntwolken leidt tot de beste resultaten, vooral op de MCB-dataset waar de puntwolk-gegevens cruciaal zijn voor het verminderen van de Invalid Rate.
• Stochastisch Decoding: Door gebruik te maken van stochastische beam search (in plaats van alleen greedy decoding) en het selecteren van de beste trajecten, overtreft CADReasoner zelfs methoden die zijn getraind met Reinforcement Learning (RL).

Betekenis en Impact

Dit werk is significant omdat het de manier waarop AI CAD-reconstructie aanpakt, fundamenteel verandert:

• Van Single-Pass naar Iteratief: Het introduceert een paradigma van continue verbetering, wat dichter bij de menselijke engineering-praktijk ligt.
• Robuustheid: Door trainen op gesimuleerde scans, is het model veel robuuster voor echte industriële toepassingen waar scans nooit perfect zijn.
• Efficiëntie: Het bereikt state-of-the-art resultaten zonder complexe RL-finetuning, maar puur door slimme SFT-strategieën en geometrische feedback.
• Toepasbaarheid: De mogelijkheid om direct uitvoerbare CadQuery-scripts te genereren die iteratief worden verbeterd, maakt het systeem direct bruikbaar in industriële reverse-engineering workflows.

Kortom, CADReasoner bewijst dat een model dat leert om zijn eigen code te herschrijven op basis van visuele en geometrische feedback, superieure resultaten levert in het reconstrueren van complexe 3D-ontwerpen uit imperfecte data.