cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

Dit paper introduceert cadrille, een multi-modaal model voor CAD-reconstructie dat visuele, tekstuele en puntwolk-data combineert en gebruikmaakt van een twee-staps trainingsproces met supervised fine-tuning en versterkt leren (RL) om nieuwe state-of-the-art resultaten te behalen.

De kern

Titel: Cadrille – De Digitale Architect die Alles Begrijpt

Stel je voor dat je een heel complexe, 3D-bouwkunstwerk wilt maken, zoals een stoel, een motorblok of een stuk speelgoed. Vroeger moest je dit met de hand tekenen in ingewikkelde software, wat jaren van training vereiste. Vandaag de dag proberen computers dit voor ons te doen, maar ze hebben vaak hulp nodig om te weten wat ze moeten bouwen.

Deze paper introduceert Cadrille, een slimme nieuwe computerprogramma dat als een multitalent werkt. Het kan 3D-modellen bouwen op basis van drie verschillende soorten aanwijzingen, en het doet dit beter dan ooit tevoren.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Drie Talen van Cadrille

Stel je Cadrille voor als een meester-bouwer die drie talen vloeiend spreekt. Je kunt hem op drie manieren vertellen wat je wilt bouwen:

• De 3D-Scan (Het Lijf): Je kunt een fysiek object scannen (bijvoorbeeld met een speciale camera) en de computer krijgt een "wolk" van punten. Dit is alsof je de computer een foto geeft van het skelet van het object.
• De Foto's (Het Uiterlijk): Je kunt een reeks foto's van het object maken, net als wanneer je een product op een website bekijkt. De computer kijkt naar deze foto's en reconstructeert het 3D-ontwerp.
• De Tekst (De Droom): Je kunt gewoon een beschrijving typen, zoals: "Maak een ronde kom met een handvat aan de zijkant." De computer leest dit en bouwt het.

De grote doorbraak: Vroeger waren computerprogramma's als een eenarmige bandiet: ze konden alleen maar met één van deze talen werken. Als je foto's gaf, konden ze geen tekst begrijpen, en andersom. Cadrille is de eerste die alles tegelijk kan verwerken en er zelfs beter in wordt dan de specialisten die maar één taal spreken.

2. Hoe leert Cadrille? (De Twee-Stappen Methode)

Cadrille is niet zomaar geboren; het is getraind in twee fases, net als een leerling die eerst theorie leert en dan praktijkervaring opdoet.

Fase 1: De Theorieles (Supervised Fine-Tuning)
Stel je voor dat Cadrille een enorme bibliotheek binnenstapt met miljoenen voorbeelden van bouwwerken. Het leest en bestudeert deze boeken (data) om de basisregels van bouwen te leren. Het leert hoe een muur eruitziet, hoe een raam past, en hoe je een stoel construeert.

• Het probleem: Als je alleen met deze boeken leert, is de leerling soms te theoretisch. Als je hem een echt, imperfect object geeft (met stof of beschadigingen), raakt hij in de war. Hij bouwt dan misschien een model dat er mooi uitziet, maar technisch onmogelijk is om te fabriceren.

Fase 2: De Praktijkles met Feedback (Reinforcement Learning)
Hier komt het magische deel. In plaats van alleen maar meer boeken te lezen, krijgt Cadrille nu een coach.

• De coach laat Cadrille een model bouwen.
• Als het model goed is, krijgt hij een sterretje (beloning).
• Als het model scheef staat of niet werkt, krijgt hij een rood kaartje (straf).
• Cadrille probeert het opnieuw, kijkt naar zijn fouten, en past zijn strategie aan.

Dit proces heet Reinforcement Learning (Versterkend Leren). Het is alsof je een kind leert fietsen: eerst vallen ze (fouten maken), maar door de feedback ("leun niet zo naar links!") leren ze uiteindelijk perfect te fietsen.

3. Waarom is dit zo belangrijk?

Vroeger waren deze slimme bouwers vaak "slordig". Ze maakten modellen die er goed uitzagen, maar die in de echte wereld niet werkten (bijvoorbeeld: de software crashte of de onderdelen pasten niet).

Cadrille, dankzij die tweede fase met de coach, leert niet alleen hoe het eruit moet zien, maar ook hoe het moet werken.

• Het bouwt modellen die direct in de fabriek kunnen worden gebruikt.
• Het is zo slim dat het zelfs werkt met "ruwe" data, zoals scans van echte objecten met krasjes en stof, en toch een perfect, schoon ontwerp maakt.

Samenvattend

Cadrille is als een universale vertaler en bouwer. Of je nu een foto, een scan of een tekst geeft, het begrijpt je intentie. Door te leren van zijn fouten (via de coach-methode), bouwt het niet alleen mooie dingen, maar ook bruikbare dingen.

Dit opent de deur voor een wereld waar iedereen, zonder technische kennis, hun droomobjecten kan laten ontwerpen door een computer. Of je nu een ontwerper bent of gewoon iemand die een nieuw stuk speelgoed wil maken, Cadrille maakt het ontwerpproces voor iedereen toegankelijk.

Technische samenvatting

Titel: CADRILLE: Multimodale CAD-reconstructie met Versterkingslering

Auteurs: Maksim Kolodiazhnyi et al.
Publicatie: ICLR 2026 (voorgesteld)

---

1. Het Probleem

Computer-Aided Design (CAD) is essentieel voor engineering en productie, maar het handmatig maken van CAD-modellen vereist vaardigheid en tijd. CAD-reconstructie probeert 3D-modellen direct te genereren uit gescande objecten. Bestaande methoden hebben echter ernstige beperkingen:

• Eenzijdige invoer: De meeste methoden zijn gespecialiseerd in één invoermodus (bijv. alleen puntwolken, alleen afbeeldingen of alleen tekst). Dit beperkt de generalisatie en robuustheid.
• Moeilijkheid van multimodale aanpak: Bestaande multimodale benaderingen (die meerdere invoertypes combineren) presteren aanzienlijk slechter dan de beste single-modal methoden.
• Validiteit en Generalisatie: Modellen die op synthetische data zijn getraind, worstelen vaak met real-world data (zoals ruwe scans). Bovendien genereren ze vaak ongeldige Python-scripts die niet kunnen worden uitgevoerd, wat leidt tot een hoge "Invalidity Ratio" (IR).
• Data-discrepantie: Het mixen van handgemaakte datasets (zoals DeepCAD) en procedurally gegenereerde datasets (zoals CAD-Recode) tijdens het toezicht (Supervised Fine-Tuning) leidt vaak tot slechtere prestaties door inconsistenties in de CAD-commando's tussen de datasets.

2. Methodologie

De auteurs stellen cadrille voor, een model dat gebaseerd is op Vision-Language Models (VLM) en drie invoermodaliteiten kan verwerken: puntwolken, multi-view afbeeldingen en tekstuele beschrijvingen. De output is uitvoerbare Python-code (met de CadQuery-bibliotheek) die een parametrisch 3D-model (B-Rep) genereert.

De kern van de methode is een twee-staps trainingsparadigma, geinspireerd door het trainen van Large Language Models (LLM):

A. Architectuur

• Basis: Het model bouwt voort op een vooraf getraind VLM (Qwen2-VL-2B) dat native tekst en afbeeldingen begrijpt.
• Puntwolk-verwerking: Puntwolken worden verwerkt via een trainbare projectielayer (vergelijkbaar met CAD-Recode), waarbij punten via "furthest point sampling" worden geselecteerd.
• Unificatie: Alle modaliteiten worden naar een gemeenschappelijke embedding-ruimte gebracht en de LLM genereert sequentieel Python-tokens.

B. Trainingsfasen

1. Supervised Fine-Tuning (SFT):

   • Het model wordt getraind op een enorme dataset van procedurally gegenereerde CAD-modellen (CAD-Recode dataset, ~1 miljoen samples).
   • Doel: Het model leert de policy om multimodale invoer te vertalen naar Python-code.
   • Innovatie: In tegenstelling tot eerdere werken, wordt hier geen handgemaakte data (zoals DeepCAD) gebruikt voor de SFT-fase om discrepanties in commando's te voorkomen.

2. Reinforcement Learning (RL) Fine-Tuning:

   • Dit is de cruciale tweede stap om de kloof tussen synthetische training en real-world toepassing te overbruggen.
   • Data: Er worden waardevolle maar schaarse handgemaakte datasets (zoals DeepCAD en Fusion360) gebruikt, maar zonder de bijbehorende CAD-sequenties (labels). Het model genereert zelf code.
   • Reward Functie: De beloning $R(\tau)$ is gebaseerd op:
     • IoU (Intersection over Union): Hoe goed het gegenereerde model overeenkomt met de ground truth (vermenigvuldigd met een factor 10 voor precisie).
     • Validiteit: Een zware straf (-10) als de gegenereerde Python-code niet uitvoerbaar is.
   • Algoritmen: De auteurs vergelijken twee RL-methoden:
     • DPO (Direct Preference Optimization): Leren van geprefereerde paren (beste vs. slechtste output).
     • Dr. CPPO: Een hybride aanpak die "Dr. GRPO" (zonder referentiemodel) combineert met "CPPO" (gebruik van samples met het sterkste signaal). Dit bleek het meest effectief.
   • Hard Example Mining: Alleen samples waarbij de SFT-model prestaties onder een bepaalde drempel vallen, worden gebruikt voor RL-training om de convergentie te versnellen.

3. Belangrijkste Bijdragen

1. Eerste Multimodale SOTA: cadrille is het eerste model dat binnen één unified framework puntwolken, afbeeldingen én tekst verwerkt en tegelijkertijd state-of-the-art (SOTA) prestaties levert op alle drie de modaliteiten.
2. RL voor Multimodale CAD: De auteurs bewijzen voor het eerst dat RL-finetuning de kwaliteit van multimodale CAD-reconstructie aanzienlijk verbetert, vooral wat betreft de validiteit van de gegenereerde code.
3. Efficiënt Trainingsparadigma: Door SFT op synthetische data en RL op handgemaakte data (zonder labels) te scheiden, vermijden ze de prestatieverlies die optreedt bij het direct mixen van datasets.
4. Uitgebreide Evaluatie: Het model is getest op 10 benchmarks over 4 datasets (DeepCAD, Fusion360, CC3D, Omni-CAD), inclusief een real-world dataset (CC3D).

4. Resultaten

De experimenten tonen aan dat cadrille alle bestaande single-modal en multimodale baselines overtreft:

• Validiteit (IR): De Invalidity Ratio daalt drastisch. Waar eerdere modellen vaak 5-10% ongeldige code produceerden, bereikt cadrille met RL (Dr. CPPO) een IR van 0.0% tot 0.2% op de meeste benchmarks.
• Nauwkeurigheid (IoU & CD):
  • Op de DeepCAD dataset presteert het model beter dan CAD-Recode en CAD-SIGNet.
  • Op de Fusion360 en CC3D (real-world scans) datasets bereikt het nieuwe SOTA-resultaten. Bijvoorbeeld, op CC3D (puntwolken) stijgt de IoU van 60.5% (CAD-Recode) naar 67.9% met een IR van slechts 0.2%.
• Generalisatie: Het model generaliseert uitstekend naar real-world scans (CC3D) en zero-shot scenario's, wat eerder een groot probleem was voor op synthetische data getrainde modellen.
• Efficiëntie: In tegenstelling tot methoden die test-time sampling gebruiken (waarbij 10 keer meer inferentietijd nodig is om de beste output te kiezen), levert cadrille met RL al bij de eerste generatie (1 sample) de beste resultaten.

5. Betekenis en Conclusie

Deze paper markeert een belangrijke stap in de automatisering van CAD-reconstructie. Door de combinatie van een krachtig VLM-architectuur met een slimme RL-finetuningstrategie, lost cadrille het probleem van validiteit en generalisatie op.

• Praktische Toepassing: Het maakt CAD-reconstructie toegankelijker voor niet-experts, omdat het werkt met simpele foto's, tekst of ruwe scans zonder speciale hardware.
• Toekomstperspectief: De auteurs wijzen op de mogelijkheid om modaliteiten te combineren in één prompt (bijv. een slechte scan gecombineerd met een tekstuele beschrijving) om de kwaliteit te verhogen, en het trainen op complexere real-world data.

Kortom, cadrille bewijst dat versterkingslering, toegepast op multimodale CAD-taken, niet alleen de nauwkeurigheid verbetert, maar vooral de betrouwbaarheid van gegenereerde engineering-modellen garandeert.