cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

Il paper presenta cadrille, un modello di ricostruzione CAD multi-modale che integra dati visivi, linguistici e geometrici e utilizza un affinamento tramite apprendimento per rinforzo online (GRPO) per stabilire nuovi record di stato dell'arte su benchmark reali e sintetici.

L'essenziale

🛠️ Il "Chef" che Disegna Oggetti con la Mente (e non solo)

Immagina di voler costruire un mobile, un pezzo di ricambio per un'auto o un giocattolo. Normalmente, un ingegnere deve sedersi al computer e disegnare tutto a mano, pezzo per pezzo, usando software complessi come SolidWorks. È un lavoro lungo, difficile e richiede molta esperienza.

Cadrille è un nuovo "assistente intelligente" che fa questo lavoro per te, ma con un superpotere: capisce le cose in tre modi diversi e ti restituisce un file pronto da usare.

1. I Tre Superpoteri (I Modali)

Fino a poco tempo fa, i computer erano un po' "unilaterali":

• Se gli davi una nuvola di punti (una scansione 3D fatta con un laser), capiva solo quello.
• Se gli davi una foto, non sapeva cosa farne.
• Se gli davi una descrizione scritta, spesso si perdeva.

Cadrille è come un chef poliglotta che può cucinare lo stesso piatto usando ingredienti diversi:

• 📸 Le Foto: Gli mostri delle foto dell'oggetto da diverse angolazioni (come se girassi intorno a un vaso).
• 📝 La Descrizione: Gli scrivi: "Voglio un tavolo con quattro gambe e un piano rotondo".
• 🌫️ La Scansione 3D: Gli dai i dati grezzi di una scansione laser di un oggetto reale.

Cadrille prende qualsiasi combinazione di questi input e scrive il "codice" (uno script Python) che un computer usa per costruire l'oggetto 3D perfetto.

2. Come Impara? (Il Metodo dei Due Passi)

Cadrille non nasce sapendo tutto. Impara in due fasi, proprio come un bambino che impara a disegnare:

• Fase 1: La Scuola di Massa (SFT - Supervised Fine-Tuning)
  Immagina di dare a Cadrille un milione di libri di istruzioni. Questi libri contengono disegni generati al computer (non oggetti reali, ma modelli perfetti creati da software). Cadrille legge tutto e impara le regole di base: "Se vedo un cerchio, devo disegnare un cilindro". In questa fase, diventa bravo a capire la geometria, ma è ancora un po' "rigido" e a volte sbaglia se l'oggetto è strano o imperfetto.

• Fase 2: L'Allenamento con il Coach (RL - Reinforcement Learning)
  Qui sta la magia. Dopo la scuola, Cadrille inizia a fare pratica con oggetti "veri" (o molto realistici), ma non ha un insegnante che gli corregge ogni riga. Invece, ha un coach digitale.

  • Cadrille prova a disegnare un oggetto.
  • Il coach controlla: "È venuto bene? Sì? Ottimo! (Premio)". "È venuto male? No? Riprova! (Punizione)".
  • Questo processo si chiama Apprendimento per Rinforzo. È come quando impari a guidare: all'inizio segui le regole del manuale, poi impari a guidare bene solo facendo pratica, sbagliando e correggendo gli errori in base a come reagisce la strada.

Grazie a questo "allenamento", Cadrille impara a non fare errori stupidi (come creare oggetti che non esistono fisicamente) e a gestire oggetti reali che hanno graffi, parti mancanti o sono un po' storti.

3. Perché è un Grande Salto in Avanti?

Prima di Cadrille, c'era un altro metodo famoso chiamato CAD-Recode, ma era come un attore che recitava bene solo in una lingua. Se gli davi una foto, non sapeva cosa fare.

Cadrille è il primo attore che:

1. Parla fluentemente tre lingue (foto, testo, scansione) contemporaneamente.
2. È stato addestrato a non sbagliare: il codice che produce funziona sempre al 100% (non si blocca a metà).
3. È robusto: se gli dai una scansione di un oggetto reale sporco di polvere o con un pezzo rotto, riesce comunque a capire com'era fatto l'oggetto originale e a ricostruirlo.

In Sintesi

Immagina di avere un robot disegnatore che puoi chiamare in tre modi:

• Gli fai una foto del tuo vecchio sgabello rotto.
• Gli dici: "Fammi uno sgabello identico ma con le gambe in legno".
• Gli dai una scansione 3D fatta col tuo telefono.

Cadrille prende questi input, pensa un attimo (grazie all'allenamento con il "coach"), e ti restituisce un file digitale perfetto che puoi stampare in 3D o usare per produrre l'oggetto in fabbrica.

Il risultato? Rende la progettazione industriale accessibile a tutti, trasformando idee, foto o oggetti rotti in progetti digitali precisi, veloci e facili da modificare. È come avere un mago dell'ingegneria nella tua tasca! 🪄📐

Sommario tecnico

1. Il Problema

La Ricostruzione CAD (Computer-Aided Design) mira a generare modelli 3D modificabili e precisi partendo da dati di input come nuvole di punti, immagini o descrizioni testuali. Sebbene esistano metodi avanzati per singole modalità (es. solo nuvole di punti o solo testo), le sfide principali rimangono:

• Limitazione delle modalità singole: La maggior parte dei metodi esistenti è specializzata su un solo tipo di input, limitando la generalizzabilità e la robustezza in scenari reali dove i dati possono essere eterogenei.
• Qualità dei metodi multimodali: Gli approcci multimodali recenti (che combinano testo, immagini e punti) tendono a performare peggio rispetto alle soluzioni single-modal di punta.
• Divario tra dati sintetici e reali: I modelli addestrati su dati procedurali generati sinteticamente spesso faticano a generalizzare su dati reali (scansioni con rumore, parti mancanti), mentre i dataset manuali (handcrafted) sono troppo piccoli per un addestramento supervisionato su larga scala.
• Validità del codice: Generare script Python eseguibili e validi per la ricostruzione CAD è una sfida critica; molti modelli producono codice che fallisce l'esecuzione.

2. Metodologia Proposta: Cadrille

Gli autori propongono cadrille, un modello multimodale basato su Vision-Language Models (VLM) in grado di accettare input di tre modalità (nuvole di punti, immagini multi-view, testo) e outputare script Python eseguibili (utilizzando la libreria CadQuery) per la ricostituzione del modello CAD.

L'architettura e il processo di addestramento si basano su un pipeline innovativo in due fasi, ispirato al training dei Large Language Models (LLM):

A. Architettura

• Base: Il modello è costruito sopra un VLM pre-addestrato (Qwen2-VL) che gestisce nativamente testo e immagini.
• Input Multimodali:
  • Testo: Elaborato tramite il layer di embedding originale.
  • Immagini: Elaborate dal visual encoder originale.
  • Nuvole di punti: Elaborate tramite un layer di proiezione lineare addestrabile che mappa i punti 3D nello spazio di embedding condiviso (senza utilizzare le normali, simile a CAD-Recode).
• Output: Una sequenza di token che costituisce uno script Python per la generazione del CAD.

B. Pipeline di Addestramento a Due Stadi

1. Supervised Fine-Tuning (SFT):

   • Il modello viene addestrato su un vasto dataset di dati proceduralmente generati (circa 1 milione di modelli CAD da CAD-Recode + DeepCAD).
   • L'obiettivo è insegnare al modello a mappare input multimodali a script Python corretti.
   • Viene utilizzata una strategia di addestramento misto su tutte le modalità per garantire la generalizzazione cross-modale.

2. Reinforcement Learning (RL) Fine-Tuning:

   • Questa è la fase chiave che distingue il lavoro. Invece di usare dati annotati per la supervisione, il RL utilizza feedback programmabile su dataset manuali (handcrafted) o reali (come Fusion360 e CC3D) che non richiedono sequenze CAD annotate.
   • Funzione di Ricompensa: Combina l'Intersection over Union (IoU) tra il modello generato e il ground truth (moltiplicato per 10 per enfatizzare la precisione) e una penalità per i codici non validi (Invalidity Ratio).
   • Algoritmi: Gli autori confrontano e utilizzano tecniche avanzate come DPO (Direct Preference Optimization) e una variante ibrida chiamata Dr. CPPO (combinazione di Dr. GRPO e CPPO) per ottimizzare la politica del modello basandosi su campioni generati online.
   • Hard Example Mining: Vengono selezionati solo gli esempi difficili (dove la ricompensa è bassa) per accelerare la convergenza.

3. Contributi Chiave

• Primo approccio multimodale SOTA: cadrille è il primo modello multimodale che supera le prestazioni dei migliori metodi single-modal su tutte e tre le modalità (punti, immagini, testo) simultaneamente.
• Validazione del RL per il CAD: Dimostrano per la prima volta che il Reinforcement Learning migliora significativamente la ricostruzione CAD multimodale, risolvendo il problema della validità del codice generato.
• Pipeline di Addestramento Ibrida: Propongono una strategia che separa i dati: dati procedurali su larga scala per l'SFT (per la generalizzazione) e dati manuali/scarsi per il RL (per la specializzazione e l'adattamento al dominio reale), evitando il divario tra training e testing.
• Valutazione Completa: Esecuzione di test su 10 benchmark (3 modalità x 4 dataset: DeepCAD, Fusion360, CC3D, Omni-CAD), inclusi dataset reali.

4. Risultati Sperimentali

I risultati riportati nel paper mostrano un miglioramento sostanziale rispetto allo stato dell'arte (SOTA):

• Prestazioni Generali: Su DeepCAD, il modello SFT supera i metodi single-modal in tutte le modalità. Dopo il fine-tuning con RL, cadrille stabilisce nuovi record SOTA su 10 benchmark.
• Validità del Codice (IR - Invalidity Ratio): Il RL riduce drasticamente il tasso di errori. Ad esempio, su Fusion360 (dataset reale/complesso), l'IR scende da ~7.7% (solo SFT) a 0.0% con Dr. CPPO. Su CC3D (scansioni reali), l'IR diventa trascurabile (<0.2%).
• Qualità Geometrica (IoU e CD):
  • Su DeepCAD, l'IoU raggiunge il 92.2% (vs 87.1% di CAD-Recode).
  • Su CC3D (dati reali), l'IoU sale dal 56.1% (SFT) al 65.0% (RL Dr. CPPO), con una riduzione significativa del Chamfer Distance (CD).
• Efficienza: A differenza di metodi precedenti che richiedevano il campionamento di 10 candidati a runtime per ottenere buoni risultati (aumentando il tempo di inferenza di 10x), cadrille con RL ottiene prestazioni superiori con un solo campione (inference time singolo), mantenendo l'efficienza.
• Generalizzazione Zero-Shot: Il modello mostra una forte capacità di generalizzazione su dataset non visti durante l'SFT (es. Fusion360 e CC3D), dimostrando robustezza in scenari "open-world".

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo della generazione CAD:

1. Democratizzazione del Design: Rendendo possibile la ricostruzione CAD da input semplici (foto, testo, scansioni 3D), si abbassa la barriera d'ingresso per utenti non esperti.
2. Superamento del "Sim-to-Real": L'uso del RL su dati reali permette al modello di adattarsi a rumore e imperfezioni delle scansioni reali, un problema storico per i metodi basati su dati sintetici.
3. Nuovo Paradigma di Training: La separazione tra addestramento supervisionato su dati sintetici e ottimizzazione tramite RL su dati reali offre una roadmap per migliorare la robustezza in altri compiti di generazione strutturata.
4. Validità Pratica: La capacità di generare codice Python eseguibile e privo di errori apre la strada all'integrazione diretta di questi modelli nei flussi di lavoro ingegneristici e manifatturieri.

In sintesi, cadrille dimostra che combinare modelli linguistici visivi con tecniche di Reinforcement Learning è la chiave per sbloccare il pieno potenziale della ricostruzione CAD multimodale, superando i limiti delle architetture precedenti.