Sintesi Tecnica: UniCAD

Problema

Il Computer-Aided Design (CAD) è fondamentale per l'ingegneria moderna, eppure la ricerca attuale è frammentata. Gli approcci esistenti studiano tipicamente i compiti in isolamento (ad esempio, ricostruzione da nuvole di punti, generazione da testo o risposta a domande) e si affidano a singole modalità di input. Questo approccio a silos ostacola il trasferimento di conoscenza tra i compiti e non riflette gli scenari di progettazione del mondo reale, in cui gli utenti forniscono input misti (schizzi, descrizioni, scansioni). Inoltre, il campo manca di un benchmark unificato e su larga scala che standardizzi la valutazione attraverso diverse modalità e compiti, rendendo difficile il confronto equo e lo sviluppo di modelli robusti e generalizzabili.

Metodologia

1. Il Benchmark UniCAD

Per affrontare la mancanza di uno standard di valutazione unificato, gli autori introducono UniCAD, un dataset e un benchmark completi.

• Composizione dei Dati: Il dataset contiene 1.448.150 modelli CAD, integrando quattro modalità di input: descrizioni testuali, immagini multi-vista, schizzi disegnati a mano e nuvole di punti.
• Rappresentazione: A differenza dei lavori precedenti che utilizzano B-rep o sequenze di comandi, UniCAD converte tutti i design in script Python eseguibili in CadQuery. Questa scelta garantisce che gli output siano interpretabi, modificabili e programmaticamente verificabili.
• Pipeline di Generazione dei Dati:
  • Fonte: Costruito su DeepCAD, Text2CAD e CAD-Recode.
  • Conversione: Uno script Python deterministico e basato su regole converte le operazioni di modellazione JSON in codice CadQuery, ottenendo il 100% di successo nell'esecuzione (a differenza della conversione basata su LLM che soffre di allucinazioni).
  • Allineamento Multi-modale:
    • Nuvole di Punti: Generate tramite campionamento uniforme dalle superfici del mesh CAD con vettori normali.
    • Immagini: Rendering sintetici multi-vista da otto prospettive fisse.
    • Schizzi: Generati utilizzando il modello Qwen-Image-Edit per creare arte lineare in stile disegno a mano dalle immagini renderizzate.
    • QA (Domande e Risposte): Una pipeline semi-automatica che utilizza GPT-4o per generare domande a scelta multipla in 4 opzioni, basate sulla geometria visiva e sulla logica del programma, verificate da annotatori umani (>92% di accordo).
• Task Supportati: Il benchmark valuta quattro compiti distinti: Point-to-CAD, Text-to-CAD, Image/Sketch-to-CAD e CAD Question Answering (QA).

2. Il Modello UniCAD-MLLM

Gli autori propongono UniCAD-MLLM, un modello linguistico di grandi dimensioni multi-modale universale progettato per gestire questi compiti eterogenei all'interno di un unico framework.

• Architettura: Basata su Qwen2-VL-2B, estesa con un modulo di proiezione delle nuvole di punti leggero e addestrabile.
• Elaborazione dell'Input:
  • Testo: Elaborato tramite tokenizer nativi.
  • Immagini: Codificate tramite l'encoder visivo pre-addestrato.
  • Nuvole di Punti: Elaborate tramite un encoder dedicato che prevede il Furthest Point Sampling (FPS), la codifica posizionale di Fourier e uno strato di proiezione lineare per mappare le coordinate 3D nella dimensione nascosta del modello.
• Prompting Unificato: Il modello tratta le modalità come moduli di token opzionali. Gli input mancanti sono sostituiti da istruzioni generiche, consentendo un ragionamento flessibile anche con dati incompleti.
• Generazione dell'Output:
  • Generazione/Ricostruzione: Il modello genera autoregressivamente script Python CadQuery eseguibili.
  • QA: Il modello ragiona sul prompt e sul programma CAD esistente per generare risposte testuali.
• Addestramento: Il modello è addestrato congiuntamente su tutti i compiti utilizzando la perdita cross-entropy, effettuando il fine-tuning del modello linguistico e addestrando da zero il modulo di proiezione dei punti.

Contributi Chiave

1. Benchmark UniCAD: Il primo benchmark su larga scala e unificato per l'apprendimento CAD multi-modale e multi-task, che fornisce split di dati e protocolli di valutazione standardizzati per input di testo, immagine, schizzo e nuvole di punti attraverso compiti di generazione e comprensione.
2. UniCAD-MLLM: Un singolo modello end-to-end che unifica la generazione e la comprensione CAD in uno spazio latente geometrico-semantico condiviso, capace di elaborare modalità miste e produrre codice eseguibile.
3. Validazione Empirica: Dimostrazione che l'apprendimento congiunto multi-modale e multi-task supera costantemente i baseline specializzati a compito singolo, validando la scalabilità della modellazione CAD unificata.

Risultati Sperimentali

Il modello è stato valutato sul test set di UniCAD e sul benchmark esterno Fusion360 utilizzando la Chamfer Distance (CD) e la Volumetric Intersection over Union (IoU).

• Performance di UniCAD: UniCAD-MLLM ha raggiunto prestazioni state-of-the-art in tutte le modalità.
  • Point-to-CAD: CD 0.17, IoU 89.7%.
  • Text-to-CAD: CD 0.20, IoU 86.3%.
  • Image/Sketch-to-CAD: CD 0.17–0.22, IoU fino a 89.8%.
  • CAD QA: Ha raggiunto una precisione del 90.0%, superando significativamente i VLM general-purpose come GPT-4o (77%) e Doubao-Seed-1.6 (85%).
• Ricostruzione Single-View: Anche quando testato su immagini a vista singola (un compito più difficile), il modello ha superato i baseline specializzati solo su immagini (CD 0.17 vs 0.21 per Cadrille), dimostrando una robusta completazione della forma.
• Generalizzazione Zero-Shot: Sul dataset Fusion360, UniCAD-MLLM ha superato i metodi esistenti sia nella ricostruzione di nuvole di punti (IoU 84.3% vs 79.1%) che in quella multi-vista (IoU 83.9% vs 62.5% per una pipeline ibrida LRM+CAD-Recode).
• Fusione Multi-modale: Il condizionamento su sia testo che schizzi ha prodotto i risultati migliori (CD 0.18, IoU 88.6%), provando che i segnali cross-modali si completano a vicenda per ridurre gli errori di ricostruzione.

Significato e Rivendicazioni

L'articolo afferma che UniCAD stabilisce una solida base per l'intelligenza CAD general-purpose. Collegando la percezione multi-modale alla generazione di design eseguibile, il lavoro dimostra che un framework unificato può apprendere rappresentazioni geometriche e semantiche condivise in modo più efficace rispetto a modelli isolati e specifici per compito.

Gli autori sottolineano che l'uso di script Python eseguibili (CadQuery) come rappresentazione dell'output è critico, poiché consente l'interpretazione diretta da parte dell'uomo, la validazione programmabile e l'integrazione in toolchain industriali. Sebbene l'attuale dataset sia limitato principalmente a operazioni di schizzo ed estrusione, gli autori sostengono che questo approccio unificato apra la strada a ricerche future su operazioni geometriche più complesse e scenari di design interattivi. Il rilascio del dataset, del codice e dei modelli pre-addestrati è inteso ad accelerare lo sviluppo di sistemi robusti di assistenza al CAD.