CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

Il paper introduce CAD-Tokenizer, un framework che utilizza una tokenizzazione specifica per la modalità e un VQ-VAE sequenziale per rappresentare i dati CAD a livello di primitive, migliorando significativamente la generazione e la modifica guidata dal testo rispetto ai metodi esistenti.

L'essenziale

🏗️ Il Problema: Costruire con i Mattoni Giusti

Immagina di voler costruire una casa usando un assistente virtuale molto intelligente (un'Intelligenza Artificiale, o LLM).
Oggi, se chiedi a questi assistenti di disegnare un oggetto 3D complesso (come un mobile o un pezzo di macchina), spesso falliscono. Perché?

Il problema è il linguaggio.
I computer che disegnano oggetti 3D (i CAD) non pensano in parole come "tavolo" o "gamba". Pensano in una sequenza di istruzioni precise: "Disegna una linea, poi un arco, poi estrudi (spingi) questo verso l'alto".

I modelli di intelligenza artificiale attuali, però, sono come bambini che leggono un libro di istruzioni tecniche parola per parola. Se vedono la parola "extrusion" (estrusione), la spezzano in pezzi minuscoli come "extru" e "sion".
È come se dovessi spiegare a un architetto come costruire un muro dicendogli: "Metti un mattone, poi un altro mat, poi un ton...". L'architetto si confonde, perde il senso della struttura e alla fine costruisce un mucchio di mattoni che non regge.

💡 La Soluzione: CAD-Tokenizer

Gli autori di questo paper hanno creato un "traduttore speciale" chiamato CAD-Tokenizer.

Immagina che il CAD-Tokenizer sia come un capomastro esperto che si siede tra te e l'architetto AI.

1. Tu dici: "Voglio un tavolo con quattro gambe e un ripiano in legno".
2. Il CAD-Tokenizer prende la tua frase e la traduce non in parole, ma in blocchi di costruzione completi (i "primitivi"). Invece di dire "linea... linea...", dice all'AI: "Ecco un blocco 'Gamba', ecco un blocco 'Ripiano'".
3. L'AI ora non deve più indovinare come unire i pezzi, ma sa esattamente quali "mattoni" usare e come assemblarli.

🎨 Come funziona la magia? (L'Analogia del Lego)

Per capire meglio, usiamo un'analogia con i Lego:

• Il metodo vecchio (Tokenizzatore standard): L'AI riceve un sacchetto di milioni di singoli mattoncini Lego sparsi. Deve indovinare quali pezzi unire per fare una casa. Spesso finisce per fare un castello che crolla o che non assomiglia a nulla.
• Il metodo CAD-Tokenizer: L'AI riceve dei set Lego già assemblati. Ha un blocco "muro", un blocco "finestra", un blocco "tetto".
  • Il sistema usa una tecnologia chiamata VQ-VAE (un po' come un compressore intelligente) che prende la sequenza complessa di istruzioni e la "schiaccia" in questi blocchi pronti all'uso.
  • Invece di insegnare all'AI a leggere le istruzioni, gli si danno i pezzi di ricambio giusti già pronti.

🚀 Cosa cambia nella pratica?

Grazie a questo "traduttore", il sistema riesce a fare due cose che prima facevano fatica a fare insieme:

1. Creare da zero: "Disegnami una sedia nuova".
2. Modificare: "Prendi questa sedia e aggiungi un bracciolo".

Prima, se provavi a chiedere all'AI di modificare un disegno esistente, spesso lei cancellava tutto e ricominciava da capo, o faceva un pasticcio. Con il CAD-Tokenizer, l'AI capisce la struttura dell'oggetto. Sa che se vuoi aggiungere un bracciolo, devi attaccarlo alla gamba esistente, non distruggere la sedia.

🛡️ Il Controllo di Qualità (L'Automa)

C'è un ultimo dettaglio geniale. Anche con i blocchi giusti, a volte l'AI potrebbe fare un errore di grammatica (es. mettere un tetto prima delle pareti).
Gli autori hanno aggiunto un controllore automatico (chiamato FSA), che è come un ispettore di sicurezza che guarda ogni pezzo mentre viene messo.

• Se l'AI prova a mettere un "tetto" prima di avere le "pareti", l'ispettore dice: "Stop! Non puoi farlo qui. Prima devi finire le pareti."
  Questo garantisce che il disegno finale sia sempre tecnicamente valido e non rotto.

🏆 Il Risultato

In sintesi, questo paper ci dice che per far disegnare agli AI oggetti 3D complessi, non dobbiamo costringerli a parlare come noi (con le nostre parole), ma dobbiamo insegnar loro a pensare come ingegneri, usando i loro "mattoni" specifici.

Il risultato?

• Disegni più precisi.
• Meno errori.
• La capacità di creare oggetti nuovi e modificarli, proprio come farebbe un vero progettista umano.

È come passare dal dare all'AI un dizionario di parole a darle una cassetta degli attrezzi completa e organizzata.

Sommario tecnico

1. Il Problema: Limitazioni dei Tokenizzatori Standard nel CAD

Il Computer-Aided Design (CAD) è fondamentale per la prototipazione industriale. A differenza di altre rappresentazioni 3D, i modelli CAD sono definiti da sequenze di operazioni costruttive (es. schizzi, estrusioni) che codificano esplicitamente la storia del design. Questo li rende ideali sia per la creazione iniziale che per la modifica iterativa.

Il paper identifica un problema critico nell'applicazione dei Large Language Models (LLM) a questo dominio:

• Inadeguatezza dei Tokenizzatori Standard: I tokenizzatori predefiniti degli LLM (basati su BPE o parole naturali) frammentano le sequenze CAD in pezzi di parole arbitrari (es. spezzando "extrusion" in "[extru] [-sion]").
• Perdita di Semantica Geometrica: Questa frammentazione impedisce agli strati di attenzione del modello di catturare le relazioni tra i primitivi geometrici (linee, archi, operazioni booleane) e la struttura complessiva del CAD.
• Mancanza di Unificazione: Le ricerche precedenti si sono concentrate su task separati (generazione da testo o editing), ma non hanno mai affrontato un framework unificato per il "prototipaggio basato su testo" che gestisca simultaneamente la generazione da zero e la modifica di modelli esistenti.

2. Metodologia: CAD-Tokenizer

Gli autori propongono CAD-Tokenizer, un framework che introduce una strategia di tokenizzazione specifica per la modalità CAD, basata su un approccio VQ-VAE (Vector Quantized Variational Autoencoder) e sull'adattamento agli LLM.

Il processo si articola in quattro fasi principali:

A. Tokenizzazione VQ-VAE Basata sui Primitivi

Invece di comprimere l'intera sequenza in un singolo vettore latente, il modello utilizza un pooling specifico per i primitivi:

• Le sequenze CAD vengono scomposte in coppie "Schizzo-Estrusione".
• Un encoder Transformer processa la sequenza e un layer di pooling specifico genera vettori latenti distinti per ogni primitivo (es. una curva, un'operazione booleana).
• Questi vettori vengono quantizzati in un dizionario discreto (codebook), producendo token che rappresentano intere unità semantiche (es. un intero comando di estrusione) piuttosto che frammenti di testo.

B. Allineamento con l'LLM (Adapter)

Per integrare questi nuovi token in un LLM pre-addestrato (es. LLaMA-3) senza riaddestrare l'intero modello:

• Vengono utilizzati Adapter bidirezionali.
• Un adapter mappa i vettori latenti del VQ-VAE nello spazio di embedding dell'LLM.
• Un secondo adapter mappa i logit dell'LLM indietro allo spazio del VQ-VAE per garantire che i token ricostruiti siano fedeli alla rappresentazione originale.
• Questo permette all'LLM di "vedere" e prevedere i primitivi CAD come unità discrete, migliorando l'efficienza computazionale.

C. Addestramento Unificato (Instruction Tuning)

Il backbone dell'LLM viene fine-tunato su un dataset unificato che include:

1. Text-to-CAD: Generazione di una sequenza CAD da zero partendo da un prompt testuale.
2. CAD Editing: Modifica di una sequenza CAD esistente basata su un'istruzione testuale.
   L'uso di token compressi riduce la lunghezza della sequenza di input, rendendo l'addestramento più efficiente rispetto all'uso di tokenizzazione standard.

D. Decodifica Guidata da FSA (Finite State Automaton)

Poiché il linguaggio CAD è formale e soggetto a regole sintattiche rigide, il paper introduce una strategia di campionamento basata su un Automato a Stati Finiti (FSA):

• Durante l'inferenza, l'FSA fornisce maschere che limitano i logit candidati solo ai token grammaticalmente validi per lo stato corrente (es. dopo un "line", ci si aspetta un "curve_end" o un numero, non un "extrusion").
• Questo garantisce la validità sintattica della sequenza generata, riducendo drasticamente gli errori di struttura.

3. Contributi Chiave

1. Primo Framework Unificato: È il primo lavoro che affronta simultaneamente la generazione e l'editing di CAD tramite un unico modello guidato dal testo.
2. Tokenizzazione Specifica per CAD: Sviluppo di un tokenizzatore VQ-VAE basato sui primitivi che supera la frammentazione semantica dei tokenizzatori naturali.
3. Architettura di Allineamento Efficiente: Introduzione di adapter per allineare vocabolari di token discreti specifici del dominio con gli embedding degli LLM senza modificare il backbone.
4. Decodifica Sintatticamente Corretta: Implementazione di un campionamento guidato da FSA che enforces le regole grammaticali del CAD, migliorando la robustezza della generazione.

4. Risultati Sperimentali

Il modello è stato valutato su dataset derivati da SkexGen, CADFusion e CAD-Editor, confrontato con baselines come GPT-4o, modelli LLM "vanilla" e task-specific (CADFusion, CAD-Editor).

• Performance Quantitativa:
  • CAD Editing: CAD-Tokenizer supera tutte le baselines, migliorando i punteggi F1 (Schizzo ed Estrusione) di circa 10 punti rispetto ai modelli task-specific. Mostra una migliore aderenza alle istruzioni (VLM Score) e una valutazione umana superiore.
  • Text-to-CAD: Migliora significativamente la corrispondenza sequenziale (F1) e riduce la distanza di Chamfer (CD) rispetto ai modelli generici.
  • Efficienza: La compressione dei token porta a un addestramento più veloce e a una minore complessità computazionale.
• Performance Qualitativa:
  • I modelli generano oggetti multi-faccia più fedeli e strutture meglio allineate rispetto ai modelli "vanilla".
  • Nel task di editing, il modello modifica correttamente la forma esistente invece di ignorare l'istruzione o ricreare il modello originale (un fallimento comune delle baselines).
• Ablation Studies:
  • Confermano che il pooling a livello di primitivo è essenziale: varianti senza pooling o con pooling troppo aggressivo (un token per intero schizzo) degradano le prestazioni.
  • La strategia di campionamento FSA riduce drasticamente il tasso di sequenze invalide (Invalidity Ratio) rispetto a top-p o beam search standard.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'automazione del flusso di lavoro industriale di prototipazione.

• Superamento delle barriere linguistiche: Dimostra che i LLM possono essere efficacemente applicati a domini tecnici strutturati solo se la tokenizzazione rispetta la semantica intrinseca del dominio (i primitivi geometrici) piuttosto che la struttura linguistica superficiale.
• Unificazione del Flusso di Lavoro: Fornisce una soluzione "all-in-one" che supporta l'intero ciclo di vita del design (creazione + modifica), riflettendo meglio le pratiche reali degli ingegneri.
• Validità Sintattica: L'approccio ibrido (LLM + FSA) offre una via promettente per generare codice o sequenze formali complessi con alta affidabilità, un problema aperto in molti campi dell'IA generativa.

In sintesi, CAD-Tokenizer risolve il problema della "mancata comprensione" dei CAD da parte degli LLM introducendo un ponte semantico (tokenizzazione VQ-VAE) e un guardiano sintattico (FSA), permettendo per la prima volta un prototipaggio CAD basato su testo unificato, efficiente e di alta qualità.