BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning

Il paper propone BrepCoder, un modello linguistico multimodale unificato che, convertendo le rappresentazioni B-rep in codice strutturale e adottando una strategia di addestramento in due fasi, supera i limiti dei modelli specifici per compiti, consentendo l'esecuzione versatile di diverse attività CAD come il completamento, la correzione di errori e il QA.

L'essenziale

Immagina di avere un architetto robotico che non solo sa disegnare case, ma capisce anche come sono state costruite, può riparare gli errori di un progetto e rispondere a domande complesse sulla struttura, tutto leggendo il "codice segreto" che definisce la forma degli oggetti.

Questo è BrepCoder, il nuovo modello presentato in questo articolo. Ecco una spiegazione semplice, usando qualche metafora per renderlo più chiaro.

1. Il Problema: Gli "Specialisti" vs. Il "Genio Poliedrico"

Fino a poco tempo fa, nel mondo della progettazione industriale (CAD), esistevano molti robot diversi, ognuno specializzato in un solo compito:

• Uno sapeva solo ricostruire un oggetto da una foto (Ingegneria inversa).
• Un altro sapeva solo finire un disegno a metà (Completamento).
• Un terzo sapeva solo correggere gli errori.

Il problema? Se volevi fare tutto questo, dovevi cambiare robot ogni volta. Era come avere un martello per inchiodare, una chiave inglese per svitare e un trapano per fare buchi: funzionava, ma era scomodo e non potevano "parlare" tra loro per condividere conoscenze.

Inoltre, la maggior parte di questi robot guardava solo le fotografie o le nuvole di punti (insiemi di pallini) degli oggetti, ignorando il formato professionale standard usato nelle fabbriche, chiamato B-rep (Rappresentazione ai Bordi). Il B-rep è come la ricetta dettagliata di un piatto, non solo la foto del piatto finito.

2. La Soluzione: BrepCoder, il "Cucina-Tutto"

Gli autori hanno creato BrepCoder, un unico "super-robot" (un modello linguistico multimodale) che usa il B-rep come lingua madre.

Ecco come funziona, passo dopo passo:

A. Tradurre la Forma in Codice (La Metafora del Ricettario)

Invece di far guardare al robot solo la forma finale, BrepCoder traduce il disegno 3D in codice Python (un linguaggio di programmazione).

• Metafora: Immagina che un oggetto 3D sia una torta.
  • I metodi vecchi guardavano solo la torta finita.
  • BrepCoder legge la ricetta: "Prendi la farina, aggiungi le uova, cuoci a 180 gradi per 30 minuti".
  • Questo permette al robot di capire non solo com'è la torta, ma come si fa. Capisce la logica: "Se metto le uova prima della farina, la torta viene male".

B. Due Fasi di Allenamento (La Scuola)

Per diventare un genio, BrepCoder ha seguito un corso in due tappe:

1. Fase 1: L'Ingegnere Inverso (Imparare la Logica)
   Il robot viene mostrato un oggetto 3D (il B-rep) e deve scrivere la ricetta (il codice) per costruirlo da zero.

   • Obiettivo: Imparare la connessione tra la forma geometrica e i passaggi logici per crearla. È come se un cuoco guardasse una torta e scrivesse la ricetta perfetta.
   • Questo gli insegna la "logica di progettazione".

2. Fase 2: Il Poliedrico (Fare di Tutto)
   Una volta imparata la logica, il robot viene messo alla prova su compiti diversi, usando le stesse conoscenze:

   • Completamento: Gli dai metà della ricetta e lui indovina il resto.
   • Correzione Errori: Gli dai una ricetta sbagliata (es. "Cuoci a 500 gradi") e lui la corregge basandosi sulla forma finale che vorresti ottenere.
   • Domande e Risposte: Gli chiedi "Quanti buchi ha questa sedia?" e lui risponde analizzando il codice e la forma.

3. Perché è un Cambio di Paradigma?

La vera magia di BrepCoder sta nel fatto che non ha bisogno di cambiare "cervello" per fare cose diverse.

• I vecchi modelli erano come attrezzi specifici: un cacciavite non può essere usato come martello.
• BrepCoder è come un coltellino svizzero intelligente: ha un unico cervello che capisce la struttura profonda degli oggetti.

Risultati Sorprendenti

Il paper mostra che BrepCoder:

• È molto più preciso nel ricostruire oggetti rispetto ai metodi precedenti.
• Riesce a correggere errori che altri modelli (anche quelli basati su intelligenza artificiale molto potenti come GPT) non riescono a vedere, perché loro guardano solo l'immagine (la foto della torta) e non la ricetta (il codice).
• Risponde a domande tecniche meglio di robot specializzati in nuvole di punti, pur essendo molto più piccolo e veloce.

In Sintesi

BrepCoder è come avere un architetto robotico che non si limita a guardare i disegni, ma legge la "musica" interna che li compone. Imparando a tradurre le forme 3D in codice, ha acquisito una comprensione profonda della logica di progettazione, permettendogli di essere un assistente universale capace di disegnare, riparare e spiegare qualsiasi oggetto industriale, tutto con un unico modello intelligente.

Sommario tecnico

1. Il Problema

Il campo del Computer-Aided Design (CAD) sta subendo una rapida evoluzione grazie al deep learning, ma le attuali soluzioni presentano limitazioni significative:

• Architetture Specifiche per Task: La maggior parte dei modelli esistenti è progettata per un singolo compito (es. recupero della storia di progettazione, completamento, correzione errori). Questo approccio richiede modifiche strutturali ogni volta che viene introdotto un nuovo task, rendendo il sistema poco scalabile e impedendo la condivisione della conoscenza tra diversi compiti.
• Formati di Input Non Standard: Le ricerche attuali si concentrano prevalentemente su rappresentazioni come nuvole di punti o immagini. Tuttavia, lo standard industriale per la condivisione e lo stoccaggio dei modelli CAD è la Rappresentazione ai Bordi (B-rep).
• Mancanza di Logica Progettuale: I modelli multimodali esistenti che utilizzano B-rep (come BrepLLM) si limitano spesso a descrivere le caratteristiche geometriche o a classificare forme. Non riescono a catturare la logica procedurale (i passaggi specifici per costruire il modello), rendendo difficile l'esecuzione di compiti complessi che richiedono ragionamento ingegneristico, come la generazione di sequenze di modellazione o la correzione di errori logici.

2. Metodologia: BrepCoder

Per colmare queste lacune, gli autori propongono BrepCoder, un Modello Linguistico Multimodale (MLLM) unificato che utilizza il B-rep come modalità di input principale. L'approccio si basa su due pilastri fondamentali:

A. Rappresentazione e Allineamento

• Codice CAD Simile a Python: Invece di utilizzare token interi personalizzati (come in DeepCAD), il paper converte le sequenze di modellazione CAD in un formato di codice simile a Python. Questo sfrutta le capacità di ragionamento e generazione di codice dei Large Language Models (LLM) pre-addestrati. Il codice è strutturato in modo orientato agli oggetti (es. sketch0 = [], loop0_0.Line(...)), rendendo esplicita la logica di progettazione.
• Codifica del B-rep: Per codificare i dati B-rep (che definiscono forme attraverso geometrie continue e connessioni topologiche), viene utilizzato UV-Net. Questo encoder trasforma i dati in un grafo di adiacenza delle facce, proiettando le informazioni geometriche su griglie 2D e 1D e integrandole tramite una Graph Neural Network (GNN).
• Allineamento Multimodale (CoCa): Viene adottato il framework CoCa (Contrastive Captioner) per allineare le rappresentazioni del B-rep con il codice CAD. Questo processo utilizza due funzioni di perdita:
  1. Contrastive Loss: Per allineare globalmente le caratteristiche del B-rep con il codice.
  2. Captioning Loss: Per generare il codice CAD partendo dalle caratteristiche del B-rep, forzando il modello a catturare i dettagli geometrici fini.

B. Strategia di Addestramento in Due Fasi

Il modello segue un percorso di apprendimento progressivo:

1. Fase 1: Ingegneria Inversa (Pre-training): Il modello viene addestrato a convertire un input B-rep nel corrispondente codice CAD Python-like. L'obiettivo è far "interiorizzare" al modello la correlazione fondamentale tra le caratteristiche geometriche e la logica di progettazione procedurale.
2. Fase 2: Adattamento Multi-Task (Fine-tuning): Utilizzando i pesi pre-addestrati, il modello viene affinato per eseguire diversi task a valle senza modificare l'architettura di base:
   • Completamento: Ricostruire il codice mancante dato un B-rep e una parte iniziale del codice.
   • Correzione Errori: Identificare e correggere comandi errati o parametri scorretti nel codice CAD confrontandoli con la geometria B-rep.
   • CAD-QA: Rispondere a domande semantiche sulle proprietà del modello o sull'intento progettuale.

3. Contributi Chiave

1. Framework Unificato: Introduzione di BrepCoder, il primo MLLM che tratta il B-rep come modalità centrale per risolvere compiti CAD diversificati all'interno di un'unica architettura.
2. Allineamento Logica-Geometria: La conversione delle sequenze CAD in codice Python-like permette all'LLM di interpretare direttamente la logica di progettazione complessa, superando i limiti delle descrizioni testuali generiche.
3. Strategia di Addestramento Ibrida: L'uso dell'ingegneria inversa come task di pre-training permette al modello di acquisire una solida comprensione della logica strutturale, che funge da fondamento per migliorare le prestazioni in tutti i task successivi.

4. Risultati Sperimentali

Il modello è stato valutato sul dataset DeepCAD (170k sequenze) e su SGP-Bench per le domande di risposta.

• Ingegneria Inversa: BrepCoder ha ottenuto un Chamfer Distance (CD) di 0.464 (miglioramento del ~52% rispetto allo stato dell'arte CADCL) e un ACC_param del 82.01%. Ha dimostrato una capacità eccezionale nel generare modelli CAD eseguibili, con un tasso di invalidità (IR) estremamente basso (0.86%).
  • Nota: Sebbene l'accuratezza dei comandi (ACC_cmd) sia leggermente inferiore a quella di alcuni modelli specifici, il paper dimostra che forme geometricamente identiche possono essere generate con sequenze di comandi diverse (ambiguità di modellazione), rendendo il CD e la validità strutturale metriche più rilevanti.
• Completamento: Ha superato il modello CAD-Llama (92.69% di ACC_cmd vs 73.87%), dimostrando che l'input B-rep fornisce informazioni topologiche e numeriche più ricche rispetto alle descrizioni testuali.
• Correzione Errori: Ha ottenuto prestazioni superiori rispetto a modelli commerciali (GPT-4, Gemini) e baselines specializzate (ReCAD), con un CD di 0.335. La capacità di leggere direttamente il B-rep ha permesso di evitare le ambiguità e le occlusioni tipiche dell'analisi basata su immagini 2D.
• CAD-QA: Con un modello compatto da 1.5B parametri, BrepCoder ha raggiunto il 79% di accuratezza, competendo con modelli molto più grandi basati su nuvole di punti (es. PointLLM 7B al 81%).

5. Significato e Impatto

BrepCoder rappresenta un passo significativo verso l'automazione intelligente nel design industriale:

• Generalizzazione: Dimostra che un singolo modello può gestire una vasta gamma di compiti CAD, eliminando la necessità di architetture dedicate per ogni scenario.
• Utilizzo dello Standard Industriale: Sposta il focus di ricerca dalle rappresentazioni semplificate (nuvole di punti) al formato B-rep nativo, rendendo la tecnologia immediatamente applicabile in contesti industriali reali.
• Ragionamento Ingegneristico: Trasforma l'LLM da un semplice generatore di testo a un agente CAD capace di comprendere e manipolare la logica costruttiva dei modelli 3D, aprendo la strada a futuri assistenti di progettazione autonomi.

In sintesi, BrepCoder unifica la potenza semantica degli LLM con la precisione geometrica del B-rep, creando un agente versatile in grado di ragionare, correggere e completare progetti CAD complessi.