💻 computer science

PLLM: Pseudo-Labeling Large Language Models for CAD Program Synthesis

Il paper introduce PLLM, un framework di auto-addestramento che permette di sintetizzare programmi CAD da forme 3D non etichettate selezionando e affinando iterativamente le esecuzioni più fedeli di un modello linguistico pre-addestrato, migliorando così la fedeltà geometrica e la diversità dei programmi senza necessità di dati supervisionati.

Autori originali: Yuanbo Li, Dule Shu, Yanying Chen, Matt Klenk, Daniel Ritchie

Pubblicato 2026-02-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yuanbo Li, Dule Shu, Yanying Chen, Matt Klenk, Daniel Ritchie

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una scatola piena di modellini 3D incredibilmente dettagliati (come piccole auto, edifici o mobili), ma non hai mai visto i "disegni tecnici" o le istruzioni passo-passo che hanno permesso di costruirli. È come avere un puzzle montato, ma senza la scatola con l'immagine di riferimento o le istruzioni per smontarlo e rimontarlo.

Questo è il problema che affrontano gli autori di questo paper: come si insegna a un'intelligenza artificiale a scrivere le istruzioni (il codice CAD) per ricreare questi oggetti 3D, se non abbiamo le istruzioni originali?

Ecco come funziona la loro soluzione, chiamata PLLM, spiegata con un'analogia semplice.

L'Analogia del "Cucina e Assaggia"

Immagina un Chef AI (il modello linguistico) che è stato addestrato in una scuola di cucina molto famosa (un dataset chiamato DeepCAD). Questo chef sa già cucinare piatti deliziosi e sa come scrivere le ricette. Tuttavia, quando gli dai un nuovo tipo di ingrediente (un oggetto 3D da un nuovo dataset chiamato ABC), le sue ricette iniziali non sono perfette: il piatto viene un po' storto o manca di dettagli.

Il problema è che non hai un "Maestro Cuoco" umano che ti dica: "No, questa ricetta è sbagliata, devi aggiungere un po' di sale qui". Non hai le ricette corrette per questi nuovi ingredienti.

PLLM è come un sistema di auto-apprendimento per lo Chef:

Il Tentativo (Campionamento): Lo Chef prova a cucinare il piatto basandosi sulla sua esperienza precedente. Scrive una ricetta (un programma CAD).
La Verifica (Esecuzione): Fa il piatto seguendo la ricetta. Poi lo mette a confronto con l'oggetto originale che voleva ricreare.
- Se il piatto sembra quasi identico all'originale: "Ottimo! Questa ricetta è buona".
- Se il piatto è un disastro: "Scarto questa ricetta".
L'Espansione Creativa (Augmentation): Qui sta la magia. Non si limita a prendere la ricetta "migliore". Prende quella ricetta e la modifica:
- La allunga: "Forse se aggiungo un passaggio extra per rifinire i bordi, viene meglio".
- La accorcia: "Forse posso togliere un passaggio inutile e ottenere lo stesso risultato in modo più elegante".
- In questo modo, crea molte varianti della stessa ricetta.
L'Allenamento (Fine-tuning): Ora lo Chef ha un nuovo libro di ricette "sintetico" fatto da lui stesso, ma che ha già verificato funzionare. Lo usa per ripassare e migliorare le sue abilità.
Ripetizione: Ripete il processo. Dopo aver studiato le sue nuove ricette, la prossima volta che prova a cucinare, sarà ancora più bravo. E così via, ciclo dopo ciclo.

Perché è importante?

Prima di questo lavoro, per insegnare a un'IA a disegnare oggetti 3D, servivano migliaia di coppie "Oggetto + Istruzioni" create manualmente da umani. È come se per imparare a cucinare dovessi avere un libro di ricette per ogni singolo piatto esistente al mondo. È costoso, lento e spesso impossibile da trovare per nuovi tipi di oggetti.

PLLM risolve il problema dicendo: "Non abbiamo bisogno di un libro di ricette perfetto. Abbiamo solo bisogno degli ingredienti (gli oggetti 3D). L'IA può provare a inventare le ricette, vedere quali funzionano, migliorarle da sola e imparare così."

I Risultati (La "Prova del Cuoco")

Gli autori hanno messo alla prova questo metodo:

Hanno preso un modello che sapeva già disegnare (addestrato su un dataset famoso).
Lo hanno lanciato su un dataset di oggetti 3D senza istruzioni (il dataset ABC).
Dopo diverse "sessioni di allenamento" (iterazioni), l'IA è diventata molto più brava a ricreare la forma esatta degli oggetti.
Il risultato: Le forme generate dall'IA assomigliavano sempre di più agli originali, e le istruzioni (il codice) diventavano più varie e creative, non più rigide e ripetitive.

In sintesi

PLLM è come dare a un apprendista disegnatore un mucchio di disegni finiti e dirgli: "Prova a capire come sono stati fatti, disegna tu le istruzioni, controlla se il disegno che ne esce è uguale all'originale, e se non lo è, prova a riscrivere le istruzioni in modo diverso finché non funziona. Ripeti finché non diventi un maestro."

È un modo intelligente per trasformare un problema di "mancanza di dati" in un'opportunità di "auto-miglioramento", rendendo possibile l'uso dell'Intelligenza Artificiale in campi dove i dati etichettati sono rari o inesistenti.

1. Il Problema

La sintesi inversa di programmi CAD (Computer-Aided Design) a partire da geometrie 3D è un problema fondamentale per il riutilizzo, la modifica semantica e la rappresentazione compatta dei modelli 3D.

Limitazione attuale: I metodi recenti basati su Large Language Models (LLM) hanno mostrato progressi significativi, ma dipendono quasi esclusivamente da training supervisionato che richiede coppie "forma-programma" (shape-program pairs) etichettate.
Collo di bottiglia: Ottenere queste annotazioni è costoso, specifico per dominio e spesso non disponibile. Molti grandi repository CAD (come il dataset ABC) contengono geometrie di alta qualità ma mancano completamente delle corrispondenti definizioni procedurali (codice CAD). Questo limita la scalabilità dei sistemi di sintesi CAD a nuovi domini o linguaggi.

2. Metodologia: Il Framework PLLM

Gli autori introducono PLLM, un framework di auto-training (self-training) progettato per adattare un LLM pre-addestrato a un nuovo dominio di forme 3D non etichettate, generando supervisione sintetica direttamente dai dati.

Il processo si articola in un ciclo iterativo di quattro fasi chiave:

Campionamento dei Programmi (Program Sampling):
- Dato un input di forma $x^*$ dal dataset target non etichettato, un LLM pre-addestrato (inizialmente su DeepCAD) genera $k$ programmi candidati ( $z_i$ ) utilizzando tecniche di decoding stocastico (nucleus sampling).
- Ogni programma viene eseguito tramite un esecutore "black-box" (CadQuery) per generare una geometria 3D.
- Le geometrie generate vengono confrontate con la forma di input originale utilizzando la Distanza di Chamfer. Il programma che produce la minima distanza (migliore fedeltà geometrica) viene selezionato come candidato iniziale.
Selezione e Curatela:
- Vengono mantenuti solo i programmi ad alta fedeltà (quelli con la minima Distanza di Chamfer) per costruire un set di dati sintetico iniziale. Se più programmi producono ricostruzioni simili, si preferisce quello più breve per promuovere rappresentazioni concise.
Augmentation a Livello di Programma (Data Augmentation):
- Per evitare che il dataset sintetico sia troppo ristretto o limitato nella complessità procedurale, il framework applica modifiche programmatiche ai programmi selezionati:
  - Espansione: Aggiunta di nuove operazioni o spazi di lavoro (workspace) con sequenze di schizzi e feature generate proceduralmente.
  - Accorciamento: Rimozione di operazioni booleane di livello superiore mantenendo la validità sintattica.
- Questo processo genera varianti diverse che preservano la coerenza geometrica ma esplorano uno spazio più ampio di strutture procedurali.
Fine-Tuning Iterativo:
- Il modello viene addestrato (fine-tuned) utilizzando LoRA (Low-Rank Adaptation) sul dataset sintetico espanso.
- Le coppie di addestramento sono formate da: Input $X$ (l'esecuzione del programma modificato) e Output $Z$ (il programma modificato stesso).
- Poiché la forma $X$ è il risultato diretto dell'esecuzione del programma $Z$ , le coppie sono perfettamente coerenti, eliminando il rumore nelle etichette.
- Il modello migliorato viene poi riutilizzato nel ciclo successivo per generare programmi di qualità superiore, creando un ciclo di auto-rafforzamento.

3. Contributi Chiave

Framework PLLM: Un nuovo approccio di auto-training che sintetizza e arricchisce programmi CAD per creare supervisione per dataset 3D non etichettati.
Strategia di Sintesi Dati: Una metodologia che combina campionamento, selezione basata sull'esecuzione e modifiche programmatiche (espansione/accorciamento) per generare coppie forma-programma diversificate e informative.
Validazione Empirica: Dimostrazione che l'auto-training sintetico migliora significativamente la fedeltà geometrica e la diversità dei programmi quando si adatta un modello (CAD-Recode) dal dominio DeepCAD al dataset ABC non etichettato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti adattando CAD-Recode (pre-addestrato su DeepCAD) al dataset ABC (senza annotazioni ground-truth).

Miglioramento della Fedeltà Geometrica: La Distanza di Chamfer (CD) diminuisce costantemente nelle prime iterazioni. Dopo 5 iterazioni, la CD media scende da 26.12 (baseline CAD-Recode) a 9.73, superando di gran lunga le strategie di baseline alternative.
Diversità e Lunghezza dei Programmi: L'approccio permette di generare programmi più lunghi e complessi (da un limite di 768 token a oltre 1000 token), migliorando la capacità del modello di rappresentare geometrie dettagliate.
Confronto con le Baseline:
- Baseline 1 (coppia: programma generato + sua esecuzione): Performance peggiorata a causa dello spostamento della distribuzione dei dati.
- Baseline 2 (coppia: programma generato + forma di input originale): Introduce rumore perché il programma non ricostruisce perfettamente la forma originale.
- PLLM (Metodo Proposto): Ottiene i risultati migliori grazie alla coerenza perfetta tra input e output nel dataset sintetico e all'arricchimento tramite augmentation.
Metriche IoU: L'IoU (Intersection over Union) mostra un andamento interessante: aumenta inizialmente ma poi diminuisce leggermente nelle iterazioni finali. Questo suggerisce che il modello, ottimizzando specificamente per la Distanza di Chamfer (allineamento superficiale), potrebbe sacrificare leggermente la coerenza volumetrica globale, ma il risultato geometrico complessivo è superiore.

5. Significato e Implicazioni

Superamento della Dipendenza dai Dati Etichettati: PLLM dimostra che è possibile scalare la sintesi di programmi CAD a nuovi domini e linguaggi senza la necessità costosa di annotazioni manuali, sfruttando invece la conoscenza interna degli LLM pre-addestrati e la validazione tramite esecuzione.
Validità del Codice: A differenza di altri approcci generativi, PLLM garantisce che i programmi sintetizzati siano eseguibili e semanticamente corretti, fornendo un segnale di supervisione affidabile.
Costo Computazionale: Il principale limite è il costo computazionale elevato (circa 150 ore su 4 GPU per 6 iterazioni) dovuto al ciclo di campionamento, esecuzione e filtraggio. Tuttavia, gli autori sostengono che questo costo è un compromesso accettabile rispetto all'annotazione manuale e che diventerà più pratico con l'ottimizzazione degli esecutori.

In sintesi, il lavoro propone una soluzione elegante al problema della scarsità di dati per l'inversione CAD, trasformando collezioni di forme grezze in dataset di addestramento di alta qualità attraverso un processo iterativo di auto-correzione e arricchimento.