Riepilogo Tecnico: ProCAD – Agenti Proattivi per una Generazione Text-to-CAD Robusta

1. Definizione del Problema

Gli attuali sistemi text-to-CAD, che traducono prompt in linguaggio naturale in programmi CAD parametrici (specificamente CadQuery), affrontano un problema critico di robustezza. Sebbene i Large Language Models (LLM) abbiano permesso progressi iniziali, essi operano tipicamente sotto l'assunto che i prompt dell'utente siano precisi e coerenti. Nella pratica, le descrizioni geometriche in linguaggio naturale sono frequentemente sotto-specificate (mancanti di dimensioni critiche) o internamente inconsistenti (contenenti vincoli contrastanti).

Gli approcci esistenti, che si tratti di generazione one-shot tramite LLM fine-tuned o di raffinamento basato su feedback, tendono a trattare il prompt dell'utente come una specifica affidabile. Di fronte all'ambiguità, questi modelli spesso "allucinano" dimensioni per soddisfare la richiesta, portando a codice non valido o modelli geometricamente errati. Ciò limita l'utilità pratica del text-to-CAD per compiti ingegneristici reali dove la precisione è fondamentale.

2. Metodologia

Gli autori propongono ProCAD, un framework agentico proattivo progettato per risolvere i problemi di specificazione prima della sintesi del codice. Il sistema decompone il compito in una pipeline a due agenti:

A. L'Architettura a Due Agenti

1. Agente di Chiarificazione Proattiva ($\pi_\phi$):

   • Ruolo: Audita il prompt dell'utente per rilevare vincoli mancanti o conflittuali.
   • Meccanismo: Modellato come un processo decisionale di Markov a orizzonte finito (MDP) dove l'ambiente è l'utente. L'agente decide ad ogni passo se ACCETTARE la specifica corrente o CHIEDERE una domanda di chiarimento mirata.
   • Obiettivo: Massimizzare una funzione di ricompensa che bilancia la fedeltà geometrica (minimizzazione della Chamfer Distance) e l'overhead di comunicazione (minimizzazione dei round di interazione e della lunghezza dei token).
   • Strategia: L'agente è addestrato a porre domande minime ed essenziali per produrre una specifica auto-coerente, evitando interruzioni non necessarie.

2. Agente di Codifica CAD ($\pi_\theta$):

   • Ruolo: Traduce la specifica finalizzata e chiarificata in un programma CadQuery eseguibile.
   • Meccanismo: Un modello standard di generazione text-to-code fine-tuned su dati di alta qualità e non ambigui.

B. Pipeline di Creazione Dati e Addestramento

Per addestrare questi agenti, gli autori hanno costruito un nuovo dataset di alta qualità e una strategia di addestramento:

• Dataset High-Quality Text-to-CadQuery (10K campioni):

  • Fonte: Derivato dal dataset DeepCAD (Wu et al., 2021) tramite programmi CadQuery.
  • Processo: Invece di generare codice da testo, la pipeline renderizza le forme da più viste e utilizza un modello Vision-Language di frontiera (GPT-5-mini) per generare descrizioni in linguaggio naturale condizionate sia alle immagini che al codice CadQuery sorgente.
  • Verifica: Un ciclo "genera-e-verifica" assicura la qualità. Le descrizioni generate vengono controllate per:
    1. Code Leakage (Perdita di Codice): Assicurarsi che nessun frammento di codice grezzo venga copiato nel testo.
    2. Completezza: La descrizione viene rialimentata al VLM per sintetizzare il codice; se la geometria risultante corrisponde alla verità di base (Chamfer Distance $< 2 \times 10^{-4}$), il campione viene accettato.
  • Raffinamento: I campioni che falliscono i controlli vengono riprovati fino a tre volte; i fallimenti persistenti vengono indirizzati a esperti umani.

• Addestramento dell'Agente di Codifica (ProCAD-coder):

  • Fine-tuned tramite Supervised Fine-Tuning (SFT) su 1.6K campioni accuratamente curati e non ambigui del dataset da 10K.
  • Modello base: Qwen2.5-7B-Instruct.

• Addestramento dell'Agente di Chiarificazione (ProCAD-clarifier):

  • Addestrato tramite Agentic SFT su un dataset sintetico di 6.063 campioni.
  • Sintesi: I prompt ambigui sono creati perturbando le specifiche verificate (omettendo dimensioni o introducendo conflitti).
  • Traiettorie: I dati di addestramento includono intere traiettorie dell'agente in cui l'agente pone domande e riceve risposte simulate dall'utente (usando GPT-5-mini come simulatore utente) per raggiungere una specifica corretta.
  • Obiettivo: Imparare a identificare l'ambiguità e porre il set minimo di domande necessarie per risolverla.

3. Contributi Chiave

1. Framework Agentico Proattivo: Un passaggio dalla generazione statica one-shot a un sistema a due agenti dinamico che rileva e risolve proattivamente le ambiguità di specificazione prima della generazione del codice.
2. Dataset Curato di Alta Qualità: La creazione di un dataset text-to-CadQuery da 10K con rigorosi controlli di leakage e completezza, dimostrando che descrizioni più pulite e precise migliorano significativamente la sintesi del codice a valle.
3. Addestramento Efficiente con Dati Minimi:
   • L'agente di codifica raggiunge prestazioni superiori utilizzando solo 1.6K campioni fine-tuned, superando i modelli proprietari di frontiera.
   • L'agente di chiarificazione è addestrato su un dataset sintetico di 6.063 traiettorie per gestire efficacemente l'ambiguità.
4. Robustezza all'Ambiguità: Il sistema riduce significativamente la generazione di codice non valido e gli errori geometrici di fronte a prompt sotto-specificati o conflittuali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su set di test unambigui e ambigui, confrontando ProCAD con modelli di frontiera (es. Claude Sonnet 4.5, GPT-4o-mini) e precedenti metodi open-source.

• Prestazioni di Codifica (Prompt Ambigui):

  • ProCAD-coder ha ridotto l'Invalidity Ratio (IR) da ~86.9% (Qwen2.5 zero-shot) a 0.9%.
  • Ha raggiunto una mediana di Chamfer Distance (CD) di 0.066 (scala $\times 10^{-3}$), superando Claude Sonnet 4.5 (0.077) e metodi precedenti come Text-CAD (0.097).

• Prestazioni di Chiarificazione (Prompt Ambigui):

  • In un setting a due agenti con risposte simulate dell'utente, ProCAD (Clarifier + Coder) ha ottenuto la Mean CD (0.63) e la Median CD (0.08) più basse.
  • Ha ridotto l'Invalidity Ratio allo 0.9%, rispetto al 14.6% del baseline Claude Sonnet 4.5 a singolo modello.
  • Qualità dell'Interazione: ProCAD ha ottenuto i punteggi di Efficienza (0.9654) e Risoluzione (0.9341) più elevati, indicando che pone meno domande ridondanti e risolve con successo le ambiguità.

• Generalizzazione:

  • Il sistema ha mantenuto alte prestazioni quando il simulatore utente è stato sostituito da Claude 4.5 Haiku, dimostrando robustezza rispetto a comportamenti utente out-of-distribution.
  • Valutazione Human-Centered: Nei test con annotatori umani reali (100 campioni), ProCAD-clarifier ha continuato a superare i baseline in Efficienza, Risoluzione e fedeltà geometrica finale (Mean CD 1.28 vs 9.72 per il miglior baseline successivo).

5. Significato e Rivendicazioni

Il paper sostiene che ProCAD rappresenti un passo avanti significativo nel rendere il text-to-CAD robusto per applicazioni ingegneristiche pratiche. La sua importanza primaria risiede in:

• Cambio di Paradigma: Passare dalla generazione "reattiva" (dove i modelli indovinano le informazioni mancanti) alla chiarificazione "proattiva" (dove i modelli chiedono le informazioni mancanti). Ciò si allinea meglio ai rigorosi standard della progettazione ingegneristica.
• Impatto della Qualità dei Dati: I risultati suggeriscono che la qualità della descrizione testuale sia un collo di bottiglia critico. Gli autori dimostrano che anche con un forte modello base, descrizioni scarse o ambigue portano al fallimento, mentre descrizioni di alta qualità e verificate permettono anche a modelli più piccoli di superare massicci modelli di frontiera.
• Efficienza: Il framework raggiunge una robustezza allo stato dell'arte con dataset di fine-tuning relativamente piccoli (1.6K per la codifica, 6K per la chiarificazione), sfidando l'idea che la scala massiccia sia sempre necessaria per una generazione CAD affidabile.

Gli autori concludono che il lavoro futuro dovrebbe concentrarsi sulla raccolta di dataset di ambiguità su larga scala derivanti da interazioni umane reali e sullo sviluppo di modelli dedicati al simulatore utente per affinare ulteriormente il processo di chiarificazione proattiva.