LLM-based Visual Code Completion for Aerospace Geometric Design

Sintesi Tecnica: Completamento del Codice Visivo basato su LLM per la Progettazione Geometrica Aerospaziale

Problematica
L'industria aerospaziale privilegia la sicurezza e la spiegabilità, il che ha portato a un ritardo nell'adozione commerciale dei Large Language Models (LLM) per la progettazione geometrica, nonostante i recenti progressi nei Visual Language Models (VLM) e nel completamento del codice visivo. Attualmente, non esistono sistemi di copilot per la progettazione geometrica basati su LLM di annuncio pubblico in uso commerciale da parte di Original Equipment Manufacturers (OEM) del settore aerospaziale. Vi è una mancanza di prove scientifiche riguardanti l'efficacia e la sicurezza degli LLM in questo dominio ad alto rischio. Inoltre, gli attuali ambienti di programmazione visuale (ad esempio, Grasshopper per Rhinoceros 3D) richiedono agli ingegneri di costruire complessi grafi di nodi utilizzando primitivi geometrici a basso livello, il che è dispendioso in termini di tempo e soggetto a errori quando si progettano strutture aerospaziali complesse come le ali.

Metodologia
Gli autori propongono un'applicazione copilot di programmazione visuale basata su LLM, progettata per assistere gli ingegneri aerospaziali nella creazione di design di geometria alare all'interno dell'ambiente Grasshopper. Il sistema integra tre componenti principali:

1. Libreria Wingbuilder: Una nuova libreria di plugin per Grasshopper contenente 54 componenti personalizzati raggruppati in sette categorie specifiche del dominio (ad es., costruzione del profilo alare, assemblaggio dell'ala, fabbriche di parti). A differenza dei normali primitivi di Grasshopper, Wingbuilder espone oggetti di dominio di alto livello (ad es., "longherone", "centina", "diedro"), consentendo agli ingegneri di lavorare nel proprio vocabolario nativo.
2. Aerospace Visual Programming Dataset (AVPD): Un dataset composto da 18 task progettati da esperti con diversi livelli di difficoltà (facile, medio, difficile) utilizzando i componenti di Wingbuilder. Ogni task include una tela di partenza con componenti nascosti, una descrizione del task in linguaggio naturale e una "risposta d'oro" (gold answer) sotto forma di tela.
3. Architettura Copilot basata su ReAct: Il sistema utilizza GPT 5.4 (un LLM commerciale) impiegando una metodologia ReAct (Reasoning and Acting) modificata.
   • Input: L'LLM riceve uno screenshot della tela Grasshopper corrente, un prompt di sistema che descrive i componenti Wingbuilder disponibili e una descrizione in linguaggio naturale del compito ingegneristico.
   • Processo: A differenza di altri approcci agentici che renderizzano modelli 3D intermedi per l'analisi visiva, questo metodo salta il passaggio dell'analisi visiva. Invece, si affida alla conoscenza pre-addestrata dell'LLM riguardo ai layout dei componenti visivi di Grasshopper. L'LLM genera iterativamente "pensieri" relativi alle azioni necessarie e seleziona azioni specifiche (ad es., aggiungere un componente, collegare cavi) tramite un'API.
   • Output: Il sistema esegue script Grasshopper per modificare la tela, fornendo osservazioni all'LLM finché il task non è considerato completato. L'utente può visualizzare l'anteprima, accettare o rifiutare i suggerimenti in qualsiasi momento.

Contributi Chiave

• Libreria Wingbuilder: Il rilascio di una libreria di astrazione geometrica open-source progettata specificamente per supportare la programmazione visuale per la progettazione di ali aerospaziali e l'automazione tramite LLM.
• Aerospace Visual Programming Dataset (AVPD): La creazione di un dataset di benchmark con 18 task e soluzioni di verità fondamentale (ground truth) mirate per valutare il completamento del codice visivo geometrico basato su LLM in un dominio specializzato.
• Framework di Valutazione e Approfondimenti: Una prova utente coinvolgente due ingegneri aerospaziali esperti di un importante produttore di aeromobili, che fornisce metriche sia quantitative (tempo di completamento del task, tasso di successo) che qualitative (soddisfazione dell'utente, fiducia). Il documento offre anche buone pratiche e lezioni apprese per lo sviluppo di applicazioni LLM nel dominio aerospaziale.

Risultati
La prova utente ha prodotto i seguenti risultati:

• Correlazione con la Difficoltà del Task: Il copilot è stato più utile per i task di difficoltà "difficile" (circa 8 minuti). In questi scenari, i partecipanti che utilizzavano il copilot sono stati più veloci (173s rispetto a 259s senza copilot) e hanno avuto un tasso di completamento più elevato (5/6 rispetto a 2/6).
• Prestazioni sui Task Facili: Per i task "facili" (circa 2 minuti), il copilot ha rallentato significativamente i partecipanti (78s rispetto a 34s) a causa della latenza dell'inferenza dell'LLM.
• Latenza di Inferenza: Il processo ReAct dell'LLM ha mediato 113 secondi per soluzione, con un tempo medio per step di 9 secondi e 12 step per soluzione. Questa latenza limita l'utilità dello strumento per modifiche rapide e semplici.
• Feedback dell'Utente: I partecipanti hanno trovato i suggerimenti utili, in particolare per superare gli ostacoli iniziali nei compiti complessi. Tuttavia, hanno notato che le tracce di ragionamento ReAct erano talvolta confuse e che i suggerimenti non erano sempre facili da comprendere. Nonostante questi problemi, i partecipanti hanno espresso la volontà di utilizzare lo strumento in futuro.

Significatività e Rivendicazioni
Il documento sostiene che i copilot di programmazione visuale basati su LLM possono essere efficaci per compiti complessi di progettazione geometrica aerospaziale, a condizione che la latenza sia accettabile per la complessità del compito. Evidenzia che:

• L'Astrazione del Dominio è Critica: L'uso di componenti di alto livello specifici del dominio (Wingbuilder) piuttosto che di primitivi geometrici a basso livello è essenziale per consentire agli LLM di ragionare efficacemente sulla progettazione aerospaziale.
• ReAct senza Rendering Visivo: Una metodologia ReAct che si affida alla conoscenza pre-addestrata dell'LLM dei layout visivi, piuttosto che generare e analizzare render 3D intermedi, è un approccio vitale ed efficiente per il completamento del codice visivo nel CAD.
• Sicurezza e Spiegabilità: Sebbene lo strumento abbia mostrato potenziale, gli autori riconoscono che lo stato attuale degli LLM open-source è insufficiente per questo specifico workflow ReAct, rendendo necessario l'uso di modelli commerciali potenti (GPT 5.4) per una precisione soddisfacente. Essi ipotizzano che il lavoro futuro dovrebbe esplorare ensemble di LLM open-source sottoposti a fine-tuning per ottenere prestazioni simili.

Gli autori concludono che, sebbene le attuali velocità di inferenza limitino lo strumento a compiti complessi e dispendiosi in termini di tempo, il cambio di paradigma verso gli assistenti digitali LLM nell'industria aerospaziale è plausibile, a condizione di futuri miglioramenti nell'efficienza dei modelli e dell'hardware.