LLM-based Visual Code Completion for Aerospace Geometric Design

Technische Samenvatting: LLM-gebaseerde Visuele Code-aanvulling voor Aerospatiële Geometrische Ontwerp

Probleemstelling
De luchtvaartindustrie geeft prioriteit aan veiligheid en verklaarbaarheid, wat leidt tot een vertraging in de commerciële adoptie van Large Language Models (LLM's) voor geometrisch ontwerp, ondanks recente vooruitgang in Visual Language Models (VLM's) en visuele code-aanvulling. Momenteel zijn er geen publiekelijk aangekondigde LLM-gebaseerde geometrische ontwerp-copilotsystemen in commercieel gebruik door Original Equipment Manufacturers (OEM's) in de luchtvaart. Er is een gebrek aan wetenschappelijk bewijs met betrekking tot de effectiviteit en veiligheid van LLM's in dit hoogwaardige domein. Bovendien vereisen bestaande visuele programmeeromgevingen (bijv. Grasshopper voor Rhinoceros 3D) dat ingenieurs complexe node-grafieken construeren met behulp van laag-niveau geometrische primitieven, wat tijdrovend is en foutgevoelig bij het ontwerpen van complexe luchtvaartstructuren zoals vleugels.

Methodologie
De auteurs stellen een LLM-gebaseerde visuele programmeer-copilot applicatie voor, ontworpen om luchtvaartingenieurs te assisteren bij het creëren van vleugelgeometrie-ontwerpen binnen de Grasshopper-omgeving. Het systeem integreert drie kerncomponenten:

1. Wingbuilder Library: Een nieuwe Grasshopper-plugin bibliotheek die 54 aangepaste componenten bevat, gegroepeerd in zeven domeinspecifieke categorieën (bijv. profielconstructie, vleugelassemblage, onderdeelfabrieken). In tegenstelling tot standaard Grasshopper-primitieven, legt Wingbuilder hoog-niveau domeinobjecten bloot (bijv. "spar", "rib", "dihedral"), waardoor ingenieurs in hun eigen natuurlijke vocabulaire kunnen werken.
2. Aerospace Visual Programming Dataset (AVPD): Een dataset bestaande uit 18 door experts ontworpen taken van variërende moeilijkheidsgraad (gemakkelijk, gemiddeld, moeilijk) met gebruik van de Wingbuilder-componenten. Elke taak bevat een startcanvas met verborgen componenten, een vrije tekstuele taakbeschrijving en een "gold answer" canvas als grondwaarheid.
3. ReAct-gebaseerde Copilot Architectuur: Het systeem maakt gebruik van GPT 5.4 (een commerciële LLM) die een aangepaste ReAct (Reasoning and Acting) methodologie toepast.
   • Input: De LLM ontvangt een screenshot van het huidige Grasshopper-canvas, een systeemprompt die de beschikbare Wingbuilder-componenten beschrijft, en een natuurlijke taalbeschrijving van de technische taak.
   • Proces: In tegenstelling tot andere agentische benaderingen die tussenliggende 3D-modellen renderen voor visuele analyse, slaat deze methode de visuele analysestap over. In plaats daarvan vertrouwt het op de vooraf getrainde kennis van de LLM over Grasshopper visuele component-lay-outs. De LLM genereert iteratief "gedachten" over noodzakelijke acties en selecteert specifieke acties (bijv. het toevoegen van een component, het verbinden van draden) via een API.
   • Output: Het systeem voert Grasshopper-scripts uit om het canvas aan te passen, waarbij observaties terug naar de LLM worden gestuurd totdat de taak als voltooid wordt beschouwd. De gebruiker kan suggesties op elk moment bekijken, accepteren of afwijzen.

Belangrijkste Bijdragen

• Wingbuilder Library: De release van een open-source geometrie abstractiebibliotheek, specifiek ontworpen om visueel programmeren voor aerospatiële vleugelontwerpen en LLM-automatisering te ondersteunen.
• Aerospace Visual Programming Dataset (AVPD): De creatie van een benchmark-dataset met 18 taken en grondwaarheid-oplossingen, afgestemd op het evalueren van LLM-gebaseerde geometrische visuele code-aanvulling in een gespecialiseerd domein.
• Evaluatiekader en Inzichten: Een gebruikersproef met twee ervaren luchtvaartingenieurs van een grote vliegtuigfabrikant, die zowel kwantitatieve (taakvoltooiingstijd, succespercentage) als kwalitatieve (gebruikerssatisfactie, vertrouwen) metrieken leverde. Het artikel biedt ook best practices en lessen geleerd voor het ontwikkelen van luchtvaartdomein-specifieke LLM-applicaties.

Resultaten
De gebruikersproef leverde de volgende bevindingen op:

• Correlatie met Taakmoeilijkheid: De copilot was het meest nuttig voor "moeilijke" taken (ongeveer 8 minuten). In deze scenario's waren deelnemers die de copilot gebruikten sneller (173s vs. 259s zonder copilot) en hadden zij een hoger voltooiingspercentage (5/6 vs. 2/6).
• Prestaties bij Gemakkelijke Taken: Voor "gemakkelijke" taken (ongeveer 2 minuten) vertraagde de copilot de deelnemers aanzienlijk (78s vs. 34s) vanwege de latentie van de LLM-inferentie.
• Inferentie-latentie: Het LLM ReAct-proces nam gemiddeld 113 seconden per oplossing in beslag, met een gemiddelde staptijd van 9 seconden en 12 stappen per oplossing. Deze latentie beperkt de bruikbaarheid van het hulpmiddel voor snelle, eenvoudige bewerkingen.
• Gebruikersfeedback: De deelnemers vonden de suggesties nuttig, vooral bij het overwinnen van de eerste hindernissen in complexe taken. Ze merkten echter op dat de ReAct-redeneringssporen soms verwarrend waren en dat de suggesties niet altijd gemakkelijk te begrijpen waren. Ondanks deze problemen uitten deelnemers hun bereidheid om het hulpmiddel in de toekomst te gebruiken.

Betekenis en Claims
Het artikel beweert aan te tonen dat LLM-gebaseerde visuele programmeer-copilots effectief kunnen zijn voor complexe aerospatiële geometrische ontwerptaken, mits de latentie acceptabel is voor de complexiteit van de taak. Het benadrukt dat:

• Domeinabstractie is Cruciaal: Het gebruik van hoog-niveau domeinspecifieke componenten (Wingbuilder) in plaats van laag-niveau geometrische primitieven is essentieel om LLM's effectief te laten redeneren over aerospatiële ontwerpen.
• ReAct zonder Visuele Rendering: Een ReAct-methodologie die vertrouwt op de vooraf getrainde kennis van de LLM over visuele lay-outs, in plaats van het genereren en analyseren van tussenliggende 3D-renders, is een levensvatbare en efficiënte benadering voor visuele code-aanvulling in CAD.
• Veiligheid en Verklaarbaarheid: Hoewel het hulpmiddel veelbelovend was, erkennen de auteurs dat de huidige staat van open-source LLM's onvoldoende is voor deze specifieke ReAct-workflow, wat het gebruik van krachtige commerciële modellen (GPT 5.4) noodzakelijk maakt voor een levensvatbare nauwkeurigheid. Zij stellen dat toekomstig werk zich moet richten op ensembles van gefinetunede open-source LLM's om een vergelijkbare prestatie te behalen.

De auteurs concluderen dat hoewel de huidige inferentiesnelheden het hulpmiddel beperken tot complexe, tijdrovende taken, de paradigmaverschuiving naar LLM digitale assistenten in de luchtvaartindustrie plausibel is, mits er in de toekomst verbeteringen komen in modelefficiëntie en hardware.