LLM-based Visual Code Completion for Aerospace Geometric Design

Resumen Técnico: Completado de Código Visual Basado en LLM para el Diseño Geométrico Aeroespacial

Planteamiento del Problema
La industria aeroespacial prioriza la seguridad y la explicabilidad, lo que ha provocado un retraso en la adopción comercial de los Modelos de Lenguaje de Gran Tamaño (LLM) para el diseño geométrico, a pesar de los recientes avances en los Modelos de Lenguaje Visual (VLM) y el completado de código visual. Actualmente, no existen sistemas de copiloto de diseño geométrico basados en LLM anunciados públicamente que estén en uso comercial por parte de los Fabricantes de Equipo Original (OEM) aeroespaciales. Existe una falta de evidencia científica sobre la eficacia y la seguridad de los LLM en este dominio de alto riesgo. Además, los entornos de programación visual existentes (por ejemplo, Grasshopper para Rhinoceros 3D) requieren que los ingenieros construyan complejos grafos de nodos utilizando primitivas geométricas de bajo nivel, lo cual es lento y propenso a errores al diseñar estructuras aeroespaciales complejas como las alas.

Metodología
Los autores proponen una aplicación de copiloto de programación visual basada en LLM diseñada para asistir a los ingenieros aeroespaciales en la creación de diseños de geometría de alas dentro del entorno Grasshopper. El sistema integra tres componentes principales:

1. Librería Wingbuilder: Una nueva librería de plugins para Grasshopper que contiene 54 componentes personalizados agrupados en siete categorías de dominio específico (por ejemplo, construcción de perfiles alares, ensamblaje de alas, fábricas de piezas). A diferencia de las primitivas estándar de Grasshopper, Wingbuilder expone objetos de dominio de alto nivel (por ejemplo, "larguero", "costilla", "diedro"), lo que permite a los ingenieros trabajar en su vocabulario nativo.
2. Dataset de Programación Visual Aeroespacial (AVPD): Un conjunto de datos que comprende 18 tareas diseñadas por expertos con diferentes niveles de dificultad (fácil, media, difícil) utilizando los componentes de Wingbuilder. Cada tarea incluye un lienzo inicial con componentes ocultos, una descripción de la tarea en texto libre y un "lienzo de respuesta de oro" (gold answer) que sirve como verdad de referencia.
3. Arquitectura de Copiloto basada en ReAct: El sistema utiliza GPT 5.4 (un LLM comercial) empleando una metodología ReAct (Razonamiento y Acción) modificada.
   • Entrada: El LLM recibe una captura de pantalla del lienzo actual de Grasshopper, un prompt de sistema que describe los componentes disponibles de Wingbuilder y una descripción en lenguaje natural de la tarea de ingeniería.
   • Proceso: A diferencia de otros enfoques agénticos que renderizan modelos 3D intermedios para el análisis visual, este método se salta el paso del análisis visual. En su lugar, confía en el conocimiento preentrenado del LLM sobre las disposiciones de los componentes visuales de Grasshopper. El LLM genera iterativamente "pensamientos" respecto a las acciones necesarias y selecciona acciones específicas (por ejemplo, añadir un componente, conectar cables) a través de una API.
   • Salida: El sistema ejecuta scripts de Grasshopper para modificar el lienzo, proporcionando observaciones de vuelta al LLM hasta que se considera que la tarea se ha completado. El usuario puede previsualizar, aceptar o rechazar las sugerencias en cualquier momento.

Contribuciones Clave

• Librería Wingbuilder: El lanzamiento de una librería de abstracción geométrica de código abierto diseñada específicamente para soportar la programación visual para el diseño de alas aeroespaciales y la automatización mediante LLM.
• Dataset de Programación Visual Aeroespacial (AVPD): La creación de un dataset de referencia con 18 tareas y soluciones de verdad de referencia adaptadas para evaluar el completado de código visual geométrico basado en LLM en un dominio especializado.
• Marco de Evaluación e Insights: Un ensayo con usuarios que involucró a dos ingenieros aeroespaciales experimentados de un importante fabricante de aeronaves, proporcionando métricas tanto cuantitativas (tiempo de finalización de la tarea, tasa de éxito) como cualitativas (satisfacción del usuario, confianza). El documento también ofrece mejores prácticas y lecciones aprendidas para el desarrollo de aplicaciones de LLM en el dominio aeroespacial.

Resultados
El ensayo con usuarios arrojó los siguientes hallazgos:

• Correlación de Dificultad de la Tarea: El copiloto fue más beneficioso para las tareas de dificultad "difícil" (aprox. 8 minutos). En estos escenarios, los participantes que usaron el copilote fueron más rápidos (173s frente a 259s sin el copiloto) y tuvieron una mayor tasa de finalización (5/6 frente a 2/6).
• Rendimiento en Tareas Fáciles: Para las tareas "fáciles" (aprox. 2 minutos), el copiloto ralentizó significativamente a los participantes (78s frente a 34s) debido a la latencia de la inferencia del LLM.
• Latencia de Inferencia: El proceso ReAct del LLM promedió 113 segundos por solución, con un tiempo promedio de paso de 9 segundos y 12 pasos por solución. Esta latencia limita la utilidad de la herramienta para ediciones rápidas y simples.
• Feedback de los Usuarios: Los participantes consideraron que las sugerencias eran útiles, particularmente para superar los obstáculos iniciales en tareas complejas. Sin embargo, señalaron que los rastros de razonamiento de ReAct eran a veces confusos y que las sugerencias no siempre eran fáciles de entender. A pesar de estos problemas, los participantes expresaron su disposición a utilizar la herramienta en el futuro.

Significancia y Reivindicaciones
El documento afirma demostrar que los copilotos de programación visual basados en LLM pueden ser efectivos para tareas complejas de diseño geométrico aeroespacial, siempre que la latencia sea aceptable para la complejidad de la tarea. Destaca que:

• La Abstracción de Dominio es Crítica: El uso de componentes de alto nivel específicos del dominio (Wingbuilder) en lugar de primitivas geométricas de bajo nivel es esencial para permitir que los LLM razonen eficazmente sobre el diseño aeroespacial.
• ReAct sin Renderizado Visual: Una metodología ReAct que depende del conocimiento preentrenado del LLM sobre las disposiciones visuales, en lugar de generar y analizar renders 3D intermedios, es un enfoque viable y eficiente para el completado de código visual en CAD.
• Seguridad y Explicabilidad: Si bien la herramienta mostró potencial, los autores reconocen que el estado actual de los LLM de código abierto es insuficiente para este flujo de trabajo ReAct específico, lo que requiere el uso de modelos comerciales potentes (GPT 5.4) para lograr una precisión viable. Postulan que el trabajo futuro debería explorar conjuntos de modelos de código abierto ajustados (fine-tuned) para lograr un rendimiento similar.

Los autores concluyen que, si bien las velocidades de inferencia actuales limitan la herramienta a tareas complejas y laboriosas, el cambio de paradigma hacia los asistentes digitales de LLM en la industria aeroespacial es plausible, siempre que haya mejoras futuras en la eficiencia de los modelos y el hardware.