LLM-based Visual Code Completion for Aerospace Geometric Design

Resumo Técnico: Conclusão de Código Visual Baseada em LLM para Design Geométrico Aeroespacial

Definição do Problema
A indústria aeroespacial prioriza a segurança e a explicabilidade, o que leva a um atraso na adoção comercial de Modelos de Linguagem de Grande Escala (LLMs) para o design geométrico, apesar dos recentes avanços em Modelos de Linguagem Visuais (VLMs) e conclusão de código visual. Atualmente, não há sistemas de copiloto de design geométrico baseados em LLM anunciados publicamente em uso comercial por Fabricantes de Equipamentos Originais (OEMs) do setor aeroespacial. Há uma falta de evidências científicas sobre a eficácia e a segurança dos LLMs neste domínio de alto risco. Além disso, os ambientes de programação visual existentes (por exemplo, Grasshopper para Rhinoceros 3D) exigem que os engenheiros construam grafos de nós complexos usando primitivas geométricas de baixo nível, o que é demorado e propenso a erros ao projetar estruturas aeroespaciais complexas, como asas.

Metodologia
Os autores propõem uma aplicação de copiloto de programação visual baseada em LLM projetada para auxiliar engenheiros aeroespaciais na criação de designs de geometria de asa dentro do ambiente Grasshopper. O sistema integra três componentes principais:

1. Biblioteca Wingbuilder: Uma nova biblioteca de plugins para Grasshopper contendo 54 componentes customizados agrupados em sete categorias específicas do domínio (ex: construção de aerofólio, montagem de asa, fábricas de peças). Diferente das primitivas padrão do Grasshopper, a Wingbuilder expõe objetos de domínio de alto nível (ex: "spar", "rib", "dihedral"), permitindo que os engenheiros trabalhem em seu vocabulário nativo.
2. Aerospace Visual Programming Dataset (AVPD): Um conjunto de dados compreendendo 18 tarefas projetadas por especialistas com diferentes níveis de dificuldade (fácil, médio, difícil) utilizando os componentes da Wingbuilder. Cada tarefa inclui uma tela inicial com componentes ocultos, uma descrição de tarefa em texto livre e uma tela de "resposta de ouro" (ground-truth).
3. Arquitetura de Copiloto baseada em ReAct: O sistema utiliza o GPT 5.4 (um LLM comercial) empregando uma metodologia ReAct (Reasoning and Acting - Raciocínio e Ação) modificada.
   • Entrada: O LLM recebe uma captura de tela da tela atual do Grasshopper, um prompt de sistema descrevendo os componentes disponíveis da Wingbuilder e uma descrição em linguagem natural da tarefa de engenharia.
   • Processo: Ao contrário de outras abordagens agentes que renderizam modelos 3D intermediários para análise visual, este método pula a etapa de análise visual. Em vez disso, baseia-se no conhecimento pré-treinado do LLM sobre layouts de componentes visuais do Grasshopper. O LLM gera iterativamente "pensamentos" sobre as ações necessárias e seleciona ações específicas (ex: adicionar um componente, conectar fios) via uma API.
   • Saída: O sistema executa scripts do Grasshopper para modificar a tela, fornecendo observações de volta ao LLM até que a tarefa seja considerada concluída. O usuário pode visualizar, aceitar ou rejeitar sugestões a qualquer momento.

Principais Contribuições

• Biblioteca Wingbuilder: O lançamento de uma biblioteca de abstração de geometria de código aberto especificamente projetada para suportar a programação visual para o design de asas aeroespaciais e automação por LLM.
• Aerospace Visual Programming Dataset (AVPD): A criação de um conjunto de dados de referência com 18 tarefas e soluções de verdade fundamental (ground truth) adaptadas para avaliar a conclusão de código visual de programação por LLM em um domínio especializado.
• Estrutura de Avaliação e Insights: Um teste com usuários envolvendo dois engenheiros aeroespaciais experientes de um grande fabricante de aeronaves, fornecendo métricas tanto quantitativas (tempo de conclusão da tarefa, taxa de sucesso) quanto qualitativas (satisfação do usuário, confiança). O artigo também oferece boas práticas e lições aprendidas para o desenvolvimento de aplicações de LLM no domínio aeroespacial.

Resultados
O teste com usuários rendeu as seguintes descobertas:

• Correlação de Dificuldade de Tarefa: O copiloto foi mais benéfico para tarefas de dificuldade "difícil" (aprox. 8 minutos). Nestes cenários, os participantes usando o copiloto foram mais rápidos (173s vs. 259s sem o copiloto) e tiveram uma taxa de conclusão maior (5/6 vs. 2/6).
• Desempenho em Tarefas Fáceis: Para tarefas "fáceis" (aprox. 2 minutos), o copiloto retardou significativamente os participantes (78s vs. 34s) devido à latência da inferência do LLM.
• Latência de Inferência: O processo ReAct do LLM teve uma média de 113 segundos por solução, com um tempo médio de passo de 9 segundos e 12 passos por solução. Esta latência limita a utilidade da ferramenta para edições rápidas e simples.
• Feedback do Usuário: Os participantes consideraram as sugestões úteis, particularmente para superar obstáculos iniciais em tarefas complexas. No entanto, notaram que os rastros de raciocínio ReAct eram às vezes confusos e as sugestões nem sempre eram fáceis de entender. Apesar desses problemas, os participantes expressaram disposição para usar a ferramenta no futuro.

Significância e Alegações
O artigo afirma demonstrar que copilotos de programação visual baseados em LLM podem ser eficazes para tarefas complexas de design geométrico aeroespacial, desde que a latência seja aceitável para a complexidade da tarefa. Destaca que:

• A Abstração de Domínio é Crítica: O uso de componentes de alto nível específicos do domínio (Wingbuilder), em vez de primitivas geométricas de baixo nível, é essencial para permitir que os LLMs raciocinem efetivamente sobre o design aeroespacial.
• ReAct sem Renderização Visual: Uma metodologia ReAct que depende do conhecimento pré-treinado do LLM sobre layouts visuais, em vez de gerar e analisar renders 3D intermediários, é uma abordagem viável e eficiente para a conclusão de código visual em CAD.
• Segurança e Explicabilidade: Embora a ferramenta tenha se mostrado promissora, os autores reconhecem que o estado atual dos LLMs de código aberto é insuficiente para este fluxo de trabalho ReAct específico, necessitando do uso de modelos comerciais poderosos (GPT 5.4) para uma precisão viável. Eles postulam que trabalhos futuros devem explorar conjuntos de LLMs de código aberto ajustados (fine-tuned) para alcançar desempenho semelhante.

Os autores concluem que, embora as velocidades atuais de inferência limitem a ferramenta a tarefas complexas e demoradas, a mudança de paradigma em direção a assistentes digitais de LLM na indústria aeroespacial é plausível, desde que haja melhorias futuras em eficiência de modelo e hardware.