DUCTILE: Agentic LLM Orchestration of Engineering Analysis in Product Development Practice

O artigo apresenta o DUCTILE, uma abordagem de orquestração agencial baseada em LLM que automatiza tarefas de análise de engenharia adaptando-se a mudanças nos dados e processos enquanto mantém a supervisão humana, demonstrando sua eficácia e os desafios práticos de sua adoção em um cenário industrial aeroespacial.

O essencial

Imagine que você é um engenheiro responsável por projetar peças de um avião. O seu trabalho é crucial: se algo der errado, o avião pode não voar. Para fazer isso, você usa muitos softwares diferentes, planilhas complexas e documentos cheios de regras.

O problema é que a vida real é bagunçada. Às vezes, o cliente muda o formato do arquivo (de JSON para YAML), ou muda as unidades (de libras para Newtons), ou muda o nome de uma peça. Em um sistema de automação tradicional, isso seria como tentar encaixar uma chave quadrada em um buraco redondo: o sistema quebra. O engenheiro então tem que parar tudo, consertar o código manualmente e perder horas fazendo "limpeza de dados" em vez de projetar.

Este artigo apresenta uma solução chamada DUCTILE. Vamos usar uma analogia simples para entender como funciona:

A Analogia do "Chefe de Cozinha" vs. O "Cozinheiro Robô"

Imagine uma cozinha de restaurante de alta tecnologia:

1. O Cozinheiro Robô (As Ferramentas de Engenharia): Ele é incrivelmente preciso e rápido. Se você der a receita exata e os ingredientes na ordem certa, ele faz o prato perfeito. Mas ele é rígido. Se você entregar o sal em um pote diferente, ou pedir "um pouco de sal" em vez de "5 gramas", ele para e não sabe o que fazer. Ele não tem criatividade.
2. O Chefe de Cozinha (O Agente DUCTILE): Este é um novo funcionário, muito inteligente, que sabe ler qualquer receita, entender qualquer pedido e conversar com o cliente. Ele não cozinha o prato em si (isso é perigoso e precisa de precisão absoluta), mas ele organiza a cozinha.

Como o DUCTILE funciona na prática:

• O Problema: O fornecedor de ingredientes (o cliente da aeronáutica) enviou os dados em um formato estranho e com nomes diferentes. O "Cozinheiro Robô" (o software antigo) ia quebrar.
• A Solução DUCTILE: O "Chefe de Cozinha" (o Agente) olha para os dados bagunçados. Ele pensa: "Ok, eles enviaram em YAML, mas o robô só entende JSON. Vou converter. Eles usaram libras, mas o robô precisa de Newtons. Vou ajustar. O nome da peça mudou de 'Porta' para 'Esquerda'. Vou traduzir."
• A Ação: O Chefe escreve um pequeno roteiro (código) para o Robô seguir. O Robô executa a tarefa com precisão matemática.
• A Supervisão: O Engenheiro Humano (o dono do restaurante) não faz o trabalho braçal. Ele apenas olha o plano do Chefe, diz "Ok, pode fazer" e, no final, verifica se o prato ficou bom.

Por que isso é revolucionário?

O artigo diz que a automação antiga era como um trem em trilhos fixos. Se a pista mudasse um milímetro, o trem descarrilava. O DUCTILE é como um carro com direção autônoma. O carro (o Agente) vê a estrada, percebe que há um buraco ou uma curva diferente, e ajusta a direção sozinho, mas o motorista humano (o Engenheiro) continua segurando o volante e decidindo o destino final.

Os 4 Pontos Chave (em linguagem simples):

1. Separação de Tarefas: O Agente (IA) é o "cérebro" que adapta e organiza. As ferramentas de engenharia são os "músculos" que fazem o cálculo pesado e preciso. Isso garante que a matemática nunca erre, mesmo que a IA esteja adaptando o processo.
2. Resiliência (Ductilidade): O nome "DUCTILE" vem da propriedade dos metais de se dobrar sem quebrar. O sistema se adapta a mudanças de formato, unidades ou regras sem quebrar o processo.
3. O Humano no Comando: A IA não substitui o engenheiro. O engenheiro continua sendo o responsável final. Ele supervisiona, aprova o plano e verifica o resultado. A IA apenas tira o trabalho chato e repetitivo das mãos dele.
4. Teste Rigoroso: Os autores testaram isso em uma empresa de aviação real. Eles mudaram 4 coisas nos dados de entrada (que quebrariam qualquer sistema antigo) e o Agente conseguiu resolver tudo corretamente em 10 tentativas seguidas, com dois engenheiros diferentes supervisionando de formas diferentes.

O Lado "Sombrio" (Cuidados Necessários)

O artigo também avisa sobre um risco: se o Agente fizer tudo muito bem, o engenheiro pode começar a confiar demais e esquecer como as coisas funcionam (perder a "intuição"). Além disso, o papel do engenheiro pode mudar de "fazer o trabalho" para "vigiar o robô", o que pode ser cansativo se o robô estiver sempre pedindo ajuda para coisas bobas.

Resumo Final:
O DUCTILE é como ter um assistente pessoal superinteligente que lê as regras do jogo, adapta-se às mudanças de última hora e prepara tudo para o engenheiro apenas dar o "ok" final. Isso libera o engenheiro para focar no que realmente importa: criar produtos seguros e inovadores, em vez de gastar horas consertando planilhas quebradas.

Resumo técnico

Título: DUCTILE: Orquestração Agente de LLM para Análise de Engenharia na Prática de Desenvolvimento de Produtos

1. O Problema: A Fragilidade da Automação de Engenharia

O desenvolvimento de produtos, especialmente na indústria aeroespacial, depende de um ecossistema complexo de engenheiros, dados, métodos e ferramentas especializadas. A automação atual dessas interações baseia-se em pipelines determinísticos e rígidos (scripts, workflows de ferramentas específicas).

• A "Fragilidade" (Brittleness): Quando interfaces, formatos de dados, unidades, convenções de nomenclatura ou metodologias mudam (o que é comum à medida que o produto evolui), a automação quebra.
• Consequências: Os engenheiros gastam tempo excessivo em "manipulação de dados" (data wrangling) e orquestração de ferramentas em vez de focar em decisões de engenharia que afetam o desempenho do produto.
• Limitações das Abordagens Atuais:
  • Extensão de regras: Adicionar mais regras a sistemas determinísticos aumenta a complexidade e cria novos modos de falha.
  • Dependência de especialistas: Confiar em engenheiros experientes para adaptar processos caso a caso é lento e concentra conhecimento crítico em indivíduos, criando vulnerabilidades organizacionais.
  • KBE e PIDO: Sistemas baseados em conhecimento (KBE) e plataformas de integração de processos (PIDO) exigem definições prévias de ontologias e interfaces, falhando diante de variabilidade não prevista.

2. Metodologia: A Abordagem DUCTILE

O artigo propõe o DUCTILE (Delegated, User-supervised Coordination of Tool- and document-Integrated LLM-Enabled), uma abordagem de orquestração baseada em Agentes de Grandes Modelos de Linguagem (LLM).

Princípio Central: Separar a orquestração adaptativa (realizada pelo agente LLM) da execução determinística (realizada por ferramentas de engenharia verificadas).

Arquitetura e Funcionamento:

• O Agente (LLM): Atua como uma camada intermediária que interpreta práticas de design documentadas, inspeciona dados de entrada e adapta o caminho de processamento. Ele não executa cálculos de engenharia complexos, mas gera e executa código para chamar ferramentas externas.
• Ferramentas Verificadas: O LLM chama scripts, solvers (ex: ANSYS) e bibliotecas Python existentes e certificados. A execução desses cálculos permanece determinística e auditável.
• Mecanismos Chave do Agente:
  • Modo de Pensamento (Thinking Mode): Permite que o modelo critique seu próprio raciocínio e considere alternativas antes de agir, reduzindo alucinações.
  • Chamada de Ferramentas (Tool Calling): O agente lê documentação de APIs e invoca ferramentas externas com argumentos inferidos do contexto, sem precisar de fine-tuning (ajuste fino) do modelo.
• Supervisão Humana: O engenheiro mantém a responsabilidade final, revisando o plano, supervisionando a execução e validando os resultados, garantindo conformidade com normas de certificação (ex: FAA, EASA).

Requisitos do Sistema (R1-R12):
O sistema foi desenhado para atender requisitos rigorosos de engenharia, incluindo: inspecionabilidade (sem estados ocultos), reprodutibilidade (versionamento de prompts e modelos), rastreabilidade (logs de todas as chamadas), governança de dados e robustez a variações rotineiras.

3. Contribuições Principais

1. Proposta do DUCTILE: Um framework para desenvolver, executar e avaliar automação baseada em agentes LLM para tarefas de análise de engenharia, fundamentado na separação entre orquestração adaptativa e execução determinística.
2. Validação Industrial: Demonstração prática em uma tarefa de processamento de cargas estruturais em um fabricante aeroespacial (GKN Aerospace).
3. Resolução de Desvios: O agente lidou com quatro tipos de desvios de entrada que quebrariam pipelines tradicionais:
   • Mudança de formato de arquivo (YAML vs. JSON).
   • Mudança de sistema de unidades (Imperial vs. SI).
   • Mudança de convenção de nomenclatura de nós (esquerda/direita vs. bombordo/estibordo).
   • Correção metodológica (fator de 1.04 em forças Fx).
4. Métrica de Avaliação (Pass-k): Introdução de uma métrica baseada em repetições independentes (inspirada em qualificação de materiais aeroespaciais) para medir a confiabilidade probabilística do agente.

4. Resultados do Estudo de Caso

O estudo foi realizado com dois engenheiros (um experiente em delegação, outro com supervisão incremental) e 10 execuções independentes.

• Desempenho: O agente lidou com sucesso com todos os quatro desvios de entrada em 100% das 10 execuções independentes.
• Consistência: Ambos os engenheiros, apesar de estilos de supervisão diferentes (delegação total vs. descoberta passo a passo), obtiveram os mesmos resultados corretos e metodologicamente compliantes.
• Validação: Os resultados foram verificados por:
  • Um especialista em domínio (humano).
  • Um avaliador "LLM-as-a-judge" (Opus 4.6).
  • Verificações determinísticas contra valores de referência.
• Observabilidade: O sistema permitiu que os engenheiros inspecionassem cada passo, arquivos gerados e chamadas de ferramentas, mantendo a transparência necessária para auditoria.

5. Significado e Implicações

• Resiliência à Variabilidade: O DUCTILE demonstra que é possível criar sistemas de automação que absorvem a variabilidade natural dos processos de engenharia (mudanças de ferramentas, dados e requisitos) sem perder o rigor técnico.
• Mudança no Papel do Engenheiro: A abordagem transfere o esforço cognitivo do engenheiro da "manipulação de dados e adaptação de scripts" para a "supervisão de alto nível e julgamento de engenharia".
• Riscos e Desafios:
  • Ilusão de Competência: O agente pode parecer competente, mas é probabilístico. A supervisão humana e a verificação em múltiplas camadas são essenciais.
  • Perda de Habilidades: Há o risco de os engenheiros perderem habilidades tácitas se a supervisão for passiva. O papel de supervisor deve ser projetado para manter o julgamento crítico.
  • Dependência de Documentação: A abordagem exige que as práticas de engenharia estejam bem documentadas e acessíveis; conhecimento puramente tácito não pode ser orquestrado por agentes.
• Futuro: O artigo sugere a necessidade de conjuntos de dados abertos para avaliação de agentes em engenharia e estudos controlados para medir o impacto real na produtividade e satisfação dos engenheiros.

Conclusão: O DUCTILE oferece uma via promissora para superar a fragilidade da automação de engenharia tradicional, utilizando a flexibilidade dos LLMs para orquestrar processos, enquanto preserva a segurança e a rastreabilidade através de ferramentas de execução determinísticas e supervisão humana rigorosa.