Resumo Técnico: CAX-Agent para Automação Confiável de APDL

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) implantados para Análise e Projeto Mecânico (MAPDL) em simulações de elementos finitos enfrentam desafios significativos de confiabilidade. Embora os LLMs possam gerar código, frequentemente carecem do controle de execução estruturado, encapsulamento de ferramentas e mecanismos de recuperação de falhas necessários para fluxos de trabalho de engenharia. Em pipelines de simulação, erros de tempo de execução — como falhas de malha, problemas de convergência ou resultados ausentes — são comuns, mesmo para tarefas estruturalmente simples. Sem mecanismos de recuperação explícitos, uma única falha encerra todo o pipeline. Frameworks de agentes existentes frequentemente esperam que o LLM gerencie sua própria execução, o que falha em fornecer a estrutura de engenharia necessária para automação robusta e repetível. Há uma falta de evidências empíricas controladas comparando diferentes políticas de recuperação (por exemplo, baseadas em regras versus orientadas por modelo) sob condições repetidas com resultados validados por humanos.

Metodologia

Arquitetura do Sistema: CAX-Agent

O artigo introduz o CAX-Agent, um harness de agente nativo de domínio e leve, projetado especificamente para automação de APDL, em vez de adaptar um framework genérico. A arquitetura é organizada em três camadas:

1. Camada de Serviço LLM: Inclui um modelo leve local (Qwen-27B) para geração rápida na primeira tentativa e uma API externa de alta capacidade (Claude Sonnet 4.6) para raciocínio complexo e reparo.
2. Harness de Agente (Orquestrador): Este middleware gerencia o ciclo de vida das ferramentas, o estado do fluxo de trabalho e o diagnóstico de falhas. Crucialmente, o orquestrador — e não o LLM — possui orçamentos de nova tentativa, despacho de ferramentas e condições de parada. Ele implementa uma Escada de Recuperação que escala desde correção determinística baseada em regras até regeneração orientada por modelo, enriquecimento de contexto e, finalmente, intervenção humana.
3. Backend do Solver: Uma interface unificada conectando-se a motores MAPDL (PyMAPDL, CLI ou modos de fallback).

Design Experimental

O estudo avalia três estratégias de recuperação distintas em uma base de referência de 50 tarefas estruturais padrão (vigas, placas, cilindros sob carregamento estático, modal e térmico). As tarefas são deliberadamente simples para isolar o efeito da política de recuperação em vez da dificuldade da tarefa.

• Sem Recuperação: Execução única sem tentativas de reparo.
• Apenas Regras: Correção determinística de log para patch usando quatro regras de transformação de string (por exemplo, dobrar o tamanho do elemento para falhas de malha, inserir passo de tempo para problemas de convergência) sem raciocínio adicional do modelo.
• Apenas Modelo: Regeneração do modelo condicionada ao log de erro com novas tentativas limitadas (até 3 rodadas forçadas de nova tentativa), onde o LLM lê o log de erro, diagnostica a falha e regenera o script.

Métricas de Avaliação

Cada um dos 450 casos totais de execução (50 tarefas × 3 estratégias × 3 repetições) foi avaliado usando:

• Pontuação da Tarefa ($t_i$): Uma pontuação avaliada por humanos (0–4) para correção e completude da imagem de saída.
• Pontuação de Autonomia ($a_i$): Uma pontuação derivada do sistema (0–3) baseada se intervenção manual foi necessária.
• Pontuação de Eficiência de Recuperação ($e_i$): Baseada em contagens de novas tentativas e resultados do solver.
• Pontuação Total ($q_i$): A soma das anteriores ($t_i + a_i + e_i$), variando de 0 a 10.
• Taxa de Conclusão: Métrica binária indicando se pelo menos uma imagem de pós-processamento foi produzida.
• Análise Estatística: Comparações pareadas usando $\delta$ de Cliff (tamanho do efeito) e testes U de Mann–Whitney, com concordância entre avaliadores medida por $\kappa$ ponderado quadrático de Cohen (0,84).

Contribuições Principais

1. Arquitetura CAX-Agent: Um harness de agente nativo de MAPDL de três camadas, apresentando uma escada de recuperação e um modelo de controle centrado no orquestrador que separa o reparo semântico (LLM) do controle de execução (Harness).
2. Avaliação Empírica Controlada: Uma comparação rigorosa, com execuções repetidas, de três estratégias de recuperação em 50 tarefas APDL padronizadas, utilizando pontuação cega por humanos e validação entre avaliadores.
3. Evidência Empírica: Demonstração de que a recuperação orientada por modelo supera substancialmente tanto o reparo baseado em regras quanto as linhas de base sem recuperação em taxas de conclusão, qualidade de saída e autonomia.

Resultados

A estratégia Apenas Modelo alcançou desempenho superior em todas as métricas em comparação com Apenas Regras e Sem Recuperação:

• Taxa de Conclusão: Apenas Modelo (0,9267) superou significativamente Apenas Regras (0,7733) e Sem Recuperação (0,6933). Os intervalos de confiança de 95% para Apenas Modelo não se sobrepuseram às linhas de base.
• Qualidade da Tarefa: Apenas Modelo alcançou uma pontuação média de tarefa de 3,59/4, comparado a 3,17/4 para Apenas Regras e 2,74/4 para Sem Recuperação.
• Pontuação Total: Apenas Modelo pontuou 9,16/10, significativamente mais alto que Apenas Regras (7,03/10) e Sem Recuperação (5,60/10).
• Taxa de Zero Intervenção: Apenas Modelo alcançou 0,84, enquanto Apenas Regras alcançou 0,00. O artigo observa que a pontuação zero de Apenas Regras reflete sua propriedade de design que exige uma etapa de confirmação humana antes da reexecução, impedindo a operação totalmente autônoma.
• Tamanhos de Efeito: Grandes tamanhos de efeito foram observados ($\delta$ de Cliff = 0,81–0,87) entre Apenas Modelo e as outras estratégias, indicando uma alta probabilidade de que uma execução de Apenas Modelo selecionada aleatoriamente supere uma execução de Apenas Regras.

Análise de Falhas: As falhas residuais estavam concentradas em configurações estruturais estáticas, particularmente aquelas envolvendo características geométricas de parede fina ou sensíveis à malha. Regras determinísticas foram encontradas insuficientes para falhas de solver e caminho de script de cauda longa, enquanto o reparo orientado por modelo adaptou-se a assinaturas de falha mais amplas.

Significado e Alegações

O artigo afirma que o CAX-Agent demonstra que um harness leve e nativo de domínio pode transformar a simulação MAPDL de chamadas de LLM dispersas e não confiáveis em um fluxo de trabalho de engenharia padronizado, rastreável e repetível.

As principais descobertas incluem:

• Necessidade de Recuperação: Mecanismos de recuperação explícitos são centrais para a confiabilidade do sistema; sem eles, falhas únicas encerram pipelines.
• Superioridade do Reparo Orientado por Modelo: Embora regras determinísticas ofereçam alguma melhoria sobre a ausência de recuperação, elas não aumentam confiavelmente a qualidade de saída nem alcançam autonomia total. A recuperação orientada por modelo é a estratégia padrão mais prática para a implantação atual de CAX.
• Controle Centrado no Orquestrador: Separar o raciocínio do LLM do controle de execução do harness (orçamentos de nova tentativa, condições de parada) fornece garantias comportamentais que o prompting sozinho não pode igualar.
• Contribuição Metodológica: O estudo fornece um template reproduzível para avaliação empírica de harness (ablação controlada, execuções repetidas, pontuação multieixo) que pode ser aplicado a outros componentes de harness e backends de simulação.

Os autores mantêm modéstia quanto ao escopo, observando que a base de referência utiliza geometrias simples e elasticidade linear. Eles afirmam que a validação em bases de referência maiores e mais diversas e em múltiplos backends de solver é necessária antes da implantação prática em configurações industriais complexas. No entanto, a descoberta central — de que a recuperação orientada por modelo supera abordagens baseadas em regras e sem recuperação sob condições controladas — é apresentada como robusta e estatisticamente significativa.