MOOSEnger -- a Domain-Specific AI Agent for the MOOSE Ecosystem

O MOOSEnger é um agente de IA especializado no ecossistema MOOSE que combina geração aumentada por recuperação com ferramentas de validação e execução determinísticas para converter intenções em linguagem natural em arquivos de entrada executáveis, alcançando uma taxa de sucesso de 93% em comparação com 8% em abordagens baseadas apenas em LLM.

O essencial

Imagine que você precisa construir uma casa muito complexa, com encanamento, eletricidade e estrutura de aço, mas a única maneira de dar as instruções ao construtor é escrevendo um livro de regras em uma linguagem secreta e extremamente rigorosa. Se você errar uma vírgula, usar o nome errado de uma peça ou esquecer um detalhe, o construtor (o software) simplesmente para de trabalhar e grita: "Erro! Não entendi nada!".

Esse é o mundo do MOOSE, um software poderoso usado por cientistas para simular coisas como reatores nucleares, fluxo de fluidos e mecânica de sólidos. O problema é que escrever os arquivos de configuração para o MOOSE é como tentar escrever esse livro de regras à mão: é difícil, chato e propenso a erros.

Aqui entra o MOOSEnger.

O que é o MOOSEnger?

Pense no MOOSEnger como um arquiteto assistente superinteligente que fala a sua língua.

1. Você fala, ele entende: Em vez de você ter que decorar a linguagem secreta do MOOSE, você apenas diz ao MOOSEnger o que quer fazer em português (ou inglês). Por exemplo: "Quero simular como o calor se espalha em uma barra de aço de 1 metro quando aqueço uma ponta."
2. Ele traduz e verifica: O MOOSEnger pega essa ideia simples e a transforma no código complexo que o MOOSE precisa. Mas ele não faz isso de qualquer jeito. Ele age como um revisor rigoroso.
   • Se você digitar "aço" e o software só aceita "AçoCarbono", o MOOSEnger corrige isso automaticamente.
   • Se você esqueceu um parêntese ou usou uma aspa errada (coisas que o computador odeia), o MOOSEnger conserta antes mesmo de enviar para o construtor.
3. O "Teste de Fogo": A parte mais genial é que o MOOSEnger não apenas escreve o código; ele executa um teste rápido para ver se funciona.
   • Imagine que você pediu um bolo. O MOOSEnger não apenas escreve a receita; ele mistura os ingredientes, coloca no forno e verifica se o bolo cresceu. Se o bolo queimar (o erro aparecer), ele olha o que deu errado, ajusta a receita (corrige o código) e tenta de novo, sozinho, até o bolo ficar perfeito.

Como ele funciona na prática?

O artigo descreve o MOOSEnger como um "agente de IA" que usa três truques principais:

• A Biblioteca Infinita (RAG): O MOOSEnger tem lido todos os manuais, exemplos e discussões sobre MOOSE. Quando você pede algo, ele consulta essa "biblioteca" interna para garantir que está usando as peças corretas, como um carpinteiro que sabe exatamente qual prego usar para qual madeira.
• O Cirurgião de Código: Se o código gerado pela IA tiver pequenos erros de formatação (como espaços invisíveis ou nomes de peças errados), o MOOSEnger usa ferramentas automáticas para "limpar" e "consertar" o texto, garantindo que ele obedeça às regras estritas do software.
• O Loop de Aprendizado: Se o teste falhar, o MOOSEnger lê a mensagem de erro, entende o problema e tenta corrigir. Ele faz isso em um ciclo rápido, como um programador que fica apertando "F5" até o site carregar, mas muito mais inteligente.

O Resultado?

Os autores testaram o MOOSEnger com 125 pedidos diferentes, desde simulações de calor até fluxo de água em rochas.

• Sem o assistente (apenas IA comum): O software falhava em 92% dos casos. Era como tentar construir a casa com instruções confusas; a maioria das tentativas resultava em paredes tortas ou telhados caindo.
• Com o MOOSEnger: O sucesso saltou para 93%. O assistente conseguiu transformar a maioria dos pedidos em simulações que funcionavam perfeitamente.

Por que isso é importante?

Antes, apenas especialistas que passavam anos estudando o MOOSE conseguiam usá-lo bem. Com o MOOSEnger, um engenheiro ou cientista pode focar no problema real (como "como esse reator reage a um terremoto?") em vez de perder dias lutando com a linguagem do software (como "onde coloco esse parâmetro de viscosidade?").

Em resumo, o MOOSEnger é como ter um tradutor e mecânico de carros ao mesmo tempo: você diz "quero ir rápido", e ele não apenas traduz isso para o motor, mas também ajusta a injeção, troca o óleo e garante que o carro não vai quebrar na primeira curva. Ele torna a ciência complexa acessível para quem tem uma ideia brilhante, mas não quer virar um especialista em código.

Resumo técnico

Título: MOOSEnger — Um Agente de IA Específico de Domínio para o Ecossistema MOOSE

1. O Problema

O MOOSE (Multiphysics Object-Oriented Simulation Environment) é um framework de computação de alto desempenho desenvolvido no Laboratório Nacional de Idaho para simulações multiphísicas. Embora poderoso, o MOOSE apresenta desafios significativos para os usuários:

• Complexidade da Sintaxe: As simulações são configuradas através de arquivos de entrada .i escritos em uma linguagem específica de domínio (DSL) chamada HIT (Hierarchical Input Text). Esta sintaxe é estritamente estruturada e hierárquica.
• Curva de Aprendizado: A vasta gama de objetos físicos disponíveis e as regras de formatação rigorosas tornam a configuração inicial e a depuração (debugging) demoradas e propensas a erros, especialmente para novos usuários.
• Falhas em Geração Automática: Modelos de Linguagem de Grande Escala (LLMs) genéricos tendem a falhar ao tentar gerar arquivos .i válidos devido a erros de formatação invisíveis, nomes de objetos inexistentes (alucinações) e violações da estrutura gramatical do HIT, resultando em uma taxa de execução muito baixa.

2. Metodologia

O MOOSEnger é um agente de IA baseado em ferramentas (tool-enabled) projetado para superar as limitações dos LLMs puros através de uma arquitetura núcleo + domínio e um fluxo de trabalho iterativo "verificar e corrigir".

Arquitetura do Sistema:

• Arquitetura Híbrida: Separa a infraestrutura do agente (gerenciamento de ferramentas, persistência, RAG) de plugins específicos de domínio (MOOSE). Isso permite que o sistema seja adaptado a diferentes aplicações MOOSE sem reescrever o núcleo.
• Ingestão de Dados Consciente de Sintaxe:
  • Utiliza o analisador pyhit para processar arquivos .i.
  • Em vez de dividir o texto aleatoriamente, o sistema cria "chunks" (fatias de dados) que respeitam os limites dos blocos de sintaxe do MOOSE (ex: [Mesh], [Kernels], [BCs]).
  • Gera metadados estruturados e resumos automáticos baseados na árvore de sintaxe para melhorar a recuperação de contexto.
• Pipeline de Pré-verificação Determinístico (Input-Precheck):
  • Sanitização: Remove artefatos de formatação ocultos (ex: caracteres de espaço não quebráveis, aspas inteligentes) que quebram o analisador.
  • Reparo Gramatical: Utiliza um loop de reparo restrito por gramática para corrigir a estrutura do HIT (ex: balancear colchetes, corrigir atribuições) sem alterar a semântica do bloco.
  • Correção de Tipos: Realiza uma busca de similaridade sintática e semântica contra um registro de objetos válidos do MOOSE para corrigir nomes de classes ou tipos incorretos gerados pelo LLM.
• Execução em Loop (In-the-Loop):
  • O agente não apenas gera o código; ele executa o MOOSE (localmente ou via protocolo MCP - Model Context Protocol) para realizar testes de fumaça (smoke tests).
  • Os diagnósticos do solver (erros de convergência, falhas de inicialização) são alimentados de volta ao agente para guiar correções iterativas até que o arquivo seja executável.

3. Principais Contribuições

1. Agente Consciente do MOOSE: Um assistente que traduz intenções em linguagem natural para arquivos de entrada MOOSE válidos, combinando RAG (Geração Aumentada por Recuperação) com ferramentas determinísticas.
2. Pipeline de Validação e Reparo: Um fluxo de trabalho automatizado que inclui sanitização, reparo de sintaxe HIT restrito por gramática e correção de nomes de objetos baseada em similaridade contextual.
3. Validação por Execução Real: A integração do runtime do MOOSE no ciclo de feedback do agente, transformando a validação de um processo estático para um processo dinâmico baseado em resultados reais de execução.
4. Avaliação Integrada: Um módulo de avaliação embutido que mede a qualidade do RAG (fidelidade, relevância) e o sucesso end-to-end da tarefa (execução bem-sucedida do simulador).
5. Arquitetura Extensível: Um design de plugin que facilita a criação de agentes para outras aplicações baseadas em MOOSE ou para fluxos de trabalho multi-agente complexos.

4. Resultados

O sistema foi avaliado em um conjunto de benchmark com 125 prompts cobrindo cinco famílias de física: Difusão, Condução de Calor Transiente, Mecânica dos Sólidos, Fluxo Poroso e Navier-Stokes.

• Taxa de Sucesso de Execução:
  • MOOSEnger: Alcançou uma taxa de passagem de 0,93 (93%), significando que 116 dos 125 prompts resultaram em arquivos de entrada que foram executados com sucesso pelo solver MOOSE.
  • Baseline (LLM Apenas): Um modelo de linguagem puro (ChatGPT 5.2 API), sem ferramentas de validação ou correção, alcançou apenas 0,08 (8%) de taxa de sucesso.
• Comparativo por Domínio:
  • O LLM puro falhou completamente (0%) em problemas complexos como Condução de Calor Transiente, Mecânica dos Sólidos e Navier-Stokes.
  • O MOOSEnger manteve taxas de sucesso entre 84% e 96% nestes domínios complexos, demonstrando que a correção iterativa e a validação são essenciais para problemas multiphísicos estruturados.
• Melhoria Relativa: Houve uma melhoria de 9,5 vezes na executabilidade em comparação com a abordagem de geração única baseada apenas em LLM.

5. Significado e Impacto

O MOOSEnger representa um avanço significativo na aplicação de IA para computação científica de alto desempenho:

• Redução da Barreira de Entrada: Permite que novos usuários descrevam seus objetivos físicos em linguagem natural, enquanto o agente lida com a complexidade da configuração técnica, acelerando o tempo para a primeira simulação válida.
• Confiabilidade em Ambientes Críticos: Ao integrar validação determinística e execução real no ciclo de IA, o sistema mitiga o risco de "alucinações" que poderiam levar a resultados científicos incorretos ou falhas de simulação.
• Paradigma de "Vibe-Authoring": O trabalho promove uma mudança de paradigma onde o engenheiro foca na intenção física e na análise, enquanto o agente gerencia a sintaxe, a depuração e a iteração.
• Escalabilidade: A arquitetura baseada em plugins e o uso de protocolos como MCP permitem que o sistema seja escalado para ambientes de HPC (High Performance Computing) e integrado a IDEs e interfaces gráficas, facilitando a disseminação de conhecimento e a padronização de fluxos de trabalho em equipes de engenharia.

Em resumo, o MOOSEnger demonstra que a combinação de raciocínio de LLMs com ferramentas de domínio específicas e validação executável é a chave para criar assistentes de IA robustos e confiáveis para a engenharia científica complexa.