Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

No mundo da engenharia, construir uma ponte, uma rede elétrica ou um sistema de aquecimento exige mais do que apenas escrever um código que o computador possa ler. Exige que o modelo digital se comporte exatamente como a coisa física real que ele representa. Durante décadas, engenheiros têm usado uma linguagem especializada chamada Modelica para descrever esses sistemas complexos. Diferente da programação padrão, onde um computador segue uma lista estrita de instruções de cima para baixo, o Modelica trabalha declarando relações entre quantidades, como a forma como a pressão se relaciona com o fluxo ou como a voltagem se relaciona com a corrente. O computador então descobre a ordem das operações para resolver essas relações. Essa flexibilidade é poderosa, mas cria um problema único para a inteligência artificial. Uma IA pode facilmente escrever um código Modelica que pareça correto e até mesmo execute sem travar, mas que ainda descreva um sistema físico que viola as leis da física ou falha em atender às necessidades específicas do projeto. A máquina seguiu as regras de sintaxe, mas perdeu o ponto central da engenharia.

Essa lacuna entre um modelo que simplesmente funciona e um modelo que é verdadeiramente correto é o desafio central abordado por um novo estudo de pesquisadores da TU Dresden. A equipe, liderada por Wang Zhe, buscou verificar se agentes de IA — programas que podem pensar, agir e usar ferramentas — poderiam ser confiados para consertar, construir e ajustar esses modelos de sistemas físicos por conta própria. Eles descobriram que, embora as ferramentas de IA atuais sejam capazes de gerar código, elas frequentemente perdem o rastro dos objetivos de engenharia originais à medida que fazem alterações, ou dependem de resultados de testes de versões antigas do modelo que não se aplicam mais. Para resolver isso, os pesquisadores construíram um novo sistema chamado Pufibara. Este sistema atua como um supervisor rigoroso que mantém um registro permanente do que o projeto exige, garantindo que, toda vez que a IA altere o modelo, ela verifique novamente a nova versão em relação aos objetivos originais. Eles testaram este sistema contra uma ferramenta de codificação de IA comercial líder usando uma vasta coleção de 232 tarefas de engenharia diferentes. Os resultados mostraram que o novo sistema não apenas resolveu mais problemas, mas o fez utilizando significativamente menos recursos computacionais, provando que como uma IA é guiada é tão importante quanto a inteligência que ela utiliza.

Os pesquisadores abordaram este problema reconhecendo que a engenharia física é diferente de escrever um programa de computador padrão. Em um projeto de software típico, se um programa executa sem erros, ele é frequentemente considerado um sucesso. Na modelagem física, um modelo pode rodar perfeitamente e ainda assim estar errado. Por exemplo, uma IA pode gerar um modelo de uma bomba d'água que compila e simula suavemente, mas se o modelo prevê que a água flui para cima sem uma bomba, ele falhou no teste de engenharia. A dificuldade central reside na natureza iterativa do trabalho. À medida que um agente de IA tenta consertar um modelo, ele pode alterar um parâmetro, executar uma simulação, ver um resultado e, então, alterar outro parâmetro. Sem um sistema de memória cuidadoso, o agente pode esquecer que a primeira alteração era necessária, ou pode acreditar erroneamente que um resultado de simulação da versão antiga do modelo ainda se aplica ao novo. Essa confusão pode levar o agente a submeter um modelo final que parece bom na superfície, mas falha em atender aos requisitos físicos específicos da tarefa.

Para evitar isso, a equipe projetou o Pufibara com uma arquitetura específica que trata os requisitos de engenharia como obrigações persistentes. Imagine um gerente de projeto que mantém uma lista de verificação de todas as regras que o edifício deve seguir, desde a resistência do aço até o fluxo do ar. Cada vez que o arquiteto faz uma mudança, o gerente verifica o novo design contra essa mesma lista, ignorando quaisquer resultados de testes antigos que não correspondam mais ao design atual. O Pufibara faz exatamente isso para agentes de IA. Ele mantém um "livro-razão" de requisitos de engenharia que permanece ativo durante todo o processo. Ele vincula cada resultado de simulação diretamente à versão específica do modelo que o produziu. Se o modelo muda, o sistema sabe que os resultados antigos não são mais válidos e força o agente a reavaliar a nova versão. Crucialmente, o sistema exige que o agente tome uma decisão explícita para submeter uma resposta final. A IA não pode simplesmente parar porque o tempo acabou ou porque o código compilou; ela deve declarar ativamente que reuniu evidências suficientes para provar que o modelo atende a todas as regras de engenharia.

Para testar se essa abordagem realmente funciona, os pesquisadores precisavam de uma maneira justa e realista de medir o desempenho. Eles não podiam simplesmente usar modelos públicos existentes, pois uma IA poderia já tê-los visto durante seu treinamento e simplesmente memorizado as respostas. Em vez disso, criaram um novo benchmark chamado Modelica Agent Workflow Benchmark. Eles começaram com modelos de engenharia reais e funcionais e então introduziram falhas específicas, novos requisitos de design ou alvos de ajuste para criar 232 desafios únicos. Essas tarefas variavam desde consertar modelos quebrados até construir novos do zero e ajustar parâmetros para atingir metas de desempenho específicas. O benchmark incluiu um "avaliador" oculto que atuava como um juiz independente. Este juiz não via o processo de pensamento interno da IA ou seus passos intermediários; ele apenas olhava para o modelo final submetido pelo agente e verificava se ele passava em um conjunto rigoroso de testes físicos e comportamentais. Isso garantiu que a IA fosse testada em sua capacidade de resolver o problema, e não em sua capacidade de adivinhar como o teste se parecia.

O estudo comparou o novo sistema Pufibara contra o Claude Code, um assistente de codificação de IA comercial bem conhecido, usando dois modelos de linguagem de grande escala diferentes como o "cérebro" por trás do agente. Os resultados foram claros e consistentes. Em todos os 232 tópicos, o Pufibara concluiu com sucesso mais problemas do que a ferramenta comercial. Ao usar um cérebro de IA específico, o Pufibara resolveu 202 tarefas, enquanto a outra ferramenta resolveu 185. Com um cérebro de IA diferente, o Pufibara novamente resolveu 202 tarefas contra 187 da concorrente. A diferença foi mais pronunciada em tarefas que exigiam a construção de um modelo do zero, onde o Pufibara resolveu significativamente mais problemas do que o outro sistema. Além de resolver mais problemas, o Pufibara também foi muito mais eficiente. Ele utilizou cerca de 76% a 82% menos tokens computacionais — as unidades básicas de informação que a IA processa — e concluiu as tarefas em significativamente menos tempo, com algumas execuções levando até 58% menos tempo que o concorrente.

Talvez o achado mais importante não tenha sido apenas que o Pufibara resolveu mais problemas, mas que ele resolveu os problemas corretos. Os pesquisadores descobriram que a ferramenta concorrente frequentemente produzia modelos que eram executáveis e passavam em verificações básicas, mas falhavam nos requisitos físicos mais profundos. Em um conjunto de tarefas difíceis, a ferramenta comercial submeteu modelos que rodavam sem erros, mas não se comportavam corretamente de acordo com as regras de engenharia em 21 de 38 casos. O Pufibara cometeu esse erro apenas quatro vezes. Isso sugere que a ferramenta comercial estava frequentemente satisfeita com um modelo que simplesmente funcionava, enquanto a exigência estrita do Pufibara de vincular a evidência à versão atual do modelo e de verificar explicitamente todas as obrigações de engenharia impediu a submissão de soluções falhas. O estudo mostra que a estrutura do fluxo de trabalho da IA — como ela lembra, verifica e decide — é tão crítica quanto a própria inteligência do modelo de linguagem.

As implicações deste trabalho estendem-se para além de apenas um tipo de linguagem de engenharia. A pesquisa demonstra que, para a IA ser verdadeiramente útil em campos complexos e do mundo real, como a física e a engenharia, ela não pode ser apenas um gerador de código. Ela deve ser um agente que entende a diferença entre um programa que executa e um sistema que é fisicamente correto. Ao manter um registro persistente de requisitos e forçar a IA a reverificar seu trabalho em relação a esses requisitos toda vez que faz uma mudança, o sistema garante que o resultado final seja confiável. Os pesquisadores observam que, embora seus resultados sejam fortes, eles são específicos para as tarefas e condições testadas. Eles não afirmam ter resolvido o problema da IA na engenharia para sempre, mas forneceram um roteiro claro de como construir sistemas de IA que sejam menos propensos a cometer erros perigosos. À medida que o campo avança, o foco provavelmente mudará para testar esses métodos em problemas industriais ainda mais complexos e explorar como eles funcionam com diferentes tipos de modelos de IA, garantindo que as ferramentas do futuro sejam tão confiáveis quanto os sistemas que elas foram projetadas para construir.