Resumo Técnico: MDGYM: Avaliação de Agentes de IA em Simulações Moleculares

Declaração do Problema

A visão da descoberta científica autônoma postula que agentes de IA podem formular hipóteses, projetar experimentos e executar fluxos de trabalho computacionais de forma independente. No entanto, os benchmarks atuais em engenharia de software (por exemplo, SWE-bench) testam principalmente a correção sintática e a verificação comportamental por meio de rastros de pilha ou suites de teste. Esses benchmarks falham em capturar os desafios únicos da computação científica, onde a "correção" não é definida por uma saída conhecida, mas pela validade física.

Na simulação de Dinâmica Molecular (DM), uma tarefa é considerada bem-sucedida apenas se a trajetória resultante representar um sistema fisicamente coerente. Diferentemente da engenharia de software, as simulações de DM frequentemente são executadas até o fim sem erros de tempo de execução, mesmo quando configuradas com campos de força, conjuntos ou passos de tempo incorretos. A saída resultante é numericamente gerada, mas fisicamente sem sentido. Esse modo de "falha silenciosa", combinado com a necessidade de raciocínio em múltiplos estágios (configuração, minimização, equilíbrio, produção, pós-processamento) e a ausência de feedback de verdade fundamental durante a execução, apresenta um ambiente de teste singularmente exigente para agentes de IA. A questão central abordada é se os agentes de IA atuais podem projetar e executar autonomamente esses fluxos de trabalho científicos fundamentados na física.

Metodologia

O Benchmark MDGYM

Os autores introduzem o MDGYM, um benchmark curado por especialistas compreendendo 169 tarefas independentes de simulação molecular abrangendo dois motores de DM amplamente utilizados: LAMMPS e GROMACS. O conjunto de dados é estruturado em três níveis de dificuldade crescente:

• Nível 1 (Fácil): Requer processamento mínimo de saídas nativas da simulação (por exemplo, temperatura, pressão, energia total).
• Nível 2 (Médio): Requer processamento substancial ou lógica intermediária dentro do motor (por exemplo, números de coordenação, raio de giração, rastreamento de ligações de hidrogênio).
• Nível 3 (Difícil): Envolve configurações complexas, fora do equilíbrio, execuções em múltiplos estágios ou processamento pós-especializado (por exemplo, ajuste de curvas para coeficientes de difusão, módulo de Young, viscosidade de cisalhamento).

As tarefas cobrem materiais diversos (biomoléculas, metais, polímeros, nanomateriais de carbono) e estados físicos. Todas as tarefas foram desenvolvidas e verificadas por especialistas da área, com valores de verdade fundamental obtidos por meio da execução de simulações de referência. Um processo rigoroso de controle de qualidade envolvendo LLMs para detecção de ambiguidade e inspeção visual humana de trajetórias (usando VMD/OVITO) garantiu o realismo físico.

Estrutura de Avaliação

O benchmark emprega uma arquitetura modular com três camadas extensíveis:

1. Camada de Agente: Interfaces com agentes de código acessíveis via CLI.
2. Camada de Orquestração: Gerencia prompts de tarefa e execução.
3. Camada de Validador: Compara as saídas do agente contra a verdade fundamental dentro de uma tolerância relativa de 5%.

Agentes Avaliados:

• Frameworks: OpenHands (código aberto), Codex e Claude Code.
• LLMs: Quatro modelos base foram testados, incluindo modelos proprietários (OpenAI Codex gpt-5.2-codex, Anthropic Claude Code claude-4.6-sonnet) e modelos de código aberto (Qwen3-Coder, GPT-OSS).

Métricas:

• Taxa de Sucesso Total: A porcentagem de tarefas onde todos os métricas necessárias caem dentro da tolerância de 5%.
• Pontuação de Crédito Parcial: A fração de métricas individuais calculadas corretamente.
• Análise de Falhas: Uma taxonomia de modos de falha derivada de registros de trajetória, incluindo erros de sintaxe, respostas fabricadas, terminação prematura e configurações fisicamente incoerentes.

Resultados Principais

Visão Geral de Desempenho

A avaliação revela uma lacuna significativa de desempenho em todos os agentes testados:

• Tarefas Fáceis: Mesmo os agentes mais fortes (Claude Code e Codex) alcançam uma taxa de sucesso total de apenas 21%. Modelos de código aberto via OpenHands performam significativamente pior (Qwen em 2%, GPT-OSS em 0%).
• Tarefas Médias/Difíceis: O desempenho degrada-se abruptamente. O Claude Code cai para 7% (Médio) e 4% (Difícil); o Codex cai para 4% em ambos. Modelos de código aberto convergem para taxas de sucesso próximas de zero.
• Crédito Parcial: Embora os agentes ocasionalmente calculem métricas individuais corretamente, as pontuações agregadas de crédito parcial permanecem baixas, indicando que, mesmo quando partes do fluxo de trabalho têm sucesso, o pipeline de ponta a ponta falha.

Análise de Modos de Falha

A análise de trajetória identifica padrões de falha distintos que diferem dos benchmarks gerais de engenharia de software:

1. Queda em Três Estágios: Os agentes frequentemente iniciam simulações (Simulação Executada), mas falham em produzir uma resposta válida (Resposta Produzida) ou uma correta (Resposta Correta). Por exemplo, em tarefas fáceis, enquanto 84-98% das trajetórias executaram simulações, apenas 33-37% produziram uma resposta, e apenas 21% estavam corretas.
2. Incoerência Física vs. Sintaxe:
   • Agentes Proprietários (Claude/Codex): As falhas são frequentemente devidas a configurações fisicamente incoerentes (por exemplo, campos de força errados, termostatos incompatíveis) em vez de erros de sintaxe simples. Eles invocam com sucesso a maquinaria de simulação, mas produzem trajetórias instáveis.
   • Agentes de Código Aberto: Apresentam taxas mais altas de Respostas Fabricadas (relatar valores sem executar simulações) e Terminação Prematura (abandonar tarefas ao encontrar erros).
3. Fragilidade do Pipeline: Os erros se acumulam através do pipeline de simulação. Os agentes frequentemente têm sucesso na inicialização, mas falham durante o equilíbrio ou produção quando escolhas de parâmetros físicos (por exemplo, passo de tempo, constantes de acoplamento) determinam a estabilidade. Um único erro físico invalida todo o resultado a jusante.
4. Erros de Pós-processamento: Mesmo quando as simulações são executadas com sucesso, os agentes frequentemente aplicam procedimentos de análise incorretos (por exemplo, janelas de tempo erradas para coeficientes de difusão), produzindo resultados numericamente plausíveis, mas fisicamente incorretos.

Significado e Alegações

O artigo afirma que o MDGYM serve como uma ferramenta de diagnóstico crítica, revelando um déficit fundamental nos agentes de IA atuais: a incapacidade de transferir a geração fluente de código para o raciocínio físico fundamentado.

• Desafios Específicos de Domínio: Os modos de falha observados no MDGYM são qualitativamente distintos daqueles na engenharia de software. A falta de sinais de erro imediatos e interpretáveis (como rastros de pilha) para invalidade física significa que os agentes não podem confiar em heurísticas de depuração padrão.
• Limitações dos Benchmarks Atuais: Os resultados sugerem que o progresso em benchmarks gerais de codificação (SWE-bench, HumanEval) não se traduz em capacidades de computação científica. A natureza de "falha silenciosa" das simulações científicas exige que os agentes possuam conhecimento de domínio para reconhecer e recuperar-se de erros sem feedback de verdade fundamental.
• Roteiro para Agentes Futuros: Os autores identificam três lacunas de capacidade que devem ser abordadas para que os agentes se tornem parceiros científicos confiáveis:
  1. Fundamentação Física: Raciocinar sobre a coerência física de uma configuração antes da execução.
  2. Recuperação de Erros Consciente do Domínio: Interpretar mensagens de erro específicas de simulação para formular correções fisicamente significativas.
  3. Precisão Metodológica: Compreender os procedimentos de análise corretos para quantidades físicas específicas.

O artigo conclui que, embora os agentes atuais mostrem promessa na geração de sintaxe, eles ainda não são capazes de executar autonomamente fluxos de trabalho científicos de ponta a ponta em dinâmica molecular. O MDGYM é lançado para acompanhar o progresso em direção a esse objetivo e destacar as capacidades específicas necessárias para a descoberta científica impulsionada por IA confiável.