💬 NLP

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

O artigo apresenta o NatureBench, um benchmark derivado de publicações da família Nature que revela que os atuais agentes de codificação de IA têm dificuldade em superar o estado da arte existente em tarefas reais de descoberta científica, sucedendo principalmente por meio de tradução metodológica em vez de invenção genuína e falhando devido à seleção incorreta de métodos e orçamentos de computação limitados.

Autores originais: Yuru Wang, Lejun Cheng, Yuxin Zuo, Sihang Zeng, Bingxiang He, Che Jiang, Junlin Yang, Yuchong Wang, Kaikai Zhao, Weifeng Huang, Kai Tian, Zhenzhao Yuan, Jincheng Zhong, Weizhi Wang, Ning Ding, Bowen Z

Publicado 2026-06-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuru Wang, Lejun Cheng, Yuxin Zuo, Sihang Zeng, Bingxiang He, Che Jiang, Junlin Yang, Yuchong Wang, Kaikai Zhao, Weifeng Huang, Kai Tian, Zhenzhao Yuan, Jincheng Zhong, Weizhi Wang, Ning Ding, Bowen Zhou, Kaiyan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma competição de culinária massiva e de alto nível. Os juízes (os pesquisadores) têm um livro de receitas repleto de 90 receitas incrivelmente complexas das revistas de culinária mais prestigiadas do mundo (a família de periódicos científicos Nature). Não são apenas "receitas para fazer torradas"; são pratos intrincados como "desconstruir uma estrutura de proteína" ou "prever como uma nova molécula de medicamento se comportará".

Os competidores nesta competição são Agentes de Codificação de IA — programas de computador inteligentes projetados para escrever código e resolver problemas.

Aqui está o diferencial: os competidores não têm permissão para ver as receitas originais. Eles recebem apenas os ingredientes brutos (os dados) e uma descrição de como o prato final deve ter o sabor (o objetivo). O trabalho deles é inventar seu próprio método para criar um prato que seja tão bom quanto, ou melhor que, a versão premiada original.

Esta é a história do NatureBench, um novo teste para ver se a IA pode passar de simplesmente copiar uma receita para realmente inventar uma nova.

O Problema: A Armadilha do "Copiar e Colar"

Antes deste teste, muitos benchmarks de IA eram como dar a um aluno um problema de matemática e a chave de respostas, e depois pedir que ele mostrasse o seu raciocínio. Se o aluno apenas copiasse a chave de respostas, ele passava. Mas a ciência real não é sobre copiar; é sobre descoberta.

Os criadores do NatureBench perceberam que os testes anteriores eram desorganizados. Às vezes, a "cozinha" (o ambiente de computação) estava quebrada, ou os ingredientes estavam faltando, tornando impossível dizer se a IA falhou porque era burra ou porque o teste foi manipulado.

Para corrigir isso, eles construíram o NatureGym. Pense no NatureGym como uma equipe de cozinha super organizada e automatizada.

O Filtro: Eles escanearam milhares de artigos e escolheram apenas os 90 que eram justos, tinham todos os ingredientes disponíveis e podiam ser avaliados por uma máquina.
O Firewall: Eles construíram uma "parede de vidro" ao redor da IA. A IA pode ver os ingredientes e o objetivo, mas não pode ver as notas do chef original ou o molho secreto usado no prato vencedor.
O Container: Cada tarefa é colocada em sua própria cozinha selada e perfeita (um container) para que a IA não possa trapacear usando ferramentas externas ou a internet.

A Competição: Como a IA se saiu?

Eles convidaram 10 dos "chefs" de IA mais inteligentes (como Claude Opus 4.7, GPT-5.5 e Gemini 3.5) para enfrentar esses 90 pratos. Eles tinham uma regra estrita: Proibido usar o Google. Eles tinham que descobrir tudo do zero.

Os resultados foram sóbrios:

O Clube do "Bom o Suficiente": Mesmo a melhor IA conseguiu igualar a receita original premiada cerca de 48% das vezes.
O Clube do "Melhor que o Original": A IA conseguiu criar um prato melhor que o original em apenas 18% dos casos.
O Choque de Realidade: Nas outras 82% das vezes, a IA criou um prato pior que o original ou não conseguiu terminá-lo.

Como Eles Tiveram Sucesso (e Falharam)?

Os pesquisadores observaram de perto como os chefs de IA trabalharam para entender os resultados.

A Estratégia Vencedora: "O Truque da Tradução"
Quando a IA teve sucesso, ela geralmente não inventou uma descoberta científica brilhante. Em vez disso, usou um truque chamado Tradução Metodológica.

A Analogia: Imagine que a receita original era para um complexo suflê francês (um problema científico difícil). A IA não tentou fazer um suflê. Em vez disso, olhou para os ingredientes e disse: "Ei, isso parece uma pizza que eu sei fazer!". Ela transformou o problema científico difícil em um problema matemático simples e familiar que ela já viu um milhão de vezes antes.
45% dos sucessos aconteceram porque a IA apenas transformou a ciência em um jogo padrão de "adivinhar a resposta". Ela não inventou uma nova ciência; apenas aplicou truques antigos a novos dados.

A Estratégia de Perda: "Ferramentas Erradas e Falta de Tempo"
Quando a IA falhou, não foi geralmente porque ela não entendeu as instruções.

Ferramenta Errada (45%): Ela escolheu o "utensílio de cozinha" errado. Tentou usar um liquidificador quando precisava de um batedor de arame (fouet). Escolheu um método que era fundamentalmente errado para o tipo de problema.
Falta de Tempo/Dinheiro (24%): A IA começou a cozinhar, mas ficou sem o limite de 4 horas ou o poder de computação (orçamento) necessário para terminar o prato.
Mal-entendido (Raro): Era muito raro que a IA simplesmente não entendesse qual deveria ser o prato.

Os Níveis de Dificuldade

Nem todas as receitas eram igualmente difíceis.

Os Pratos Fáceis: Tarefas envolvendo "Raciocínio Relacional" (conectar pontos) e "Biologia de Proteínas" foram as mais fáceis para a IA.
Os Pratos Difíceis: "Modelagem Física" (simular física) e "Design Molecular" foram os mais difíceis.
Os Pratos "Frankenstein": As tarefas mais difíceis de todas foram aquelas que misturavam dois campos diferentes (como misturar biologia e física). A IA teve dificuldade em combinar conhecimentos de diferentes "culinárias".

A Grande Conclusão

O NatureBench nos diz que, embora os agentes de codificação de IA estejam ficando muito bons em seguir instruções e corrigir erros, eles ainda não são verdadeiros inventores científicos.

Eles são excelentes em pegar um problema científico complexo e dizer: "Eu conheço um atalho para isso!". Mas ainda não são bons em olhar para um problema e dizer: "Eu tenho uma ideia totalmente nova que nenhum humano pensou ainda".

O artigo conclui que, para a IA realmente ajudar a ciência, precisamos parar de apenas pedir que ela copie os vencedores e começar a ensiná-la a escolher as ferramentas certas e a pensar como um cientista, não apenas como um programador.

Resumo Técnico: NatureBench

Definição do Problema

À medida que os agentes de codificação de IA evoluem da reprodução de código publicado para a condução de pesquisa científica autônoma, surgiu uma lacuna crítica de avaliação. Os benchmarks existentes para agentes científicos sofrem de duas limitações primárias:

Reprodução vs. Descoberta: Os atuais benchmarks baseados em artigos (ex: PaperBench, CORE-Bench) testam primariamente a habilidade de um agente em reproduzir um método publicado. Eles falham em responder se um agente pode descobrir de forma independente um método competitivo ou superior em problemas científicos reais.
Fragmentação de Ambiente: Benchmarks de otimização de engenharia (ex: MLE-bench, PostTrainBench) frequentemente dependem de tarefas estilo Kaggle ou objetivos de pós-treinamento que carecem do raciocínio de domínio e das ferramentas especializadas das ciências naturais. Além disso, eles sofrem de fragmentação de ambiente, tornando a verificação independente e a execução reprodutível frágeis.

Há uma necessidade de um benchmark que seja tanto desafiador quanto bidirecional: testar se os agentes podem conceber métodos que superem o estado da arte (SOTA) publicado em problemas científicos genuínos extraídos das ciências naturais, em vez de em proxies de engenharia.

Metodologia: NatureGym e NatureBench

Os autores introduzem o NatureBench, um benchmark transdisciplinar de 90 tarefas destiladas de publicações da família Nature revisadas por pares, construído sobre o NatureGym, um pipeline automatizado projetado para converter artigos em pacotes de tarefas containerizados e reprodutíveis.

1. O Pipeline NatureGym

O NatureGym aborda o problema da fragmentação de ambiente através de um pipeline de três estágios com controle de revisão que transforma um artigo de origem em um pacote de tarefa padronizado:

Estágio 1: Filtragem de Artigos: Um filtro de cascata de três níveis avalia os artigos com base na extratabilidade da tarefa (deve gerar uma tarefa de ML), automatabilidade da avaliação (deve possuir uma métrica determinística e automatizada) e completude de dados (acessíveis publicamente, <50GB). Um passo de revisão adversarial visa falsos positivos.
Estágio 2: Aquisição e Verificação de Dados: O pipeline baixa os dados e estabelece um firewall de informação rigoroso. Ele separa a definição da tarefa (entradas) do algoritmo central do artigo de origem (saídas/métodos). Apenas os arquivos necessários para definir a tarefa (ex: entradas brutas, preparação de dados compartilhada) são retidos; arquivos específicos do algoritmo original são excluídos.
Estágio 3: Construção do Pacote de Tarefa: O pacote final inclui um briefing da tarefa, o conjunto de dados, um conjunto de teste isolado com a verdade fundamental (ground truth) oculta e um avaliador automatizado. O método de origem é completamente removido, forçando os agentes a descobrir soluções em vez de reproduzi-las.

2. Composição do Benchmark

Origem: 90 tarefas derivadas de 10 periódicos da família Nature (2022–2025), incluindo Nature Machine Intelligence, Nature Methods e Nature Biomedical Engineering.
Domínios: Seis domínios de tarefas científicas: Ômica Celular (31 tarefas), Biologia de Proteínas (16), Modelagem Biomédica (14), Modelagem Física (13), Design Molecular (11) e Raciocínio Relacional (5).
Protocolo de Avaliação: Os agentes operam em containers Docker isolados com um orçamento de 4 horas de tempo de relógio (wall-clock) e acesso restrito (sem busca na web). Eles submetem soluções iterativas pontuadas contra o SOTA reportado no artigo.
Métrica: A métrica primária é o gap relativo normalizado pelo SOTA ( $g$ ):
$g_i = \text{dir}_i \cdot \frac{m_i - m_{\text{sota}}}{|m_{\text{sota}}|}$
Onde $m_i$ é a pontuação do agente e $m_{\text{sota}}$ é o SOTA reportado no artigo. Um valor $g > 0,1$ indica superação do SOTA; $g \ge 0$ indica igualdade ao SOTA.

3. Configuração Experimental

Dez configurações de agentes de fronteira foram avaliadas sob um protocolo estrito de desativação de busca na web. Estas incluíam modelos de três harnesses:

Claude Code: Pareado com Claude Opus 4.6, 4.7, Kimi K2.6, MiniMax-M2.7, DeepSeek-V4-Pro, GLM-5.1 e Qwen 3.7 Max.
Codex CLI: Pareado com GPT-5.4 e GPT-5.5.
Gemini CLI: Pareado com Gemini 3.5 Flash.

Principais Resultados

1. Desempenho vs. SOTA Publicado

Mesmo os agentes mais fortes lutam para superar o SOTA publicado em problemas científicos reais:

Superação do SOTA ( $g > 0,1$ ): O melhor executor, Claude Opus 4.7, superou o SOTA em apenas 17,8% das tarefas. O próximo melhor, Gemini 3.5 Flash e GPT-5.5, alcançaram 15,6% e 14,4% respectivamente. O modelo mais fraco (MiniMax-M2.7) alcançou apenas 1,1%.
Igualdade ao SOTA ( $g \ge 0$ ): O melhor agente igualou ou excedeu o SOTA em 47,8% das tarefas. Os demais agentes variaram entre 13,3% e 37,8%.
Validade: Os agentes Claude Opus demonstraram a maior integridade, com 100% de taxas de conclusão e pontuação, e zero submissões inválidas (atalhos).

2. Análise de Mecanismos de Sucesso e Falha

Caminhos de Sucesso: Quando os agentes têm sucesso, eles o fazem principalmente através da translação metodológica (45,5% dos sucessos), convertendo tarefas científicas complexas em problemas familiares de predição supervisionada. A invenção científica genuína ou alternativas baseadas em raciocínio de domínio representaram menos de 10% dos sucessos.
Modos de Falha: As falhas são dominadas por escolha de método errada (45,1%) e orçamento/tempo de computação insuficiente (24,4%). O erro de compreensão da tarefa ou a produção de saída malformada representa uma fração negligenciável das falhas.
Dificuldade de Domínio: Existe um gradiente de dificuldade consistente entre os domínios. Raciocínio Relacional e Biologia de Proteínas são os mais fáceis, enquanto Modelagem Biomédica e Design Molecular são os mais difíceis. Tarefas interdisciplinares (combinando múltiplos domínios) consistentemente mostram gaps maiores em relação ao SOTA do que tarefas de disciplina única.

Significância e Alegações

O artigo afirma que o NatureBench é o primeiro benchmark que combina tarefas oriundas de artigos, domínios científicos genuínos e avaliação orientada à descoberta (superação do SOTA) em um único framework.

Além da Reprodução: Os resultados indicam que os atuais agentes de codificação de IA são capazes de otimização de engenharia e reprodução de padrões conhecidos, mas ainda não são capazes de uma descoberta científica genuína que supere consistentemente métodos escritos por humanos na literatura.
O Gargalo da "Translação": O mecanismo de sucesso dominante é a translação de problemas científicos para pipelines padrão de ML, sugerindo que os agentes são atualmente aceleradores de "IA para a Ciência" em vez de solucionadores de problemas "nativos de IA". Eles se destacam na aplicação de ferramentas de ML conhecidas, mas lutam com as escolhas metodológicas necessárias para a descoberta científica novel.
Validade do Benchmark: Os autores afirmam que o design do benchmark, particularmente o firewall de informação e a métrica normalizada pelo SOTA, fornece uma forma credível, reprodutível e padronizada de avaliar a pesquisa científica autônoma, abordando os problemas de fragmentação e credibilidade de benchmarks anteriores.

Os autores liberam o benchmark, o pipeline NatureGym e um leaderboard público para facilitar pesquisas futuras sobre como transformar esses substratos em dados de treinamento para a próxima geração de agentes de descoberta científica.