Resumo Técnico: CORE-Bench

Declaração do Problema

A reprodutibilidade computacional — a capacidade de reproduzir os resultados de um estudo científico utilizando o código e os dados fornecidos — é um pilar fundamental do processo científico. No entanto, apesar da ampla disponibilidade de dados e código, uma proporção significativa de estudos em diversas áreas (incluindo ciência da computação, medicina, economia e psicologia) falha em ser computacionalmente reprodutível. Os desafios incluem versões de bibliotecas não especificadas, diferenças de arquitetura (ex: ARM vs. x86), incompatibilidades de sistemas operacionais e variância inerente nos resultados.

Embora avanços recentes em agentes de IA e sistemas de IA compostos tenham mostrado promessa na automação de tarefas complexas de codificação (ex: SWE-bench), há uma carência de benchmarks projetados para avaliar agentes na tarefa específica, rotineira, porém crítica, de reproduzir pesquisas científicas existentes. Antes que os agentes possam ser confiados para conduzir pesquisas inéditas, eles devem primeiro demonstrar a capacidade de reproduzir fielmente trabalhos existentes.

Metodologia

Construção do Benchmark (CORE-Bench)

Os autores introduzem o CORE-Bench (Computational Reproducibility Agent Benchmark), um conjunto de dados composto por 270 tarefas derivadas de 90 artigos científicos de três disciplinas: Ciência da Computação, Ciências Sociais e Medicina. Os artigos foram obtidos do CodeOcean, uma plataforma conhecida por hospedar cápsulas de pesquisa reprodutíveis, garantindo que exista uma verdade fundamental (ground truth) para uma reprodução bem-sucedida.

Critérios de Seleção:
Os autores filtraram 5.090 cápsulas do CodeOcean usando dez critérios para garantir a viabilidade e a validade de construto (Tabela 2). Os principais critérios incluíram:

• Correspondência com um artigo acessível publicamente.
• Implementação em Python ou R.
• Presença de um arquivo README.
• Tempo de execução inferior a 45 minutos em hardware padrão.
• Baixa variância nos resultados (garantindo saídas determinísticas ou quase determinísticas).
• Tamanho inferior a 10 GB.

Níveis de Dificuldade das Tarefas:
Para avaliar um espectro de capacidades dos agentes, os autores criaram três níveis de dificuldade para cada um dos 90 artigos (Tabela 3):

1. CORE-Bench-Easy: O agente recebe a saída de código completa de uma execução bem-sucedida. A tarefa é puramente de extração de informações de textos ou figuras existentes.
2. CORE-Bench-Medium: O agente recebe um Dockerfile e instruções textuais. O agente deve executar o comando Docker para reproduzir o código e, então, extrair os resultados.
3. CORE-Bench-Hard: O agente recebe apenas o arquivo README. Ele deve instalar as dependências de forma independente, determinar o comando de execução correto, executar o código e extrair os resultados. Este nível mimetiza o cenário do mundo real de reproduzir um artigo sem contêineres pré-empacotados.

Métricas de Avaliação:

• Acurácia: Uma tarefa é marcada como correta apenas se o agente responder corretamente a todas as perguntas associadas. As perguntas exigem a extração de valores específicos (ex: acurácia do modelo, rótulos de eixos, coeficientes de correlação) de saídas de terminal, PDFs, HTML ou figuras.
• Integração de Visão-Linguagem: As tarefas incluem tanto perguntas baseadas em texto quanto perguntas baseadas em visão, que exigem a análise de figuras e gráficos.
• Harness de Avaliação: Para garantir justiça e paralelização, os autores construíram um harness de avaliação que executa cada par agente-tarefa em uma Máquina Virtual (VM) isolada. Isso evita que os agentes manipulem o benchmark e permite que centenas de tarefas rodem em paralelo, reduzindo o tempo de avaliação de ~20 dias (sequencial) para ~2 horas.

Agentes de Base (Baselines)

Os autores avaliaram duas arquiteturas de agentes usando GPT-4o e GPT-4o-mini como os LLMs subjacentes:

1. AutoGPT: Um agente de propósito geral com modificações mínimas (adição de uma ferramenta query_vision_language_model).
2. CORE-Agent: Uma variante do AutoGPT específica para a tarefa, customizada para cada nível de dificuldade. As modificações incluíram:
   • Verificações programáticas para garantir o envio de um report.json formatado corretamente.
   • Dicas de prompting específicas (ex: usar pdftotext para PDFs, priorizar arquivos específicos, usar caminhos absolutos em vez de variáveis de ambiente e pré-instalar dependências antes de rodar o código).

Principais Resultados

Desempenho Geral:

• O CORE-Agent (GPT-4o) alcançou o maior desempenho: 60,00% em tarefas Easy, 57,78% em tarefas Medium e 21,48% em tarefas Hard.
• O AutoGPT (GPT-4o) apresentou desempenho significativamente inferior, particularmente em tarefas Hard (6,67%), destacando a necessidade de adaptações específicas para a tarefa.
• O GPT-4o-mini mostrou menor acurácia em todos os agentes e níveis de dificuldade, mas demonstrou uma relação custo-acurácia favorável.

Observações Chave:

1. Impacto das Modificações Específicas da Tarefa: Adaptar um agente generalista (AutoGPT) com prompts e restrições específicas (CORE-Agent) gerou melhorias massivas, especialmente para modelos mais fracos (ex: o GPT-4o-mini melhorou de 8,89% para 44,44% em tarefas Easy).
2. Gradiente de Dificuldade: O desempenho caiu significativamente conforme a dificuldade aumentava, confirmando que o gerenciamento de dependências e a execução de comandos (nível Hard) continuam sendo grandes gargalos.
3. Diferenças de Modalidade: Os agentes performaram significativamente melhor em perguntas baseadas em texto (87,88% em Easy) do que em perguntas baseadas em visão (59,26% em Easy), frequentemente falhando ao identificar figuras relevantes entre múltiplas saídas.
4. Diferenças de Linguagem: Tarefas em Python foram significativamente mais fáceis de reproduzir do que tarefas em R, em parte devido à complexidade de analisar manuscritos em PDF gerados pelo R e aos tempos mais longos de instalação de dependências.
5. Modos de Falha: As falhas comuns incluíram:
   • Recuperação de informações da figura ou arquivo errado.
   • Ignorar instruções do Docker e tentar reprodução manual (levando a limites de contexto).
   • Ficar preso em loops de instalação de dependências (nível Hard).
   • Tentar acessar sites externos (ex: CodeOcean) que exigem renderização de JavaScript, algo que os agentes não conseguiram lidar.

Significância e Alegações

O artigo postula que reproduzir a pesquisa existente é um pré-requisito necessário para construir agentes capazes de conduzir pesquisas científicas inéditas. Os autores alegam que:

1. Viabilidade de Automação: Embora a automação total da reprodutibilidade computacional seja atualmente difícil (21% de acurácia nas tarefas mais difíceis), ela não é impossível. Modificações simples e específicas da tarefa em agentes generalistas podem gerar ganhos substanciais de desempenho.
2. Utilidade do CORE-Bench: O benchmark fornece um ambiente padronizado, realista e desafiador para medir o progresso dos agentes. Ele abrange um conjunto diversificado de habilidades, incluindo codificação, interação com shell, recuperação de informação e interpretação de visão-linguagem.
3. Aplicação no Mundo Real: Agentes bem-sucedidos poderiam auxiliar autores na verificação da reprodutibilidade antes da publicação, ajudar pesquisadores independentes a replicar estudos e auxiliar editores de periódicos na avaliação de submissões.
4. Segurança e Salvaguardas: O estudo destaca a necessidade de melhores salvaguardas para evitar que agentes tomem ações inseguras ou inesperadas (ex: criar milhares de contas ou falhar ao renderizar sites dependentes de JavaScript) quando implantados em fluxos de trabalho científicos reais.

Os autores concluem que, embora o estado atual dos agentes deixe um "amplo escopo para melhoria", o CORE-Bench serve como um passo fundamental para impulsionar o desenvolvimento de agentes de pesquisa confiáveis e melhorar o estado geral da reprodutibilidade computacional na ciência.