Resumo Técnico: ReproRepo

Declaração do Problema

Reproduzir resultados de pesquisa é fundamental para o progresso científico, mas verificar descobertas e construir sobre trabalhos anteriores frequentemente exige navegar por combinações complexas de artigos, código, dados e artefatos experimentais. Embora agentes de Grandes Modelos de Linguagem (LLMs) mostrem promessa na automação de aspectos da reprodutibilidade, os benchmarks de avaliação existentes enfrentam um gargalo crítico de escalabilidade. Abordagens anteriores dependem fortemente de um esforço manual substancial para curadoria de dados, perguntas curadas por especialistas, preparação de artefatos e avaliação manual. Consequentemente, esses conjuntos de dados costumam cobrir menos de 100 artigos, apresentam apenas artefatos de alta qualidade e têm dificuldade em permanecer relevantes devido à rapidez com que o cenário de pesquisa muda.

Metodologia: O Framework ReproRepo

Para abordar a escalabilidade, os autores introduzem o ReproRepo, um framework para avaliação escalável, realista e facilmente atualizável de agentes de LLM em auditoria de reprodutibilidade. A inovação central é o aproveitamento de issues do GitHub como sinais de supervisão humana naturalmente ocorrentes. Em vez de especialistas projetarem tarefas manualmente ou injetarem erros, o ReproRepo trata as issues relatadas por usuários como evidência de bloqueadores de reprodução do mundo real.

Construção de Dados

O framework constrói um benchmark a partir de três fontes primárias:

1. Artigos de Conferências: Artigos aceitos em grandes conferências de aprendizado de máquina (NeurIPS 2022/2024, ICLR 2026).
2. Repositórios GitHub: Bases de código vinculadas a esses artigos.
3. Issues do GitHub: Issues tanto abertas quanto fechadas relatadas por usuários tentando reproduzir o trabalho.

O pipeline de dados envolve filtrar artigos para reter apenas aqueles com repositórios utilizáveis e pelo menos uma issue relacionada à reprodutibilidade. Para avaliação, o sistema constrói snapshots de repositório específicos:

• Issues Abertas: O estado do repositório no momento da coleta.
• Issues Fechadas: O estado do repositório imediatamente antes da criação da issue (pré-correção), garantindo que os agentes avaliem o código como um usuário o teria visto ao encontrar o problema.
• Snapshots Pós-Correção: Para issues fechadas com patches, um estado pós-correção é recuperado para servir como um conjunto de validação para medir falsos positivos (ou seja, garantir que os agentes não reportem problemas que já foram resolvidos).

Tarefa e Protocolo do Agente

A avaliação foca em um cenário de inspeção estática de baixo custo computacional. Os agentes recebem o PDF do artigo e um snapshot do repositório, mas são estritamente proibidos de:

• Executar código ou configurar ambientes.
• Acessar a internet, APIs externas ou metadados ocultos do benchmark.
• Visualizar as próprias issues do GitHub usadas para a verdade fundamental (ground truth).

Os agentes têm a tarefa de realizar uma auditoria estática para prever potenciais bloqueadores de reprodutibilidade, gerando uma lista ranqueada de achados ordenada pela probabilidade estimada de um usuário encontrá-los.

Métricas de Avaliação

As previsões dos agentes são avaliadas por um LLM juiz separado contra as issues humanas ocultas. A avaliação utiliza três rótulos:

• Correspondência Exata (EM - Exact Match): O achado identifica o mesmo problema prático e gatilho.
• Correspondência Semântica (SM - Semantic Match): O achado identifica um bloqueador semanticamente relacionado com sobreposição concreta, mas especificidade incompleta (ex: mesmo pipeline, mas ponto de falha diferente).
• Nenhum (None): Nenhuma evidência útil de que o agente descobriu o problema.

As métricas são agregadas ao nível da issue (fração das issues humanas ocultas recuperadas) e ao nível do artigo (fração dos artigos onde pelo menos uma ou todas as issues ocultas são recuperadas). Uma Taxa de Falso Positivo (FPR) é calculada executando os agentes em snapshots pós-correção; se um agente reportar um achado que corresponda a uma issue corrigida, ele é contado como um falso positivo.

Principais Contribuições

1. Framework Escalável: Introdução do ReproRepo, que utiliza issues do GitHub como supervisão gratuita e naturalmente ocorrência, permitindo benchmarks diversos e continuamente atualizáveis com mínima anotação manual.
2. Benchmark de Larga Escala: Construção de um conjunto de dados compreendendo 1.149 artigos recentes de aprendizado de máquina e 7.553 bloqueadores de reprodução relatados por humanos, significativamente maior do que benchmarks de reprodutibilidade anteriores.
3. Avaliação Sistemática: Uma avaliação abrangente de configurações de agentes de modelos de fronteira (incluindo Claude Code e Codex pareados com modelos como GPT-5.5 e Claude Opus 4.7) sob restrições de inspeção estática.

Resultados Experimentais

O estudo avaliou quatro configurações de agentes de modelos de fronteira em 1.149 artigos. As principais descobertas incluem:

• Alta Recuperação de Bloqueadores: Surpreendentemente, agentes estáticos (sem execução de código) conseguem identificar uma fração substancial de bloqueadores relatados por humanos. A melhor configuração (Codex com GPT-5.5) revelou pelo menos um bloqueador semanticamente relacionado para ~90% dos artigos (89,7% para ICLR 2026, 93,3% para o principal do NeurIPS 2024).
• Localização Semântica vs. Exata: Embora os agentes sejam altamente eficazes em trazer à tona falhas visíveis e identificar a região semântica correta (as taxas de Correspondência Semântica são significativamente maiores que as de Correspondência Exata), eles têm dificuldade com a localização exata. Por exemplo, no ICLR 2026, a taxa de Correspondência Semântica foi de 58,1%, enquanto a taxa de Correspondência Exata foi de 25,4%.
• Baixa Taxa de Falso Positivo: Os agentes demonstraram alta precisão, com as Taxas de Falso Positivo permanecendo baixas (máximo de 3,50% entre os modelos), indicando que os problemas reportados estão fundamentados em evidências estáticas plausíveis e não em alucinações.
• Categorias de Falha: Os agentes tiveram melhor desempenho em "Configuração Errada Silenciosa" (ex: artefatos ausentes, configurações incompatíveis) e "Crash Imediato" (ex: imports quebrados). Eles tiveram mais dificuldade com "Crash Tardio" e "Número Errado Silencioso", que frequentemente exigem execução ou comparação contra métricas relatadas.
• Relação Custo-Desempenho: Embora o GPT-5.5 tenha alcançado o maior desempenho, o DeepSeek-V4-Pro alcançou taxas de correspondência semântica de nível de artigo semelhantes (89,0% vs. 89,7%) a uma fração do custo (23% por execução), sugerindo um forte equilíbrio para triagem ampla.

Significância e Alegações

O artigo afirma que o ReproRepo fornece um framework reutilizável e escalável para futuras avaliações de agentes de LLM em auditoria de reprodutibilidade do mundo real. Os autores afirmam que:

• A inspeção estática é viável para triagem: Agentes podem identificar efetivamente problemas de reprodutibilidade do mundo real sem executar código, tornando-os úteis para revisão inicial e triagem de autores.
• Issues do GitHub são um sinal de supervisão válido: O uso de relatos de usuários naturalmente ocorrentes permite a construção de benchmarks de larga escala e realistas que são difíceis de manter com curadoria manual de especialistas.
• Limitações permanecem: Os autores observam modestamente que, embora os agentes sejam bons em trazer à tona falhas visíveis, ainda não são suficientes para a localização exata de erros ou para identificar tipos de falhas menos visíveis que exigem execução. O framework é destinado como um sinal de triagem, e não como um julgamento definitivo sobre reprodutibilidade.

O trabalho conclui que, embora os agentes atuais não possam substituir totalmente a validação baseada em execução, eles oferecem uma ferramenta poderosa para escalar a auditoria inicial da reprodutibilidade da pesquisa.