ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

Resumo Técnico: Avaliação de Reprodutibilidade Agêntica (ARA)

Declaração do Problema
A revisão por pares científica é cada vez mais incapaz de avaliar a reprodutibilidade na escala e complexidade da produção científica moderna. O crescimento exponencial de publicações, acelerado por modelos de linguagem grandes (LLMs) como assistentes de escrita, tensionou os mecanismos tradicionais de garantia de qualidade. Embora a reprodutibilidade seja uma condição necessária para validar contribuições científicas, avaliá-la exige reconstruir dependências experimentais, escolhas metodológicas, fluxos de dados e procedimentos de geração de resultados. Esse processo frequentemente excede a capacidade de revisores humanos, dados os limites de tempo e o volume de submissões. Abordagens automatizadas existentes são frequentemente específicas de domínio, baseiam-se em análise simples de listas de verificação ou exigem acesso a pacotes de replicação externos (código, dados) além do próprio texto da publicação. Consequentemente, as avaliações de reprodutibilidade permanecem sub-representadas nos fluxos de trabalho padrão e difíceis de escalar.

Metodologia
O artigo introduz a Avaliação de Reprodutibilidade Agêntica (ARA), um framework que formaliza a avaliação de reprodutibilidade como uma tarefa de raciocínio estruturado executável por sistemas de agentes baseados em LLMs diretamente a partir de documentos científicos. A ARA opera sem exigir artefatos externos, código-fonte ou ambientes de execução. O pipeline consiste em três etapas principais:

1. Construção do Grafo de Fluxo de Trabalho:
   Dado um artigo científico $D$, a ARA constrói um grafo de fluxo de trabalho direcionado $G = (V, E)$. Os nós $V$ são particionados em quatro etapas agnósticas de domínio:

   • Fontes: Conjuntos de dados, pressupostos e perguntas de pesquisa.
   • Métodos: Transformações intermediárias, algoritmos, parâmetros e recursos de software/hardware.
   • Experimentos: Protocolos de avaliação, baselines, condições de tempo de execução e configurações.
   • Drenos: Figuras relevantes para resultados, tabelas e conclusões relatadas.
     As arestas $E$ representam relações de dependência entre esses componentes. Um agente LLM extrai esses componentes usando consultas estruturadas, fundamentando as respostas em citações literais da fonte para garantir rastreabilidade.

2. Pontuação em Nível Micro:
   A reconstrutibilidade de nós individuais é avaliada usando uma função de pontuação ordinal $r(\cdot) \in \{1, 2, 3, 4\}$, onde 1 denota informação ausente e 4 denota detalhes suficientes para reconstrução independente. Essa pontuação é realizada de forma específica por etapa, distinguindo entre aspectos como clareza do algoritmo (para métodos) versus disponibilidade do conjunto de dados (para fontes).

3. Pontuação de Reprodutibilidade:
   As avaliações em nível micro são agregadas em uma pontuação composta final de reprodutibilidade $R$ através de dois eixos ortogonais:

   • Pontuação de Conteúdo ($R_c$): Mede a suficiência descritiva dos nós (fontes, métodos, experimentos, drenos) para reconstrução independente. É uma combinação convexa ponderada das pontuações médias específicas por etapa.
   • Pontuação Estrutural ($R_s$): Mede a qualidade da conectividade do grafo de fluxo de trabalho. Penaliza fontes desconectadas, drenos órfãos, referências não resolvidas, caminhos fonte-dreno quebrados e fragmentação do grafo.
     A pontuação final é a média geométrica: $R = \sqrt{R_c \cdot R_s}$. Essa formulação garante que uma fraqueza em detalhes descritivos ou conectividade estrutural não possa ser compensada por força no outro.

Principais Contribuições

• Formalização do Raciocínio em Nível de Documento: A ARA modela a avaliação de reprodutibilidade não como uma lista de verificação ou uma tarefa de execução completa, mas como um problema de raciocínio estruturado sobre o fluxo de trabalho de geração de evidências extraído do texto.
• Framework Agnóstico de Domínio: Diferentemente de trabalhos anteriores restritos a campos específicos (por exemplo, ciência da computação ou ciências sociais), a ARA é projetada para operar em diversos domínios científicos heterogêneos.
• Suporte Diagnóstico Escalável: O sistema fornece um mecanismo escalável para identificar elementos de relatórios ausentes, fluxos de trabalho incompletos e gargalos de reprodutibilidade, destinado a complementar, e não a substituir, a revisão por pares humana.
• Avaliação Abrangente: Os autores avaliam a ARA no conjunto de dados ReScience C, composto por 213 estudos de reprodutibilidade computacional validados por humanos em múltiplas disciplinas. Isso representa o maior benchmark cruzado de seu tipo até a data.

Resultados
Experimentos foram conduzidos em 213 artigos do ReScience C, comparando as avaliações da ARA com fluxos de trabalho de reprodução verificados por humanos e estruturas de relatórios.

• Consistência: O framework demonstra estabilidade substancial entre diferentes arquiteturas de LLM (incluindo variantes do Gemini, GPT-4.1 e Qwen), temperaturas de amostragem e execuções repetidas. A consistência estrutural do grafo e a variabilidade da pontuação de reprodutibilidade permanecem baixas, indicando que o sistema não é impulsionado por alucinações ou aleatoriedade tipo oráculo.
• Desempenho: A ARA alcança concordância consistente com avaliações humanas, atingindo aproximadamente 61% de precisão em três benchmarks de avaliação de reprodutibilidade (ReScience C, ReproBench e GoldStandardDB).
• Comparação: A ARA desempenha de forma comparável ou superior a sistemas agênticos existentes (ReplicatorAgent, ReproScreener) em termos de concordância com anotações humanas, apesar de operar estritamente em um cenário de nível de documento sem acesso a repositórios externos ou pacotes de replicação.
• Análise de Discordância: As discordâncias entre a ARA e especialistas humanos geralmente estão limitadas a um nível de escala ordinal. A discordância é maior para as etapas "Métodos" e "Experimentos", onde revisores humanos frequentemente dependem de detalhes de implementação revelados apenas durante a replicação completa, que não são observáveis apenas a partir do texto.

Significado e Alegações
O artigo alega que a ARA demonstra a viabilidade técnica de usar sistemas de IA agêntica para aproximar julgamentos humanos de reprodutibilidade em escala. Os autores posicionam a ARA não como uma substituta para a revisão por pares de especialistas humanos, mas como um complemento diagnóstico escalável. Ao operacionalizar a avaliação de reprodutibilidade como uma tarefa de raciocínio em nível de documento, o framework oferece um caminho para:

• Acelerar pipelines editoriais e triagem de literatura em grande escala.
• Fornecer verificações de qualidade consistentes, transparentes e reprodutíveis em diversos domínios científicos.
• Abordar a "crise de reprodutibilidade" identificando lacunas de relatórios antes que tentativas de replicação completa sejam empreendidas.

Os autores enfatizam que o valor do sistema reside em sua capacidade de funcionar sem artefatos externos, tornando-o aplicável à vasta maioria da literatura publicada onde código e dados não estão imediatamente disponíveis. A robustez dos resultados entre diferentes modelos e o alinhamento com julgamentos humanos em um benchmark rigoroso sugerem que a reconstrução estruturada de fluxos de trabalho pode capturar sinais significativos de reprodutibilidade além da simples análise de documentos.