Automated reproducibility assessments in the social and behavioral sciences using large language models

Resumo Técnico: Avaliações de Reprodutibilidade Automatizadas nas Ciências Sociais e Comportamentais Utilizando Grandes Modelos de Linguagem

Definição do Problema
A reprodutibilidade nas ciências sociais e comportamentais é tradicionalmente avaliada por pesquisadores independentes que reanalisam manualmente os dados originais para verificar se os achados publicados podem ser recuperados. Embora essencial, esse processo é intensivo em recursos, difícil de escalar e frequentemente limitado a esforços de pequena escala (por exemplo, a colaboração Multi100 envolvendo 507 analistas ao longo de vários anos). A reconstrução manual de fluxos de trabalho empíricos — exigindo inspeção de dados, identificação de variáveis, tradução de código e execução — cria um gargalo para a auditoria sistemática da literatura. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades de codificação, permanece desconhecido se eles podem realizar avaliações de reprodutibilidade computacional de ponta a ponta de forma confiável, interpretar decisões analíticas a partir de materiais de estudo e evitar erros ou suposições não fundamentadas.

Metodologia
Os autores desenvolveram um pipeline de LLM agêntico para automatizar avaliações de reprodutibilidade em um corpus de $N=180$ estudos empíricos publicados do projeto Systematizing Confidence in Open Research and Evidence (SCORE), abrangendo psicologia, ciência política e economia.

• Dados e Entradas: O pipeline utilizou afirmações empíricas pré-definidas, conjuntos de dados originais do estudo (ou dados de replicação, quando os dados originais não estavam disponíveis) e o texto do artigo. O texto foi convertido de PDF para Markdown usando o Mistral OCR para preservar o layout, equações e tabelas.
• Fluxo de Trabalho Agêntico: O agente de LLM teve a tarefa de escrever e executar independentemente código estatístico em um ambiente isolado (sandbox) para estimar o tamanho do efeito vinculado à afirmação central. O agente foi explicitamente instruído a não copiar estatísticas relatadas no artigo, mas sim a computá-las a partir dos dados fornecidos.
• Desenho Experimental:
  • Execuções: Cada estudo passou por cinco execuções independentes para avaliar a variabilidade.
  • Modelos: A análise principal utilizou o Claude Opus 4.7. A robustez foi testada utilizando o GPT-5.5 e o modelo de pesos abertos GLM-5.1.
  • Contextos de Informação: Para testar a sensibilidade ao detalhamento metodológico, o pipeline foi executado sob três condições: (1) texto completo do artigo, (2) artigo completo com a seção de métodos removida, e (3) apenas o resumo (abstract).
  • Enquadramento de Prompt (Prompt Framing): Análises de sensibilidade compararam prompts neutros contra enquadramentos "confirmatórios" (favoráveis) e "críticos" (céticos).
• Métricas de Avaliação:
  • Recuperação do Tamanho do Efeito: O tamanho do efeito médio gerado pelo LLM ($\bar{d}_{LLM}$) foi comparado ao tamanho do efeito original publicado ($d_{original}$) usando o $d$ de Cohen. A recuperação foi definida como cair dentro de regiões de tolerância estrita ($\pm 0,05$) e ampla ($\pm 0,20$).
  • Conclusão Qualitativa: A conclusão do LLM (suporte/oposto/inconclusivo) foi comparada com a conclusão do estudo original.
  • Referencial Humano (Human Benchmark): Para um subconjunto de $N=84$ estudos, os resultados do LLM foram comparados contra um esforço de reanálise humana em larga escala [2].
• Pré-processamento: Estudos foram excluídos se o LLM falhasse em produzir um $d$ de Cohen válido em qualquer uma das cinco execuções (11 estudos excluídos, restando $N=169$). Outliers com tamanhos de efeito implausivelmente grandes (por exemplo, devido a erros de conversão) foram revisados e filtrados manualmente.

Principais Resultados

• Reprodutibilidade Geral (RQ1): Através dos 169 estudos válidos, o pipeline de LLM alcançou a mesma conclusão qualitativa que o estudo original em 80% dos casos. Ele recuperou o tamanho do efeito original dentro da tolerância estrita de $\pm 0,05$ em 24% dos estudos e dentro da tolerância ampla de $\pm 0,20$ em 50% dos estudos. A reprodutibilidade foi maior quando os dados de origem originais estavam disponíveis em comparação com quando apenas os dados de replicação foram usados.
• Comparação com Reanalistas Humanos (RQ2): No subconjunto com referenciais humanos ($N=82$), o LLM coincidiu com a conclusão qualitativa original em 95% dos casos (vs. 83% para humanos). O LLM recuperou o tamanho do efeito original dentro da tolerância estrita em 40% dos casos, sendo similar aos reanalistas humanos (28%). No entanto, os tamanhos de efeito do LLM correlacionaram-se mais fortemente com os achados originais publicados ($r=0,46$) do que com os achados da reanálise humana ($r=0,11$), sugerindo que o LLM seguiu um caminho analítico mais estreito e ancorado no artigo, em vez de explorar o espaço completo de especificações defensáveis que os humanos poderiam buscar.
• Sensibilidade ao Contexto de Informação (RQ3): As taxas de reprodutibilidade não diferiram significativamente entre os contextos de informação. Quer o modelo recebesse o artigo completo, o artigo sem os métodos, ou apenas o resumo, a taxa de recuperação de tolerância estrita permaneceu estável (24%, 24% e 22%, respectivamente).
• Robustez: Os resultados foram consistentes entre os três modelos testados (Claude Opus 4.7, GPT-5.5, GLM-5.1) e não foram significativamente afetados pelo enquadramento do prompt (confirmatório vs. crítico).

Significância e Alegações
O artigo alega que os LLMs podem servir como uma ferramenta de triagem escalável para avaliações de reprodutibilidade, mas afirma explicitamente que eles ainda não são um substituto para o julgamento especializado.

• Escalabilidade: Os achados demonstram que os LLMs podem automatizar a tarefa computacionalmente intensiva da reanálise, potencialmente permitindo auditorias sistemáticas de resultados empíricos que atualmente são muito dispendiosas para realizar manualmente.
• Papel no Fluxo de Trabalho Científico: Os autores posicionam os LLMs como uma verificação de "primeira passagem" para periódicos e metacientistas para identificar se os achados relatados podem ser recuperados a partir dos dados disponíveis. Isso pode ser integrado aos processos de controle de qualidade de submissão ou pós-publicação.
• Limitações e Ressalvas: Os autores enfatizam que a reanálise baseada em LLM é uma capacidade emergente. Eles observam que algumas execuções não produzem resultados viáveis e que os modelos podem não capturar toda a gama de escolhas analíticas defensáveis (o "multiverso" da análise) que os analistas humanos exploram. Além disso, o estudo alerta contra incentivos do tipo "Goodhart", onde autores podem otimizar para passar em telas automatizadas em vez de garantir uma ciência robusta, e adverte que verificações automatizadas não substituem a necessidade de replicação com novos dados coletados.
• Generalização: O uso de um modelo de pesos abertos (GLM-5.1) juntamente com modelos proprietários sugere que a reanálise automatizada não está limitada a sistemas fechados.

Em resumo, o estudo fornece evidências empíricas de que os LLMs de fronteira podem reproduzir com sucesso uma parcela substancial dos achados publicados nas ciências sociais, oferecendo um instrumento promissor e escalável para melhorar o rigor da pesquisa empírica, ao mesmo tempo em que reconhece as limitações atuais de confiabilidade e a necessidade de supervisão humana.