Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

Resumo Técnico: "As Tentativas de Reproduzir Pesquisas em Ciências da Saúde são Incomuns e Podem estar Decrescendo ao Longo do Tempo"

Problema Central
Apesar das preocupações generalizadas em relação à pesquisa irreprodutível nas ciências da saúde — citada como um fator de desperdício de recursos, danos aos pacientes e erosão da confiança pública — há uma falta de quantificação sistemática sobre a frequência com que a comunidade científica tenta reproduzir trabalhos anteriores. Embora se estime que uma parte significativa dos métodos e resultados das ciências da saúde não possa ser reproduzida, permanece incerto o quão frequentemente estudos dedicados à reprodutibilidade são realizados para monitorar esse problema. Além disso, as tendências temporais desses esforços em resposta às crescentes preocupações com a reprodutibilidade não estão bem caracterizadas. Este estudo aborda a lacuna de conhecimento relativa à prevalência de tentativas de reprodutibilidade, os métodos utilizados para identificá-las e sua evolução ao longo do tempo.

Metodologia
Esta revisão sistemática e meta-análise aderiu às diretrizes PRISMA e ao manual Cochrane, com um protocolo registrado a priori no PROSPERO.

• Fontes de Dados: Os autores pesquisaram MEDLINE, Embase, Web of Science, o Cochrane Controlled Trials Registry, o Cochrane Database of Systematic Reviews e literatura cinzenta de 1º de janeiro de 2000 a 31 de maio de 2023.
• Critérios de Inclusão: Estudos em língua inglesa publicados após 1999 que estimassem a proporção de artigos de pesquisa publicados dedicados a reproduzir pesquisas anteriores ou concomitantes nas ciências da saúde.
• Classificação da Reprodutibilidade: As tentativas foram categorizadas em três tipos:
  1. Metodológica: Repetir exatamente os métodos de outro estudo.
  2. Resultados: Comparar resultados usando métodos iguais ou similares (posteriormente classificados como aproximados, reteste ou não especificados).
  3. Inferencial: Comparar conclusões, incluindo reanálises de dados originais.
• Métodos de Identificação: A revisão analisou como os estudos identificaram as tentativas de reprodutibilidade: (1) inferência baseada na linguagem do estudo, (2) inferência baseada na comparabilidade dos elementos de design entre os estudos, ou (3) relato explícito de que um estudo era uma tentativa de reprodutibilidade.
• Análise Estatística: As estimativas de prevalência foram submetidas a meta-análise utilizando modelos de efeitos aleatórios (regressão logística de efeitos mistos) ponderados pelo tamanho da amostra. A heterogeneidade foi avaliada através do Q de Cochrane. A meta-regressão com covariáveis variantes no tempo foi empregada para avaliar tendências temporais, com um limiar de significância estatística de p < 0,01. Análises de sensibilidade foram conduzidas utilizando as datas de publicação mais antiga, mediana e mais recente dos dados subjacentes para considerar conjuntos de dados de vários anos.

Principais Resultados

• Seleção de Estudos: De 55.218 artigos triados, 41 estudos foram incluídos, representando 30 áreas de pesquisa distintas da Clarivate nos domínios biomédico/pré-clínico (n=10), clínico (n=26), saúde populacional (n=2) e múltiplos domínios (n=3).
• Prevalência Geral: A prevalência estimada agrupada de tentativas de reprodutibilidade nas ciências da saúde entre 2000 e 2023 foi de 1,6% (95% CI: 0,6–4,2%).
• Variabilidade: A prevalência variou significativamente por domínio de pesquisa, área de pesquisa e pelo método utilizado para identificar as tentativas.
  • Por Domínio: A saúde populacional apresentou a maior prevalência (3,5%), seguida pelo biomédico/pré-clínico (3,0%), clínico (1,3%) e múltiplos domínios (0,1%).
  • Por Método de Identificação: Estudos inferidos via linguagem (12,6%) ou comparabilidade de design (11,9%) mostraram uma prevalência muito maior do que aqueles explicitamente relatados como tentativas de reprodutibilidade (0,3%).
  • Por Área de Pesquisa: As estimativas variaram de 0,0% a 77,8%, embora 22 das 30 áreas de pesquisa fossem baseadas em estudos únicos.
• Tendências Temporais: A meta-regressão identificou um aumento não significativo nas chances de tentativas de reprodutibilidade por ano entre 2000 e 2015 (aumento de 49,8%, p=0,03). No entanto, isso foi seguido por uma diminuição significativa entre 2016 e 2023, com uma redução de 50,2% nas chances por ano (p < 0,001).
• Sensibilidade: O achado de um declínio pós-2016 foi sensível às suposições analíticas. Quando as análises de sensibilidade atribuíram diferentes anos de publicação (mais antigo, mediana, mais recente) aos dados de múltiplos anos, os declínios observados tornaram-se não significativos, sugerindo que a tendência deve ser interpretada com cautela.

Significância e Alegações
Os autores concluem que as tentativas de reproduzir a pesquisa em ciências da saúde constituem uma pequena proporção da literatura e podem estar em declínio. O estudo destaca várias implicações críticas:

1. Necessidade de Maior Esforço: Apesar da importância reconhecida da reprodutibilidade, a proporção da literatura dedicada a ela é baixa e parece ter diminuído desde 2016. Os autores defendem um maior investimento em tentativas de reprodutibilidade para identificar a ciência irreprodutível e construir bases de evidências robustas.
2. Padronização da Classificação: A variação significativa nas estimativas de prevalência baseada em como as tentativas são identificadas (explícita vs. inferida) ressalta a necessidade de métodos padronizados para classificar e relatar tentativas de reprodutibilidade. Distinguir entre tentativas de reprodutibilidade deliberadas e incidentais é necessário para uma metaciência precisa.
3. Monitoramento de Domínios Específicos: Os autores observam uma falta de estimativas para a reprodutibilidade metodológica e inferencial especificamente. Eles sugerem que o monitoramento desses tipos é crucial, especialmente diante das intervenções existentes (ex: registros de protocolos, diretrizes de relato) destinadas a melhorar o rigor metodológico.
4. Direções para Pesquisas Futuras: O artigo clama por estudos primários para quantificar a prevalência de diferentes tipos de reprodutibilidade e investigar a relação entre a prevalência de tentativas de reprodução e outras métricas de robustez científica (ex: risco de viés, taxas de retração).

O estudo enfatiza que a reprodutibilidade da pesquisa não está sendo monitorada de forma rotineira ou consistente. Consequentemente, há uma necessidade urgente de aumentar o volume de tentativas de reprodutibilidade e de padronizar sua classificação e relato para melhor avaliar a confiabilidade dos achados científicos.