Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

技术摘要：“尝试复现健康科学研究的情况并不常见，且可能随时间推移而减少”

问题陈述
尽管人们广泛关注健康科学领域研究不可复现的问题——这被认为是导致资源浪费、患者伤害和公众信任流失的原因——但目前仍缺乏关于科学界进行先前研究复现频率的系统性量化研究。虽然据估计，很大一部分健康科学的方法和结果无法被复现，但目前尚不清楚为了监测这一问题而进行的专门复现研究究竟有多普遍。此外，针对这些努力如何响应日益增长的复现性关注所呈现的时间趋势，也尚未得到充分表征。本研究旨在填补关于复现尝试的流行程度、识别这些尝试的方法以及其随时间演变过程的知识空白。

方法论
本系统综述和元分析遵循 PRISMA 指南和 Cochrane 手册，并在 PROSPERO 进行了预先注册方案。

• 数据来源： 作者检索了 MEDLINE、Embase、Web of Science、Cochrane 对照试验注册库、Cochrane 系统评价数据库以及 2000 年 1 月 1 日至 2023 年 5 月 31 日期间的灰色文献。
• 纳入标准： 纳入 1999 年后发表的、旨在估算健康科学领域内致力于复现先前或同期研究的已发表研究论文比例的英文研究。
• 复现分类： 复现尝试被分为三类：
  1. 方法学复现（Methodological）： 完全重复另一项研究的方法。
  2. 结果复现（Results）： 使用相同或相似的方法比较结果（进一步分为近似复现、重测复现或未说明复现）。
  3. 推断复现（Inferential）： 比较结论，包括对原始数据的重新分析。
• 识别方法： 本综述分析了研究是如何识别复现尝试的：(1) 基于研究语言的推断；(2) 基于研究间设计要素可比性的推断；或 (3) 明确报告该研究为复现尝试。
• 统计分析： 使用随机效应模型（混合效应逻辑回归）对流行率估计值进行元分析，并根据样本量进行加权。使用 Cochrane's Q 进行异质性评估。采用带有随时间变化协变量的元回归来评估时间趋势，统计显著性阈值为 p < 0.01。通过使用底层数据的最早、中位数和最晚出版日期进行敏感性分析，以处理多年期数据集的问题。

关键结果

• 研究筛选： 在筛选的 55,218 篇文章中，最终纳入了 41 项研究，涵盖了生物医学/临床前（n=10）、临床（n=26）、人群健康（n=2）及多个领域（n=3）共 30 个不同的 Clarivate 研究领域。
• 总体流行率： 2000 年至 2023 年间，健康科学文献中复现尝试的合并估计流行率为 1.6% (95% CI: 0.6–4.2%)。
• 变异性： 流行率因研究领域、研究方向以及识别尝试的方法不同而表现出显著差异。
  • 按领域划分： 人群健康领域的流行率最高 (3.5%)，其次是生物医学/临床前 (3.0%)、临床 (1.3%) 以及多个领域 (0.1%)。
  • 按识别方法划分： 通过语言推断 (12.6%) 或通过设计可比性推断 (11.9%) 的研究显示出较高的流行率，而明确报告为复现尝试的研究则较低 (0.3%)。
  • 按研究方向划分： 估计值范围从 0.0% 到 77.8%，但 30 个研究方向中有 22 个仅基于单项研究。
• 时间趋势： 元回归显示，2000 年至 2015 年间，每年复现尝试的发生比呈非显著性增加 (49.8% 的增加, p=0.03)。然而，在此之后，2016 年至 2023 年间出现了显著下降，每年发生的比率下降了 50.2% (p < 0.001)。
• 敏感性： 2016 年后的下降趋势对分析假设具有敏感性。当敏感性分析将多年期数据分配不同的出版年份（最早、中位数、最晚）时，观察到的下降趋势变得不再显著，这表明应对该趋势进行谨慎解读。

意义与主张
作者得出结论，尝试复现健康科学研究的研究仅占文献的一小部分，且可能正在减少。本研究强调了以下几个关键影响：

1. 增加投入的必要性： 尽管复现性的重要性已得到公认，但致力于此的文献比例仍然很低，且自 2016 年以来似乎有所下降。作者主张应加大对复现尝试的投入，以识别不可复现的科学并建立稳健的证据基础。
2. 分类标准化： 由于识别尝试的方法不同（显式与推断）导致流行率估计值存在显著差异，这凸显了对复现尝试进行标准化分类和报告的需求。区分刻意进行的复现尝试与偶然发生的复现尝试对于准确的元科学研究至关重要。
3. 监测特定领域： 作者注意到目前缺乏针对方法学复现和推断复现的具体估计。他们建议，监测这些类型的复现至关重要，特别是考虑到目前已有旨在提高方法学严谨性的干预措施（如方案注册、报告指南）。
4. 未来的研究方向： 本文呼吁开展初级研究，以量化不同复现类型的流行程度，并调查复现尝试的流行程度与其他科学稳健性指标（如偏倚风险、撤稿率）之间的关系。

该研究强调，研究复现性并未得到常规且一致的监测。因此，迫切需要增加复现尝试的数量，并实现其分类与报告的标准化，以便更好地评估科学发现的可信度。