Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

技術的要約：「健康科学研究における再現試行は稀であり、時間の経過とともに減少している可能性がある」

問題提起
健康科学における再現不可能な研究（資源の浪費、患者への危害、および公衆の信頼失墜の要因として指摘されている）に関する懸念が広がっているにもかかわらず、科学コミュニティが先行研究の再現をどの程度の頻度で行っているかについて、系統的な定量化が行われていない。健康科学の手法や結果の相当部分が再現できないと推定されている一方で、この問題を監視するための専用の再現性研究がどの程度実施されているのかは不明なままである。さらに、再現性への関心の高まりに応じたこれらの取り組みの時系列的な傾向についても、十分に特徴付けられていない。本研究は、再現試行の普及率、それらを特定するための手法、およびその変遷に関する知識の空白に対処するものである。

方法論
本系統的レビューおよびメタ解析は、PRISMAガイドラインおよびコクランハンドブックに従い、プロトコルは事前にPROSPEROに登録された。

• データソース： 著者らは、2000年1月1日から2023年5月31日までの期間を対象に、MEDLINE、Embase、Web of Science、Cochrane Controlled Trials Registry、Cochrane Database of Systematic Reviews、およびグレー文献を検索した。
• 選択基準： 健康科学における先行研究または並行研究の再現に充てられた研究論文の割合を推定している、1999年以降に発表された英語の論文とした。
• 再現性の分類： 試行は以下の3つのタイプに分類された：
  1. 手法的（Methodological）： 他の研究の手法を正確に繰り返すもの。
  2. 結果的（Results）： 同様または類似の手法を用いて結果を比較するもの（さらに、近似的、再テスト、または未指定に分類）。
  3. 推論的（Inferential）： 元のデータの再解析を含む、結論の比較。
• 特定方法： 本レビューでは、研究がどのように再現試行を特定したかを分析した：(1) 研究の言語に基づく推論、(2) 研究間のデザイン要素の比較可能性に基づく推論、または (3) その研究が再現試行であるという明示的な報告。
• 統計解析： 普及率の推定値は、サンプルサイズで重み付けされたランダム効果モデル（混合効果ロジスティック回帰）を用いてメタ解析を行った。異質性はCochraneのQを用いて評価した。時変共変量を用いたメタ回帰により、時系列的な傾向を評価した。統計的有意水準は p < 0.01とした。複数年にわたるデータセットを考慮するため、基礎となるデータの「最早の出版年」、「中央値の出版年」、「最新の出版年」を用いた感度分析を実施した。

主な結果

• 研究の選択： スクリーニングされた55,218件の論文から、41件の研究が抽出された。これらは、生物医学・前臨床（n=10）、臨床（n=26）、人口統計学的健康（n=2）、および複数のドメイン（n=3）にわたる30の異なるClarivate研究領域を代表している。
• 全体的な普及率： 2000年から2023年までの健康科学文献における再現試行の統合推定普及率は 1.6%（95% CI: 0.6–4.2%）であった。
• 変動性： 普及率は、研究ドメイン、研究領域、および試行を特定する方法によって大きく変動した。
  • ドメイン別： 人口統計学的健康が最も高い普及率（3.5%）を示し、次いで生物医学・前臨床（3.0%）、臨床（1.3%）、および複数ドメイン（0.1%）となった。
  • 特定方法別： 言語による推論（12.6%）またはデザインの比較可能性による推論（11.9%）を用いた研究は、再現試行として明示的に報告された研究（0.3%）よりもはるかに高い普及率を示した。
  • 研究領域別： 推定値は0.0%から77.8%の範囲であったが、30の領域のうち22の領域は単一の研究に基づいていた。
• 時系列的傾向： メタ回帰により、2000年から2015年の間における年間あたりの再現試行のオッズは非有意な増加（49.8%の増加、p=0.03）が特定された。しかし、その後、2016年から2023年の間に有意な減少（年間オッズの50.2%減少、p < 0.001）が続いた。
• 感度： 2016年以降の減少という結果は、分析上の仮定に敏感であった。感度分析において、複数年データに対して異なる出版年（最早、中央値、最新）を割り当てた場合、観察された減少は非有意となり、この傾向は注意深く解釈すべきであることが示唆された。

意義および主張
著者らは、健康科学の研究における再現試行は文献の極めて小さな割合を占めており、減少している可能性があると結論付けている。本研究は以下の重要な示唆を強調している：

1. 取り組みの増強の必要性： 再現性の重要性が認識されているにもかかわらず、再現に充てられる文献の割合は低く、2016年以降減少しているように見える。著者らは、再現不可能な科学を特定し、強固なエビデンスベースを構築するために、再現試行への投資を拡大すべきであると主張している。
2. 分類の標準化： 再現試行がどのように特定されるか（明示的か推論か）によって普及率の推定値が大きく異なることは、再現試行を分類・報告するための標準化された手法の必要性を裏付けている。意図的な再現試行と偶発的な再現試行を区別することは、正確なメタ科学のために不可欠である。
3. 特定ドメインのモニタリング： 著者らは、手法的および推論的な再現性に特化した推定値が不足していることを指摘している。彼らは、手法的な厳密さを向上させるための既存の介入（例：プロトコル登録、報告ガイドライン）を考慮すると、これらのタイプのモニタリングが極めて重要であると示唆している。
4. 今後の研究の方向性： 本論文は、異なる種類の再現性の普及率を定量化し、再現試行の普及率と他の科学的堅牢性の指標（例：バイアスリスク、撤回率）との関係を調査する一次研究を求めている。

本研究は、研究の再現性が日常的かつ一貫して監視されていないことを強調している。したがって、科学的知見の信頼性をより良く評価するために、再現試行の量を増やし、その分類と報告を標準化することが急務である。