Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

기술 요약: "보건 과학 연구의 재현 시도는 드물며 시간이 지남에 따라 감소하고 있을 수 있음"

문제 제기
보건 과학 분야에서 재현 불가능한 연구가 자원 낭비, 환자 위해, 공공 신뢰 저하의 원인으로 지목되며 재현성 문제에 대한 우려가 확산되고 있음에도 불구하고, 과학계가 이전 연구를 재현하기 위해 얼마나 자주 시도하는지에 대한 체계적인 정량화는 부족한 실정이다. 보건 과학 방법론과 결과의 상당 부분이 재현되지 못할 것으로 추정되지만, 이 문제를 모니터링하기 위한 전용 재현 연구가 얼마나 빈번하게 수행되는지는 명확하지 않다. 또한, 증가하는 재현성 우려에 대응하는 이러한 노력의 시간적 추세 역시 제대로 규명되지 않았다. 본 연구는 재현 시도의 유병률(prevalence), 이를 식별하는 방법, 그리고 시간 경과에 따른 진화에 관한 지식 격차를 다룬다.

연구 방법론
본 체계적 문헌 고찰 및 메타 분석은 PRISMA 가이드라인과 코크란 핸드북을 준수하였으며, 프로토콜은 PROSPERO에 사전에 등록되었다.

• 데이터 소스: 저자들은 2000년 1월 1일부터 2023년 5월 31일까지의 MEDLINE, Embase, Web of Science, Cochrane Controlled Trials Registry, Cochrane Database of Systematic Reviews 및 회색 문헌을 검색하였다.
• 선정 기준: 1999년 이후 발표된 영문 연구 중 보건 과학 분야 내에서 이전 또는 동시 연구를 재현하는 데 할애된 연구 논문의 비율을 추정한 연구를 포함하였다.
• 재현성의 분류: 시도는 세 가지 유형으로 분류되었다:
  1. 방법론적(Methodological): 다른 연구의 방법을 정확히 반복함.
  2. 결과(Results): 동일하거나 유사한 방법을 사용하여 결과를 비교함 (근사적, 재시험, 또는 미지정으로 추가 분류).
  3. 추론적(Inferential): 원래 데이터의 재분석을 포함하여 결론을 비교함.
• 식별 방법: 본 검토는 재현 시도를 식별하는 방법을 분석하였다: (1) 연구 언어에 기반한 추론, (2) 연구 간 설계 요소의 비교 가능성에 기반한 추론, 또는 (3) 해당 연구가 재현 시도임을 명시적으로 보고함.
• 통계 분석: 유병률 추정치는 표본 크기에 따라 가중치를 둔 무작위 효과 모델(혼합 효과 로지스틱 회귀)을 사용하여 메타 분석되었다. 이질성은 Cochrane의 Q를 사용하여 평가하였다. 시간 변동 공변량을 사용한 메타 회귀 분석을 통해 시간적 추세를 평가하였으며, 통계적 유의성 임계값은 p < 0.01로 설정하였다. 다년도 데이터셋을 고려하기 위해 기초 데이터의 가장 이른, 중앙값, 가장 늦은 출판일을 사용하는 민감도 분석을 수행하였다.

주요 결과

• 연구 선택: 55,218개의 스크리닝된 논문 중 41개의 연구가 포함되었으며, 이는 생물 의학/전임상(n=10), 임상(n=26), 인구 보건(n=2), 다중 영역(n=3)을 아우르는 30개의 고유한 Clarivate 연구 영역을 나타낸다.
• 전체 유병률: 2000년에서 2023년 사이 보건 과학 문헌에서 나타난 재현 시도의 통합 추정 유병률은 1.6% (95% CI: 0.6–4.2%)였다.
• 변동성: 유병률은 연구 영역, 연구 분야, 그리고 시도를 식별하는 방법에 따라 유의하게 차이가 났다.
  • 연구 영역별: 인구 보건이 가장 높은 유병률(3.5%)을 보였고, 생물 의서/전임상(3.0%), 임상(1.3%), 다중 영역(0.1%)이 그 뒤를 이었다.
  • 식별 방법별: 언어를 통해 추론된 경우(12.6%)나 설계 비교성을 통해 추론된 경우(11.9%)가 재현 시도로 명시적으로 보고된 경우(0.3%)보다 훨씬 높은 유병률을 보였다.
  • 연구 분야별: 추정치는 0.0%에서 77.8%까지 다양했으나, 30개 연구 영역 중 22개는 단일 연구에 기반하였다.
• 시간적 추세: 메타 회귀 분석 결과, 2000년에서 2015년 사이에는 재현 시도의 연간 오즈(odds)가 유의하지 않은 증가(49.8% 증가, p=0.03)를 보였다. 그러나 이후 2016년에서 2023년 사이에는 유의한 감소가 나타났으며, 연간 오즈가 50.2% 감소하였다 (p < 0.001).
• 민감도: 2016년 이후의 감소 경향은 분석 가정에 민감했다. 민감도 분석에서 다년도 데이터에 대해 서로 다른 출판 연도(가장 이른, 중앙값, 가장 늦은)를 할당했을 때, 관찰된 감소가 유의하지 않게 되었으며, 이는 해당 추세를 주의해서 해석해야 함을 시사한다.

의의 및 주장
저자들은 보건 과학 연구의 재현 시도가 문헌의 적은 부분을 차지하며 감소하고 있을 수 있다고 결론짓는다. 본 연구는 다음과 같은 몇 가지 중요한 시사점을 강조한다:

1. 노력 증대의 필요성: 재현성의 중요성이 인식되고 있음에도 불구하고, 재현에 할애된 문헌의 비율은 낮으며 2016년 이후 감소한 것으로 보인다. 저자들은 재현 불가능한 과학을 식별하고 견고한 증거 기반을 구축하기 위해 재현 시도에 대한 더 많은 투자가 필요하다고 주장한다.
2. 분류의 표준화: 재현 시도를 식별하는 방식(명시적 vs 추론적)에 따라 유병률 추정치가 크게 달라진다는 점은 재현 시도를 분류하고 보고하는 표준화된 방법의 필요성을 뒷받침한다. 의도적인 재현 시도와 부수적인 재현 시도를 구분하는 것은 정확한 메타 과학을 위해 필수적이다.
3. 특정 영역의 모니터링: 저자들은 방법론적 및 추론적 재현에 대한 추정치가 부족하다는 점에 주목한다. 이들은 방법론적 엄격성을 개선하기 위한 기존의 개입(예: 프로토콜 등록제, 보고 가이드라인)을 고려할 때, 이러한 유형의 재현을 모니터링하는 것이 매우 중요하다고 제안한다.
4. 향후 연구 방향: 본 논문은 다양한 재현 유형의 유병률을 정량화하고, 재현 시도의 유병률과 기타 과학적 견고성 지표(예: 편향 위험, 철회율) 간의 관계를 조사하는 1차 연구를 촉구한다.

본 연구는 연구 재현성이 일상적이고 일관되게 모니터링되지 않고 있음을 강조한다. 따라서 과학적 발견의 신뢰성을 더 잘 평가하기 위해서는 재현 시도의 양을 늘리고 그 분류 및 보고를 표준화해야 한다는 긴급한 필요성이 존재한다.