The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

데베제르와 부즈바스의 논문 " '재현 가능'과 '재현 불가능'의 차이는 그 자체로 과학적으로 재현 가능하지 않다"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 **재현율 (replicability rates)**과 관련된 현재 메타과학적 관행의 근본적인 결함을 다룹니다. 과학계는 일반적으로 여러 연구에서 나온 이진적 결론 (재현됨 vs 재현되지 않음) 을 집계하여 해당 분야나 특정 결과에 대한 평균 재현율 ($\mu$) 을 추정합니다. 그런 다음 이 비율은 "신뢰할 수 있는" 결과와 "의심스러운" 결과를 구분하거나 "재현 위기"를 선언하는 데 사용됩니다.

저자들은 이러한 관행이 통계적으로 타당하지 않다고 주장합니다. 그 이유는 다음과 같습니다.

1. 정확성의 부재: 실제 세계의 재현 연구는 거의 "정확한 (reference 와 통계적으로 동등한)" 경우가 드뭅니다. 피험자 집단, 절차, 맥락이 서로 달라 **이질성 (heterogeneity)**이 발생합니다.
2. 데이터 구조의 한계: 표준 재현 연구는 실험당 단 하나의 이진적 결론만 보고합니다. 이러한 데이터 구조는 표본 추출 오차와 실험 간 이질성을 구별하는 데 필요한 정보를 결여하고 있습니다.
3. 핵심 주장: 현재 방법론을 사용하면, 많은 수의 재현 연구가 있더라도 "재현 가능한" 결과 (높은 $\mu$) 와 "재현 불가능한" 결과 (낮은 $\mu$) 사이의 차이를 신뢰성 있게 구별할 수 없습니다. 이러한 결론을 도출하는 통계적 기구는 정확성이 결여된 현실적인 조건 하에서 구별 능력을 상실합니다.

2. 방법론

저자들은 정확성이 결여된 현상의 존재론적 원인을 포착하기 위해 두 가지 다른 통계 모델을 사용하여 문제를 공식화했습니다.

A. 기준 모델 (공유 잠재적 비율)

• 가정: 모든 $m$개의 재현 연구는 교환 가능하며, 평균 $\mu$와 클래스 내 상관관계 $\rho$를 가진 모집단 분포에서 추출된 단일 잠재적 재현율 $\phi$에 의존합니다.
• 메커니즘: 성공 횟수의 총합은 **베타 - 이항 분포 (Beta-Binomial distribution)**를 따릅니다.
• 핵심 통찰: $\rho$(이질성의 정도) 를 알고 있더라도, $m \to \infty$일 때 추정된 평균 $\hat{\mu}$의 분산은 **회복 불가능한 분산 바닥 (irreducible variance floor)**을 가집니다:
  $$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$$
  이는 $\rho > 0$인 경우 재현을 더 추가하더라도 불확실성을 제거할 수 없음을 의미합니다. 높은 재현율 영역과 낮은 재현율 영역의 신뢰구간이 겹치게 되어 구별이 불가능해집니다.

B. 운영 모델 (조건부 독립 비율)

• 가정: 이 모델은 실제 관행을 반영하며, 여기서 $m$개의 실험 각각은 고유한 (정확하지 않은) 것이며, 모집단 분포에서 독립적으로 추출된 자체 재현율 $\phi_i$를 가집니다.
• 데이터 구조: 각 실험 $i$는 정확히 하나의 이진적 결론 ($k_i = 1$) 에 기여합니다.
• 핵심 통찰: $k_i = 1$일 때, 매개변수 $\rho$(이질성) 는 데이터로부터 **식별 불가능 (non-identifiable)**해집니다. 이진 결과의 결합 분포는 $\rho$의 실제 값과 관계없이 단순한 이항 분포 $Bin(m, \mu)$로 축소됩니다.
• 결과: 연구자들은 더 많은 재현이 도움이 되는 저이질성 영역에서 작동하는지, 그렇지 않은 고이질성 영역에서 작동하는지 알 수 없습니다. 데이터 구조는 체계적으로 불확실성을 과소평가합니다.

C. 수치적 예시 및 재분석

저자들은 다음을 통해 이론을 검증했습니다:

1. 생성 모델: (a) 표본 이질성(서로 다른 피험자 집단) 과 (b) 자극/투여량 이질성(전달 오류 및 편향) 에서 발생하는 이질성을 시뮬레이션했습니다. 이러한 물리적 원천이 어떻게 높은 $\rho$값으로 매핑되는지 보여주었습니다.
2. 사례 연구 (Many Labs 4): "테러 관리 이론 (Terror Management Theory)" 재현 프로젝트에 대한 재분석입니다.
   • 연속적인 효과 크기 (Hedges' $g$) 에 보조 정규 랜덤 효과 모델을 사용하여 암시적 $\rho$를 추정했습니다.
   • 이러한 추정치를 기준 모델에 매핑하여 결과적으로 생성된 분산 구간이 너무 넓어 이진 분류가 불가능함을 입증했습니다.

3. 주요 기여

• 비식별성의 공식화: 논문은 표준적인 "실험당 하나의 이진적 결론" 설계 하에서 정확성 결여의 정도 ($\rho$) 가 수학적으로 식별 불가능함을 증명합니다. 결과적으로 평균 재현율의 정밀도를 평가할 수 없습니다.
• 회복 불가능한 분산 바닥: 이질성이 정밀도에 대한 엄격한 한계를 만든다는 것을 확립합니다. 표본 오차와 달리 ($N$이 증가함에 따라 감소), 이질성으로 인한 분산은 재현 횟수와 관계없이 일정하게 유지됩니다.
• "재현 역설": 저자들은 이질적인 환경에서 재현 횟수를 늘리는 것이 $\rho$를 무시할 경우 잘못된 정밀도 감각을 초래하거나, $\rho$를 인정할 경우 단순히 높음/낮음 재현율을 구별하지 못하게 만든다고 입증했습니다.
• 집계의 비판: 그들은 "심리학 전체"와 같이 다양한 문헌에 걸친 재현율을 집계하는 것은 비교 불가능한 실험 영역을 혼동하는 무의미한 평균을 산출한다고 주장합니다.

4. 주요 결과

• 구별 능력 상실: 현실적인 이질성 (예: $\rho = 0.15$) 하에서, "높은" 재현율 (예: $\mu=0.80$) 과 "낮은" 재현율 (예: $\mu=0.20$) 에 대한 95% 최대 밀도 구간 (HDI) 은 $m=50$개의 재현이 있더라도 상당히 겹칩니다.
• 유효 표본 크기: 유효한 독립 재현 횟수 ($m_e$) 는 $\rho$가 증가함에 따라 급격히 감소합니다. 예를 들어, Reproducibility Project: Psychology($m=100$) 에서 $\rho=0.20$이라면, 추론적 가중치는 정확히 5 번의 재현과 동등합니다.
• Many Labs 4 분석:
  • ML4 시퀀스에 대한 추정 $\rho$는 높았습니다 (사후 평균 $\approx 0.37$에서 $0.59$).
  • 이러한 수준의 이질성에서 추정된 재현율에 대한 95% HDI 는 거의 전체 [0, 1] 구간에 걸쳐 있습니다.
  • 데이터는 근본적인 효과가 실제로 재현 가능한지 여부를 구별할 수 없습니다. 이 시퀀스는 "비진단적 (non-diagnostic)"입니다.
• 편향과 노이즈: 체계적 편향 (예: 자극의 과소 전달) 은 평균 $\mu$를 이동시키고, 노이즈는 $\rho$를 팽창시킵니다. 둘 다 apparent 재현율을 왜곡하고 이진적 결론을 내리는 능력을 훼손합니다.

5. 중요성과 함의

• "위기" 서사의 반박: 저자들은 현재의 방법론으로는 "재현 위기"를 입증할 수 없다고 주장합니다. 낮은 재현율 (예: 36%) 은 진정한 효과의 기본 비율과 이질성의 정도가 알려지지 않았기 때문에, 작은 노이즈가 많은 건강한 문헌과 통계적으로 구별되지 않습니다.
• 구별 실패: "재현 가능"과 "재현 불가능" 사이의 이진적 구분은 현재 방법론 하에서 결과의 과학적으로 재현 가능한 속성이 아닙니다.
• 실무에 대한 권장사항:
  • 이진적 결론 중단: 연구자들은 구분 목적을 위해 재현 결과를 단순한 "성공/실패" 횟수로 축소하는 것을 피해야 합니다.
  • 풍부한 데이터 구조: 이질성에 대한 정보를 회복하기 위해 연구는 연속적 결과, 실험당 여러 측정 ($k > 1$), 또는 계층적 설계가 필요합니다.
  • 초점의 전환: 재현은 개별 결과의 진위를 판단하는 "재판소" 역할을 하는 대신, 효과 크기 추정, 변동성 특성화, 절차 보정에 사용되어야 합니다.
• 이론적 발전: 논문은 재현성 문제를 해결하려면 임의의 기준 연구를 중심으로 프로토콜을 표준화하는 것보다, 더 강력한 이론적 예측 (기준점 정의) 이나 보조 노이즈를 제거하기 위한 "최소 실행 가능 실험"의 식별이 필요하다고 제안합니다.

결론적으로, 이 논문은 과학적 관행에서 피할 수 없는 이질성이 존재할 때, 이진적 재현 결론을 집계하는 현재의 패러다임이 높음과 낮음 재현율을 구별하는 데 근본적으로 무능하다는 엄밀한 통계적 증명을 제공합니다.