p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

마크 루빈 (Mark Rubin) 의 논문 **"p-Hacking in the Formal Inference Approach"**은 통계적 유의성 검정에서 'p-hacking(데이터 조작을 통한 유의한 결과 도출)'이 Type I 오류 (거짓 긍정) 비율에 미치는 영향에 대해 두 가지 상반된 철학적 관점인 **오류 통계적 접근법 (Error Statistical Approach)**과 **형식적 추론 접근법 (Formal Inference Approach)**을 비교 분석한 논문입니다.

아래는 이 논문의 문제 제기, 방법론, 주요 기여, 결과 및 의의에 대한 상세한 기술적 요약입니다.

1. 문제 제기 (Problem)

• p-hacking 의 정의: 연구자가 다수의 유의성 검정을 수행한 후, 원하는 (일반적으로 유의한) 결과만 선택적으로 보고하고 다중 검정 보정을 하지 않는 행위.
• 기존의 통념: p-hacking 은 Type I 오류율을 명목 수준 (예: 0.05) 이상으로 부풀려 (inflation) 문헌 내 거짓 긍정 결과를 증가시키고, 재현성 위기 (replication crisis) 의 주요 원인으로 간주됨.
• 논문의 핵심 질문: p-hacking 이 Type I 오류율을 실제로 부풀리는가? 이는 통계적 추론의 철학적 기반 (오류 통계론 vs 형식적 추론론) 에 따라 어떻게 달라지는가?

2. 방법론 및 이론적 틀 (Methodology & Theoretical Framework)

저자는 두 가지 대조되는 통계 철학을 비교하여 p-hacking 의 영향을 분석합니다.

A. 오류 통계적 접근법 (Error Statistical Approach)

• 대표 학자: 데보라 메이요 (Deborah Mayo) 등.
• 핵심 개념:
  • '실제' (Actual) 테스트 절차: 연구자가 수행한 모든 과정 (보고되지 않은 테스트 포함) 을 포함하는 전체 절차를 의미.
  • 오류율의 정의: 장기적인 반복 표집에서의 성능 (long-run performance) 과 특정 사례에서의 엄격성 (severity) 을 중시.
  • p-hacking 의 영향: p-hacking 은 '실제' 테스트 절차에 포함되므로, 보고된 단일 검정의 명목 오류율 (0.05) 이 아닌, 모든 시도된 검정을 포괄하는 **가족별 오류율 (Familywise Error Rate, FWER)**이 실제 오류율이 됨.
  • 결과: FWER 는 $1 - (1-\alpha)^k$ (k 는 검정 수) 로 계산되므로, p-hacking 은 명목 오류율을 실제 오류율보다 훨씬 높게 만들어 Type I 오류를 '부풀린다 (inflate)'고 주장.

B. 형식적 추론 접근법 (Formal Inference Approach)

• 저자의 주장 (Rubin, 2021b, 2024a, 2024b 등).
• 핵심 개념:
  • 형식적으로 보고된 추론 (Formally Reported Inference): 연구자가 공개적으로 보고한 통계적 추론 (가설, 검정 수, 알파 수준) 만이 관련 오류율을 결정함. '실제' 수행 과정이나 심리적 의도는 추론의 유효성과 무관.
  • 추론의 범주:
    1. 개별 추론 (Individual Inference): 단일 가설에 대한 결정. 오류율은 명목 $\alpha$.
    2. 결합 - 교차 추론 (Union-Intersection Inference): 여러 가설 중 하나라도 유의하면 전체를 기각. 이때만 FWER 보정 필요.
    3. 교차 - 결합 추론 (Intersection-Union Inference): 모든 가설이 유의해야 전체를 기각.
  • p-hacking 의 영향: p-hacking 연구자는 보통 '결합 - 교차 추론' (전체 가설 집합의 기각) 을 보고하지 않고, 선택된 '개별 추론' (특정 가설 $H_{0,2}$의 기각) 만 보고함.
  • 논리적 근거:
    • 보고된 개별 추론은 해당 개별 가설에 대한 명목 오류율 ($\alpha$) 로만 라이선스 (허가) 됨.
    • '실제' FWER 는 보고된 개별 추론과 **비교 불가능 (incommensurate)**함. 이는 전체 집합의 확률 (Union probability) 을 개별 구성원의 확률 (Individual probability) 에 적용하는 **분할의 오류 (Fallacy of Division)**이기 때문.
    • 따라서 p-hacking 은 보고된 개별 추론의 Type I 오류율을 부풀리지 않음.

3. 주요 기여 및 결과 (Key Contributions & Results)

1) p-hacking 과 Type I 오류율 부풀림에 대한 이분법적 결론

• 오류 통계적 접근법: p-hacking 은 '실제' 테스트 절차의 일부이므로 FWER 를 증가시키고, 이는 명목 오류율과의 불일치를 초래하여 Type I 오류율을 부풀린다.
• 형식적 추론 접근법: p-hacking 은 보고된 '형식적' 추론의 일부가 아니므로, 보고된 개별 추론의 Type I 오류율은 부풀리지 않는다. 오류율은 보고된 가설과 모델에 기반한 명목 수준 ($\alpha$) 에서 유효하게 유지됨.

2) '실제' 오류율과 '명목' 오류율의 비교 불가능성

• 형식적 접근법에서는 p-hacking 으로 인해 숨겨진 다른 검정들이 있었다고 해서, 보고된 특정 검정의 오류율이 변한다고 볼 수 없음. 이는 다른 브랜드의 임신 테스트가 서로 다른 오류율을 가진다고 해서 하나가 다른 것의 오류율을 '부풀렸다'고 말하는 것과 논리적으로 동일함.
• FWER 는 교차 가설 ($H_{0,1} \cap H_{0,2}$) 에 대한 오류율일 뿐, 개별 가설 ($H_{0,2}$) 에 대한 오류율이 아님.

3) 최소 엄격성 요구사항 (Minimal Severity Requirement) 의 불필요성

• 오류 통계론은 체계적 오류 (systematic error) 를 배제하기 위해 '최소 엄격성'을 요구하지만, 형식적 추론 접근법에서는 Type I 오류율이 가정된 조건 (i-assumptions) 하에서의 확률적 명제이므로, 실제 데이터의 체계적 오류나 가설 선택의 편향과 무관하게 유효함.
• 즉, p-hacking 이나 데이터 조작이 있더라도, 보고된 통계적 추론 자체의 수학적 유효성 (Type I 오류율) 은 훼손되지 않음.

4) 재현성 위기 (Replication Crisis) 에 대한 새로운 해석

• 오류 통계적 관점: 재현성 위기는 p-hacking 으로 인한 오류율 부풀림이 원인.
• 형식적 추론 관점: 재현성 위기는 Type I 오류율 부풀림이 아니라, **체계적 오류 (Systematic Error) 와 해석적 오류 (Interpretational Error)**의 과소평가에서 기인함.
  • 연구자들은 p-hacking 한 결과라도 명목 오류율 내에서 통계적으로 유효한 개별 추론을 보고함.
  • 문제는 통계적 오류가 아니라, 숨겨진 조절 변수 (hidden moderators) 나 이론적 오해로 인한 실질적 해석 오류가 재현 실패를 초래한다는 점.

4. 의의 및 시사점 (Significance & Implications)

1. p-hacking 의 개념적 재정의:

   • p-hacking 을 단순히 '사기'나 '비윤리적 행위'로만 규정하기보다, 통계 철학에 따라 그 영향이 다르게 해석될 수 있음을 보여줌.
   • 형식적 추론 관점에서는 p-hacking 이 통계적 오류율 자체를 왜곡하지 않으므로, 이를 '의심스러운 연구 관행 (Questionable Research Practice)'으로 보되 통계적 유효성을 부정하는 것은 논리적 오류일 수 있음.

2. 재현성 위기의 해결책:

   • 통계적 방법론 (예: preregistration, 보정) 만으로는 재현성 위기를 해결할 수 없음.
   • 대신, **비판적 합리적 논의 (Critical Rational Discussion)**를 통해 이론적 배경과 숨겨진 가정을 명확히 하고, '무지의 무지 (unknown unknowns)'를 인정하는 인식론적 전환이 필요함.

3. 실무적 함의:

   • 오류 통계적 접근: p-hacking 탐지를 위해 실험 맥락 감사 (audit) 와 사전 등록 (preregistration) 을 강조.
   • 형식적 추론 접근: 보고된 추론의 명목 오류율은 그대로 받아들일 수 있으나, **보고되지 않은 영구 결과 (null results)**가 이론적으로 관련성이 있고 '부재의 증거 (evidence of absence)'로 간주될 경우, 이는 실질적 추론을 편향시킬 수 있음을 경고. 따라서 동료 검토와 이론적 논의를 통해 중요한 영구 결과를 식별해야 함.

요약

이 논문은 p-hacking 이 통계적 Type I 오류율을 부풀리는지 여부가 어떤 통계 철학을 채택하느냐에 달려 있음을 논증합니다. 오류 통계적 접근법에서는 p-hacking 이 실제 테스트 절차를 왜곡하여 오류율을 부풀린다고 보지만, 형식적 추론 접근법에서는 보고된 개별 추론의 논리적 구조가 변하지 않았으므로 오류율은 유효하다고 주장합니다. 저자는 재현성 위기의 근본 원인이 통계적 오류율의 부풀림이 아니라, 체계적 오류와 이론적 해석의 한계임을 지적하며, 통계적 방법론적 개선보다는 인식론적 성찰과 비판적 논의를 통한 과학적 문화의 변화를 촉구합니다.