📊 statistics

Statistical Significance Revisited

본 논문은 표준 0.05 임계값의 폐기와 이분법적 가설 검정을 넘어선 이동과 같은 통계적 유의성 관행 개선을 위한 최근의 요구들을 제안된 변화들의 강점과 한계를 분석함으로써 검토한다.

원저자: Reason Machete

게시일 2026-05-08

📖 5 분 읽기🧠 심층 분석

원저자: Reason Machete

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 형사라고 상상해 보세요: 데이터에 실제 패턴이 있는 것일까, 아니면 단순히 우연일까?

거의 1 세기 동안 과학자들은 이 질문에 답하는 데 도움을 주기 위해 **유의성 검정 (Significance Test)**이라는 특정 도구 (그리고 그 주요 산출물인 p-값) 를 사용해 왔습니다. p-값을 '의심계 (suspicion meter)'라고 생각하세요. 만약 계기가 매우 낮게 (보통 0.05, 즉 5% 미만) 읽힌다면, 형사는 "이건 단순한 우연일 가능성이 너무 낮다; 여기에는 반드시 실제 패턴이 있어야 한다!"라고 말합니다.

그러나 최근 많은 사람들이 이 도구가 고장 났다고 주장합니다. 그들은 이 도구가 실제로 존재하지 않는 패턴을 찾아내는 '오경보 (false alarms)'를 너무 많이 유발하며, 5% 임계값은 임의적이라고 말합니다. R. L. Machete 가 쓴 이 논문은 이러한 불만들을 깊이 있게 파헤치며 묻습니다: 우리는 이 도구를 폐기해야 할까, 규칙을 강화해야 할까, 아니면 단순히 이를 더 잘 사용하도록 배워야 할까?

다음은 간단한 비유를 사용하여 이 논문의 주장들을 정리한 것입니다.

1. 두 가지 학파: 문지기 vs 도박사

이 논문은 이 도구의 역사를 설명하며 시작합니다.

피셔 (The Gatekeeper): 그는 결과가 '놀라울' 정도로 유의미하여 아무 일도 일어나지 않는다는 가설 (귀무가설) 을 기각할 수 있는지 보기 위해 이 검정을 고안했습니다. 그는 5% 임계값을 사용했지만, 이를 경직된 법칙처럼 취급하지 말라고 경고했습니다.
네이만과 피어슨 (The Gamblers): 그들은 내기에서 두 번째 측면을 추가했습니다. 그들은 "만약 실제 효과가 있다면, 우리가 그것을 놓칠 확률은 얼마나 될까?"라고 물었습니다. 그들은 **제 1 종 오류 (false alarms)**와 **제 2 종 오류 (실제 신호를 놓침)**의 개념을 도입했습니다.

비유: 공항의 금속 탐지기를 상상해 보세요.

피셔는 말합니다: "경보음이 울리면 의심스럽습니다."
네이만과 피어슨은 말합니다: "우리는 경보음의 균형을 맞춰야 합니다. 너무 민감하게 만들면 모든 벨트 버클을 잡아챕니다 (제 1 종 오류). 너무 둔하게 만들면 실제 무기를 놓칩니다 (제 2 종 오류)."

2. 큰 논쟁: "규칙을 더 엄격하게 만들자!"

최근 일부 과학자들 (Benjamin 등) 은 5% 임계값이 너무 느슨하다고 주장했습니다. 그들은 이를 0.5%(또는 0.005)로 변경하고 싶어 합니다.

그들의 논리: 금속 탐지기를 작동시키기 훨씬 더 어렵게 만들면, 가짜 경보를 덜 잡게 될 것입니다. 이는 실험을 성공적으로 반복 (복제) 하는 횟수를 두 배로 늘려야 합니다.
논문의 반박: 저자는 이것이 **상충 관계 (trade-off)**라고 말합니다. 탐지기를 작동시키기 어렵게 만들면, 당신은 분명히 실제 무기를 더 많이 놓치게 될 것입니다 (제 2 종 오류).
- 비용: 문턱이 너무 높게 설정되어 '매우 명백한' 것들만 통과하게 되므로, 실제 발견을 더 이상 하지 못하게 될 수 있습니다.
- 수학: 논문은 임계값을 낮추는 것이 오경보를 줄이기는 하지만, 처음부터 얼마나 많은 진정한 발견이 존재하는지 알지 않는 한 (보통 알 수 없는 일임) '복제 위기'를 자동으로 해결하지는 않는다고 보여줍니다.

3. "베이지안" 우회로: 확률 추측하기

일부 비판자들은 p-값이 이론이 처음부터 얼마나 유력했는지를 고려하지 않기 때문에 오해의 소지가 있다고 주장합니다. 그들은 베이지안 방법을 사용하도록 제안하는데, 이는 시작하기 전에 가설이 얼마나 유력하다고 생각하는지 나타내는 '사전 확률 (prior probability)'을 추측해야 합니다.

논문의 견해: 저자는 현실 세계에서는 이러한 사전 확률을 알 수 없는 경우가 많다고 주장합니다. 모든 과학 이론 중 실제로 참인 것의 비율을 쉽게 추측할 수는 없습니다.
비유: 모든 연구에 베이지안 방법을 적용하려는 시도는 차를 몰기 전에 차고지를 떠나기 전 교통 밀도를 추측하려는 것과 같습니다. 좋은 아이디어일 수는 있지만, 실제로는 우리가 그런 데이터를 가지고 있지 않은 경우가 많습니다. 논문은 오류 확률 (검정이 얼마나 자주 실수를 하는지) 에 머무는 것이 더 실용적이라고 제안합니다.

4. "폐기하자" 운동

일부 개혁파는 말합니다: "p-값과 임계값의 사용을 완전히 중단하세요! 그냥 숫자를 보고 사람들이 결정하게 하세요."

논문의 견해: 저자는 이것이 위험하다고 생각합니다.
- 비유: 의사가 "환자에게 열이 있는지 없는지 말하지 마세요. 그냥 체온을 알려주고 제가 추측하게 하세요"라고 말하는 상황을 상상해 보세요.
- 문제: 인간은 명확한 기준선 없이 이진 결정 (예/아니오) 을 내리는 데 서툴러요. 임계값을 제거한다고 해서 결정을 없애는 것이 아니라, 그 기준선을 숨기는 것뿐입니다. 결국 누군가는 결과가 '충분히 좋은지' 결정해야 합니다.
- 신뢰구간: 논문은 **신뢰구간 (신뢰할 수 있는 값의 범위)**을 보고해야 한다는 데 동의하지만, 이것이 p-값을 대체해서는 안 된다고 주장합니다. 그들은 지도와 나침반처럼 함께 작동해야 합니다.

5. "심각도 (Severity)" 검정: 데이터를 바라보는 새로운 방법

이 논문은 Mayo 라는 철학자의 개념인 **심각도 (Severity)**를 소개합니다.

아이디어: 단순히 검정을 통과하는 것만으로는 부족합니다. 당신은 이렇게 물어야 합니다: "만약 이 가설이 거짓이라면, 이 검정을 통과했을 확률은 얼마나 될까?"
비유: 용의자가 거짓말 탐지기를 통과했다고 상상해 보세요.
- 일반적인 검정: "그들은 통과했으니 무죄입니다."
- 심각도 검정: "그들이 유죄였다면, 이 특정 거짓말 탐지기가 그들을 잡아냈을까요? 기기가 고장 나 Everyone 을 통과시킨다면, '통과'는 아무것도 증명하지 못합니다. 하지만 기기가 매우 엄격하고 그들이 여전히 통과했다면, 그것은 무죄에 대한 심각한 증거입니다."
저자는 단일 숫자만 보는 것이 아니라 이 '심각도' 사고방식을 사용하여 데이터를 더 깊이 파헤칠 것을 제안합니다.

6. 실제 사례: 아프리카 사바나의 산불

이 도구들이 작동함을 증명하기 위해 저자는 아프리카의 산불에 대한 데이터를 살펴봅니다.

질문: 산불은 5 년 주기로 발생할까?
결과: 수학은 강력한 패턴 (매우 낮은 p-값) 을 보여주었습니다.
적용: 저자는 단순히 "유의하다"라고 말하지 않았습니다. 그들은 심각도 개념을 사용하여 "우리는 이 주기가 실제이며 우연이 아니라는 것에 95% 확신한다"라고 말했습니다. 또한 신뢰구간을 사용하여 그 주기가 얼마나 강력한지 정확히 보여주었습니다.
교훈: 이 도구들은 게임의 규칙을 변경할 필요 없이 명확하고 자신감 있는 답변을 제공하기 위해 함께 작동했습니다.

최종 판결

이 논문은 우리가 갈림길에 서 있다고 결론 내립니다.

도구를 폐기하지 마세요: p-값과 유의성 검정은 실제 과학과 노이즈를 구분하는 데 여전히 유용합니다.
나사를 단순히 조이지 마세요: 임계값을 0.005 로 낮추면 오경보는 줄어들 수 있지만, 실제 발견들도 숨겨질 것입니다.
도구를 현명하게 사용하세요: 과학자들은 도구의 주인이 되어야지 노예가 되어서는 안 됩니다. 그들은 p-값, 신뢰구간, 심각도 검정을 함께 사용하여 정보에 입각한 결정을 내려야 합니다.
진짜 적: 문제는 수학이 아니라 행동입니다. '데이터 드레징 (패턴을 찾을 때까지 데이터를 파헤치는 것)'과 '선택적 중단 (좋은 결과가 나오자마자 실험을 중단하는 것)'과 같은 것들이 나쁜 과학의 진짜 원인입니다. p-값 임계값을 변경한다고 해서 나쁜 행동을 고칠 수는 없습니다. 오직 더 나은 윤리와 인센티브만이 그것을 고칠 수 있습니다.

간단히 말해: 이 논문은 우리가 당황하여 통계의 규칙을 다시 쓰지 말아야 한다고 주장합니다. 대신 우리는 기존 도구를 신뢰하고, '심각도' 확인과 같은 더 세밀한 방식으로 사용하며, 나쁜 과학으로 이어지는 인간의 행동을 고치는 데 집중해야 합니다.

기술적 요약: 통계적 유의성 재조명

문제 제기
본 논문은 귀무가설 유의성 검정 (NHST) 에 관한 지속적인 논쟁, 특히 $p$ -값에 대한 의존성과 표준 유의성 임계값 $\alpha = 0.05$ 에 초점을 맞춘다. 임계값을 0.005 로 낮추는 제안, 신뢰구간을 위해 유의성 검정을 완전히 포기하는 제안, 또는 임계값 없이 $p$ -값을 연속적으로 보고하는 제안 등을 포함한 최근의 개혁 요구들은 과학의 재현성 위기에 관한 논쟁을 촉발시켰다. 저자는 제 1 종 오류와 제 2 종 오류를 어떻게 균형 있게 조절할 것인지에 대한 합의 부재, 임계값 변경을 정당화하기 위해 베이즈 진단 스크리닝 공식을 사용하는 것의 타당성, 그리고 오차 통계학적 방법을 의사결정 이론이나 비용 - 편익 분석으로 대체할 수 있는지에 대한 실현 가능성 문제를 지적한다.

방법론
본 논문은 다양한 개혁안을 평가하기 위해 이론적 및 분석적 접근법을 사용한다. 방법론에는 다음이 포함된다:

이론적 유도: 저자는 진단 스크리닝 공식 (귀무가설의 베이즈 사후 확률) 을 사용하여 유의성 임계값 ( $\alpha$ ), 제 2 종 오류율 ( $\beta$ ), 그리고 위양성률 (FPR) 간의 관계를 유도한다. 여기에는 FPR 의 $\alpha$ 와 $\beta$ 에 대한 편미분을 분석하는 과정이 포함된다.
트레이드오프 분석: 본 논문은 빈도주의 프레임워크 내에서 제 1 종 오류와 제 2 종 오류 사이의 내재적 트레이드오프를 수학적으로 증명하며, 이는 제 1 종 오류를 줄이면 제 2 종 오류를 증가시키지 않고도 위양성률 (FPR) 을 동시에 줄일 수 있다고 주장하는 진단 스크리닝 모델의 가정과 대비된다.
재현성 확률 모델링: 대립가설 하의 $p$ -값 분포를 로그정규 근사 (Hung et al., 1997 기반) 를 사용하여 분석하여 재현성 확률 공식을 유도한다.
비용 함수 분석: 제 1 종 및 제 2 종 오류 비용을 기반으로 최적 임계값을 결정하기 위해 빈도주의 비용 최소화 프레임워크를 구축하고, 이를 베이즈 기대 효용 이론과 비교한다.
심각도 평가: 본 논문은 주장들을 평가하기 위해 Mayo(2018) 의 심각도 함수를 적용하여, 가설 검정을 포기하지 않으면서도 신뢰구간을 보완할 수 있는 방법을 보여준다.
구체적 예시: 이론적 개념들을 사하라 사막 이남의 사바나에서 발생한 산불 면적 비율의 자기상관 (2001~2020 년) 에 관한 실제 데이터셋에 적용하여 $p$ -값, 신뢰 한계, 그리고 심각도의 계산을 시연한다.

주요 기여

임계값 축소 비판: 본 논문은 유의성 임계값을 0.05 에서 0.005 로 낮추는 제안을 비판한다. $\alpha$ 를 낮추면 위양성률이 감소하지만, 필연적으로 제 2 종 오류율 ( $\beta$ ) 이 증가함을 보여준다. 저자는 순이익이 현재 임계값에서의 '진양성률' (또는 양성 예측도) 에 크게 의존한다고 주장하며, 이 양은 대부분의 분야에서 정확하게 추정하는 것이 사실상 불가능하다고 본다.
베이즈 대 빈도주의 구분: 저자는 임계값 축소 지지자들이 사용하는 진단 스크리닝 공식 (예: Benjamin et al., 2017) 이 근본적으로 베이즈적이며, 종종 알려지지 않았거나 계산 불가능한 사전 확률 ( $\phi$ ) 에 의존한다고 명확히 한다. 본 논문은 이러한 베이즈 사후 확률과 빈도주의 오차 확률을 혼용하는 것은 혼란을 초래한다고 주장한다.
임계값 설정 옹호: 본 논문은 의사결정이 종종 이분법적 선택을 요구하기 때문에 임계값을 완전히 포기하는 것은 비현실적이라고 주장한다. 신뢰구간과 $p$ -값은 서로 쌍대 관계이며 둘 다 근본적인 임계값에 의존한다고 본다. 임계값 없이 $p$ -값을 연속적으로 보고하는 것은 단순히 '공개되지 않은 임계값'을 만들어낼 뿐이다.
비용 - 편익의 한계: 비용 함수 분석은 기대 비용을 최소화하는 최적 임계값이 종종 표준 유의성 수준 (예: 0.05) 과 일치하지 않으며, 많은 실제 시나리오 (예: 지구 온난화, 신약 개발) 에서 오류 비용을 정량화하는 것이 비현실적임을 보여준다.
보완책으로서의 심각도: 본 논문은 유의성 검정 후 매개변수 공간을 더 깊이 탐구하기 위해 심각도 함수의 사용을 옹호하며, 오차 통계학적 프레임워크를 폐기하지 않고도 특정 주장에 대한 증거의 강도를 평가할 수 있는 방법을 제시한다.

결과

임계값 축소 분석: 수학적 분석은 $\beta$ 가 증가하더라도 $\alpha$ 를 줄이면 위양성률이 감소함을 확인하지만, 이 감소의 크기는 사전 오즈비에 매우 민감함을 보여준다. 본 논문은 임계값을 10 배 줄여 재현율을 2 배로 높이는 것은 지배적인 진양성률이 정확히 4/9 일 때만 가능함을 유도한다.
재현성 확률: $p$ -값 분포에서 유도된 재현성 확률은 지배적인 시나리오가 반드시 대립가설이 아닐 수 있으므로 경험적 현실을 반영하지 못할 수 있는 이론적 구성물임을 발견한다.
비용 분석: 예시 비용 함수 그래프에서 최소화를 위한 임계값은 1.5 미만 (즉, $\alpha > 0.07$ 에 해당) 인 것으로 나타났는데, 이는 표준 임계값이 항상 비용 최소화 선택이 아님을 시사하지만, 오류 비용을 정량화할 수 없는 능력 부족으로 인해 비용 분석의 적용은 종종 제한된다.
사바나 산불 예시: 사바나 산불에 대한 적용에서 $p$ -값 $2.37 \times 10^{-4}$ 는 귀무가설을 기각하게 했다. 심각도 함수는 주장 $\beta_1 > 0.30529$ 가 0.95 의 심각도로 통과했음을 확인했으며, 계산된 재현성 확률은 93.8% 였다.

의의 및 주장
본 논문은 현재의 개혁 요구들이 종종 제 1 종 오류와 제 2 종 오류 사이의 근본적인 트레이드오프와 베이즈 진단 스크리닝에 필요한 사전 확률 추정의 실질적 불가능성을 고려하지 못한다고 주장한다. 저자는 다음과 같이 주장한다:

유의성 검정은 포기되어서는 안 되며, 오히려 진리의 결정적 증명으로서가 아니라 오차 확률을 통제하기 위한 도구로 이해되어야 한다.
'재현성 위기'는 단순히 통계적 임계값 문제가 아니라 데이터 도용 (data dredging), 선택적 중단 (optional stopping) 등 더 넓은 과학적 관행과 관련이 있다.
신뢰구간과 심각도 평가는 가치 있는 보완책이지만, 의사결정에서 임계값의 필요성을 제거하지는 않는다.
과학계는 경직된 임계값의 '노예'가 되어서는 안 되며, 불확실성을 수용하면서 가이드로서 임계값을 사용해야 한다. 저자는 혁신이 자유 속에서 번성하며, 0.05 임계값은 결함이 있음에도 불구하고 위 발견을 식별하는 충실한 도구로 기능해 왔으며, 과학은 궁극적으로 자기 수정 능력을 갖추고 있다고 결론 내린다. 본 논문은 미국 통계학회 (ASA) 의 입장과 일치하여 $p$ -값이 의사결정의 유일한 근거가 되어서는 안 되지만 폐기되어서는 안 된다고 본다.