📊 statistics

The Rise of Null Hypothesis Significance Testing (NHST): Institutional Massification and the Emergence of a Procedural Epistemology

이 논문은 NHST 가 통계적 추론의 기술적 문제를 해결하지 못했음에도 불구하고, 전후 과학 네트워크의 급속한 확장에 따른 제도적 과제를 해결하기 위해 연구 맥락을 배제하고 기계적 절차를 강조하는 '사회적 기술'로 자리 잡으며 과학적 관행의 필수 통로가 되었음을 Actor-Network Theory 를 통해 설명합니다.

원저자: Carol Ting

게시일 2026-03-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Carol Ting

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"왜 통계학자들이 수백 번을 비판하고 개혁을 외쳐도, 여전히 과학계에서 'p-값 (통계적 유의성)'이라는 하나의 숫자만 믿고 연구를 평가하는지"**에 대한 놀라운 이유를 설명합니다.

저자 카롤 팅 (Carol Ting) 은 이 현상을 단순히 "사람들이 통계를 못 알아서"라고 보지 않습니다. 대신, 제 2 차 세계대전 이후 과학계가 너무 빨리, 너무 많이 커지면서 생긴 '조직적 문제'를 해결하기 위해 NHST(귀무가설 검정) 가 완벽한 '도구'로 선택되었다고 주장합니다.

이 복잡한 논문을 일상적인 언어와 비유로 쉽게 풀어보겠습니다.

1. 핵심 비유: "정교한 요리사 vs. 패스트푸드 체인점"

이 논문의 핵심을 이해하기 위해 요리를 비유로 들어보겠습니다.

진짜 과학적 판단 (Fisher 와 Neyman-Pearson 의 원래 이론):
이는 정통 미슐랭 요리사가 하는 일입니다. 재료를 보고, 날씨를 보고, 손님의 취향을 고려해 "이 요리는 이 정도가 적당할까?"라고 매번 고민하고 판단합니다. 매우 훌륭하지만, 시간이 오래 걸리고 요리사 한 명당 한 번에 한 두 명만 먹일 수 있습니다.
NHST(현실의 통계):
이는 패스트푸드 체인점의 자동 조리 기계입니다. "버거를 만들려면 고기 150g, 빵 1 개, 3 분간 굽기"라는 **정해진 절차 (프로토콜)**만 따르면 됩니다. 요리사의 직관이나 고민은 필요 없습니다. 맛은 완벽하지 않을지 몰라도, 어디서나 똑같은 맛을 100 만 개나 빠르게 만들어낼 수 있습니다.

논문의 결론:
과학계가 전쟁 후 폭발적으로 커지면서, '미슐랭 요리사 (전문 통계학자)'만으로는 전 세계의 식탁 (연구) 을 채울 수 없게 되었습니다. 그래서 과학계는 **가장 빠르고, 가장 싸고, 누구나 따라 할 수 있는 '패스트푸드 기계 (NHST)'**를 선택하게 된 것입니다.

2. 왜 NHST 가 선택되었을까? (세 가지 이유)

① "모든 것을 설명할 시간 없음" (대량 생산의 필요성)

제 2 차 세계대전 후, 미국 정부는 과학 교육에 엄청난 돈을 쏟아부었습니다. 대학에 학생이 몰려들고, 연구 논문이 쏟아져 나왔습니다.

문제: 모든 연구를 전문가가 하나하나 "이 데이터는 어떻게 나왔지? 이 가정이 맞을까?"라고 꼼꼼히 검토할 시간이 없었습니다.
해결: NHST 는 맥락을 지우고 (Context-free) 숫자 하나만 보면 됩니다. "p 값이 0.05 보다 작으면 OK, 아니면 NO"라는 자동화된 규칙은 복잡한 설명이 필요 없기 때문에, 통계 전문가가 없는 곳에서도 누구나 쉽게 사용할 수 있었습니다.

② "책임 회피의 방패" (자동 결정 장치)

논문은 NHST 를 **"책임 회피를 위한 의식"**이라고도 부릅니다.

연구자가 "이 결과가 진짜일까?"라고 고민하면, "아직 확실하지 않아"라고 답해야 할 수도 있습니다. 하지만 NHST 기계는 "p < 0.05 이니까 통계적으로 유의미합니다!"라고 명확하게 말해줍니다.
이는 마치 동전 던지기와 같습니다. 동전 앞면이 나오면 "우리가 옳았다"라고 주장하는 것입니다. 비록 동전이 우연일지라도, "규칙에 따라 결정했다"는 사실 자체가 책임을 대신해 줍니다. "내가 판단한 게 아니라, 통계 기계가 그렇게 말했으니까"라고 말할 수 있게 되는 것이죠.

③ "검증 가능한 표준" (신뢰의 도구)

수천 명의 연구자가 각자 다른 방법으로 연구를 한다면, 누가 옳은지 알 수 없습니다. 하지만 모두가 같은 기계 (NHST) 를 사용한다면, 그 결과만 보고도 비교가 가능합니다.

이는 우편함과 같습니다. 편지 내용 (연구의 진짜 가치) 이 무엇이든, 우편함 (NHST 절차) 에 넣기만 하면 우체국 (학계) 은 그 편지를 "공식적인 편지"로 인정합니다. 내용보다는 절차를 따랐는지가 더 중요해진 것입니다.

3. NHST 의 문제점: "불완전한 기계가 완벽하게 작동하는 이유"

통계학자들은 NHST 를 비판합니다.

"p 값이 작다고 해서 결과가 중요한 건 아니야!"
"가정이 틀리면 결과가 쓰레기가 돼!"
"두 가지 가설 (영향 있음/없음) 을 명확히 비교해야 해!"

하지만 논문은 말합니다. "그게 바로 NHST 가 성공한 이유야."
정말 완벽한 통계 방법은 배우기 어렵고, 적용하기도 힘들고, 시간이 많이 걸립니다. 하지만 NHST 는 기술적인 결함 (가정을 무시하고, 맥락을 지우는 것) 이 오히려 장점이 되었습니다.

결함이 장점인 이유: 복잡한 것을 단순화해서, 통계 전문가가 없는 심리학자, 경제학자, 의학자들도 쉽게 사용할 수 있게 만들었기 때문입니다.

4. 결론: 우리는 무엇을 배워야 할까?

이 논문은 우리에게 중요한 메시지를 줍니다.

"NHST 가 잘못된 통계 방법이어서 문제가 있는 게 아닙니다. 과학이 너무 빨리, 너무 많이 커지면서, 복잡한 지식을 단순한 '절차'로 대체할 수밖에 없었던 사회적 상황이 문제를 만든 것입니다."

현재의 상황: 우리는 여전히 NHST 라는 '패스트푸드 기계'에 의존하고 있습니다. p 값 0.05 라는 숫자 하나로 연구의 가치를 판단합니다.
미래의 경고: 최근에는 '베이즈 통계' 같은 새로운 방법들이 나오지만, 이 또한 다시 'p 값'처럼 단순한 숫자 하나만 보는 '자동 결정 도구'로 변질될 위험이 있습니다.
해결책: 단순히 통계 수업을 더 잘 가르치는 것만으로는 해결되지 않습니다. 우리는 NHST 가 왜 이렇게 널리 퍼졌는지, 그것이 과학계에 어떤 '사회적 역할'을 했는지를 이해해야 합니다.

한 줄 요약:

"NHST 는 과학적 진리를 찾는 최고의 도구가 아니라, 과학을 대량 생산하기 위해 만들어진 '효율적인 관리 도구'였습니다. 그래서 우리는 이 도구가 가진 한계를 인정하고, 숫자 뒤에 숨은 진짜 이야기를 다시 찾아야 합니다."

논문 요약: NHST 의 부상, 제도적 대량화 및 절차적 인식론의 등장

저자: Carol Ting (마카오 대학교 커뮤니케이션 학과)
주제: Null Hypothesis Significance Testing(NHST, 귀무가설 유의성 검정) 이 왜 기술적 결함이 있음에도 불구하고 과학계에서 지배적인 방법론으로 자리 잡았는지에 대한 역사적, 사회학적 분석.

1. 연구 문제 (Problem)

현상: NHST 는 60 년 이상 지속된 비판과 개혁 노력에도 불구하고, 사회과학 및 생물의학 분야에서 여전히 지배적인 통계적 추론 도구로 남아있다.
모순: NHST 는 통계적 추론의 기술적 문제를 해결하지 못함 (오해가 많고, p-값의 오용이 만연함) 에도 불구하고, 왜 여전히 '통계적 유의성 (p ≤ 0.05)'이라는 이분법적 기준으로 과학적 발견을 판가름하는 '화폐' 역할을 하는가?
핵심 질문: NHST 의 기술적 결함 (문맥 제거, 기계적 절차화) 이 왜 오히려 기능적 특징으로 작용하여 제도의 대량화 (Massification) 시대에 생존하고 확산되었는가?

2. 연구 방법론 (Methodology)

이론적 틀: **행위자 네트워크 이론 (Actor-Network Theory, ANT)**을 기반으로 분석.
- 블랙박스 (Black Box): 복잡한 내부 과정이 생략되고 결과만 신뢰받는 상태로 변환되는 과정을 설명.
- 번역 (Translation): Fisher 와 Neyman-Pearson 의 서로 다른 이론적 프레임워크가 어떻게 단순화, 재조합되어 NHST 로 변형되었는지 추적.
역사적 분석: 제 2 차 세계대전 이후 미국 고등교육 및 과학 연구의 급격한 확장 (제도의 대량화) 이라는 역사적, 제도적 맥락을 중심으로 분석.
데이터 및 문헌: 통계학 역사 (Fisher, Neyman-Pearson, Gigerenzer 등), 교육 정책 (GI Bill, NDEA), 학제 간 통계 교육의 실태, 그리고 관련 문헌들을 종합적으로 검토.

3. 주요 기여 및 핵심 논지 (Key Contributions)

이 논문은 NHST 의 지배력을 단순히 '교육의 부재'나 '인지적 오류'로 설명하는 기존 관점을 넘어, **제도적 대량화 (Institutional Massification)**라는 구조적 필요와 연결하여 설명한다.

NHST 의 기원 (강제된 결혼):
- Fisher 의 접근: 귀무가설 ( $H_0$ ) 을 반증하려는 '귀납적 추론' (p-값은 증거의 강도를 나타냄).
- Neyman-Pearson 의 접근: 장기적 오류율 ( $\alpha, \beta$ ) 을 통제하는 '결정 이론적 프레임워크' (대립가설 $H_1$ 명시 필요, 최적 의사결정 규칙).
- 혼합 (NHST): 두 이론은 논리적으로 양립 불가능하지만, 전후의 급격한 수요를 충당하기 위해 교과서와 교육 과정에서 무분별하게 혼합됨. Fisher 의 '유의성 기준 (0.05)'과 Neyman-Pearson 의 '기계적 결정 규칙'이 결합되어 '대립가설 없이 p-값만으로 귀무가설을 기각/채택'하는 NHST 가 탄생.
제도적 대량화와 NHST 의 기능:
- 배경: 전후 (Cold War 시기) 미국은 GI Bill 과 국방교육법 (NDEA) 등을 통해 과학 인력 양성을 급격히 확대했으나, 전문 통계 교육 인프라는 이를 따라가지 못함.
- 문제: 전문 통계학자의 부족으로 인해 비전문 강사들이 통계 수업을 담당하게 되었고, 복잡한 모델링 가정 (가정 검증 등) 을 가르칠 여력이 없음.
- 해결책으로서의 NHST: NHST 는 **맥락을 제거 (Decontextualization)**하고 **절차적 자급성 (Procedural Self-sufficiency)**을 제공함.
  - 복잡한 전문적 판단을 표준화된 '레시피 (Cookbook)'로 대체.
  - p-값이 0.05 미만이냐 아니냐에 따라 결과를 이분법적으로 분류하여, 전문 지식이 없어도 결과를 '검증 가능'하고 '방어 가능'하게 만듦.
절차적 인식론 (Procedural Epistemology) 의 등장:
- NHST 는 기술적 정확성보다는 절차의 준수를 통해 신뢰를 획득하는 사회적 기술로 진화함.
- 이는 다양한 목표와 불균형한 전문성을 가진 대규모 과학 네트워크에서 조정 비용을 최소화하고, 자원 배분 (연구비 지원, 논문 게재, 승진 등) 을 효율적으로 수행하게 하는 '필수 통과 지점 (Obligatory Passage Point)'이 됨.

4. 연구 결과 (Results)

NHST 의 기술적 결함은 기능적 특징이 됨: NHST 가 가진 '맥락 제거'와 '기계적 절차화'는 원래의 통계적 엄밀성을 훼손하지만, 급격한 제도 확장에서 필요한 **확장성 (Scalability)**과 표준화를 가능하게 하는 핵심 메커니즘이 됨.
교육의 질 저하와 악순환: NHST 는 비전문가에게도 쉽게 가르칠 수 있게 하여 통계 교육의 대중화를 이끌었으나, 이는 동시에 통계적 추론의 본질 (가정 검증, 효과 크기 해석 등) 을 생략하게 만들어 오해와 오용을 고착화시킴.
개혁의 한계: 단순한 기술적 개혁 (p-값 폐지, Bayesian 방법 도입 등) 만으로는 NHST 의 지배적 지위를 바꾸기 어려움. 왜냐하면 NHST 는 기술적 도구가 아니라 제도적 신뢰를 관리하는 사회적 장치이기 때문임.

5. 의의 및 시사점 (Significance)

사회학적 통찰: 통계 방법론의 확산은 순수한 과학적 진보의 결과가 아니라, 특정 역사적 시기의 제도적 압력과 인력 수요에 의해 선택된 '사회적 기술'의 결과임을 보여줌.
개혁 방향의 전환: NHST 의 문제를 해결하기 위해서는 개별 연구자의 통계 교육 개선뿐만 아니라, 제도적 인센티브 구조와 과학 평가 시스템의 변화를 동시에 고려해야 함을 시사.
미래 전망: Bayesian 방법론 등 새로운 기법도 NHST 와 유사하게 '자동화된 의사결정 도구 (예: Bayes Factor)'로 변질될 위험이 있으며, 기술적 대체만으로는 근본적인 해결이 어렵다는 경고를 담고 있음.

결론적으로, 이 논문은 NHST 가 왜 여전히 살아남고 있는지에 대한 답을 "NHST 가 통계적 추론의 기술적 문제를 잘 해결하기 때문"이 아니라, **"NHST 가 전후 과학의 대량 생산과 제도적 확장을 가능하게 하는 효율적인 '사회적 기술'이었기 때문"**이라고 재해석합니다. NHST 는 복잡한 과학적 판단을 표준화된 절차로 대체함으로써, 전문성이 부족한 대규모 과학 공동체가 작동할 수 있게 만든 '블랙박스'였습니다.