📈 economics

Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates

이 논문은 연구자가 통제된 오류율을 바탕으로 실질적으로 유의미한 질적 범주에 정량적 추정치를 할당하거나 결과를 결론 불능으로 선언할 수 있게 해주는 새로운 통계적 프레임워크인 "분류 검정(classification testing)"을 소개하며, 이 접근 방식이 경쟁하는 가능성들을 더 잘 판별하고 가설을 반박에 노출시킴으로써 표준적인 가설 검정을 개선한다고 주장한다.

원저자: Andrew C. Eggers, Zikai Li

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrew C. Eggers, Zikai Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사회과학의 세계에서 연구자들은 직접 볼 수 없는 것들을 측정하며 시간을 보냅니다. 새로운 정책이 공동체를 어떻게 변화시키는지, 특정 메시지가 사람의 투표 행태를 바꾸는지, 혹은 치료법이 환자의 건강을 개선하는지 같은 것들 말입니다. 그들은 데이터를 수집하고 숫자를 계산하여 이러한 조치들의 평균적인 효과를 찾아냅니다. 하지만 그들이 들려주는 최종 이야기는 결코 긴 소수점의 나열이 아닙니다. 대신, 그들은 이 정밀한 숫자들을 단순하고 질적인 판단으로 번역합니다. 그들은 어떤 효과가 실재하는지 아니면 존재하지 않는지, 긍정적인지 아니 Negatif인지, 혹은 너무 작아서 의미가 없는지를 결정합니다. 이러한 판단을 뒷back하기 위해 과학자들은 '가설 검정(hypothesis testing)'이라 불리는 표준적인 방법에 의존합니다. 이 방법은 공공을 잘못된 경보로부터 보호하기 위해 설계된 문지기 역할을 하며, 연구자가 어떤 결과가 실재한다고 주장할 때 그 주장이 실수일 확률을 매우 낮게 유지하도록 합니다.

수십 년 동안 이 시스템은 특정한 예측을 확인하는 데는 잘 작동해 왔지만, 중대한 사각지대를 가지고 있습니다. 이 시스템은 무언가가 일어나고 있음을 증명하도록 구축되었지만, 아무 일도 일어나지 않고 있음을 증명하거나 두 가지 경쟁하는 가능성 사이에서 동등하게 공정하게 결정하는 데는 어려움을 겪습니다. 만약 연구자가 어떤 치료법이 효과가 있다는 것을 증명하고자 한다면, 시스템은 증거가 충분히 강력할 경우 그들에게 승리를 선언할 수 있도록 허용합니다. 하지만 증거가 약하다면, 시스템은 단순히 연구자가 자신의 논점을 증명하는 데 실패했다고 말할 뿐, 그 치료법이 실제로 아무런 효과가 없다고 자신 있게 선언할 수 있게 해주지는 않습니다. 이는 어떤 결론은 도달하기 쉬운 반면 다른 결론은 도달할 수 없는 불균형한 운동장을 만들어내며, 잠재적으로 전체 과학적 담론을 가장 낙관적인 발견 쪽으로만 치우치게 만들 수 있습니다.

정치학자 앤드류 에거스(Andrew Eggers)와 자이카 리(Zikai Li)가 제안한 새로운 프레임워크는 이러한 불확실성을 헤쳐 나가는 다른 방법을 제시합니다. 그들은 이를 '분류 검정(classification testing)'이라고 부릅니다. 이 방식은 연구자에게 자신이 옹호할 단 하나의 선호하는 이론을 선택하도록 강요하는 대신, 가능한 모든 결과를 실제 세상에서 무엇이 중요한지에 따라 뚜렷한 범주로 나누라고 요구합니다. 예를 들어, 연구자는 가능성을 세 그룹으로 나눌 수 있습니다: 효과가 긍정적이고 신경 쓸 만큼 큰 경우, 효과가 부정적이고 신경 쓸 만큼 큰 경우, 또는 효과가 너무 작아 무시할 만한 수준인 경우입니다. 목표는 단순히 숫자가 0과 다른지를 보는 것이 아니라, 그 결과를 올바른 바구니에 분류하는 것입니다.

이 새로운 방법의 힘은 모든 범주를 동일한 수준의 통계적 엄밀성으로 다룰 수 있는 능력에 있습니다. 기존 시스템에서 연구자는 어떤 효과가 0이나 음수가 아니라는 것을 기각할 수 있을 때만 "효과가 긍정적이다"라고 자신 있게 말할 수 있었습니다. 그들은 사전에 매우 구체적이고 종종 까다로운 테스트를 설정하지 않는 한, "효과가 0이다" 또는 "효과가 음수이다"라고 동일한 수준의 확신을 가지고 말할 수 없었습니다. 분류 검정은 이러한 편향을 제거합니다. 이 방법은 연구자가 데이터를 보고, 결과가 '무시할 만한' 범주에 속하는지, '긍정적이고 상당한' 범주에 속하는지, 혹은 데이터가 단순히 너무 혼란스러워 결정할 수 없는 상태인지를 통제된 오류율을 바탕으로 말할 수 있게 해줍니다. 이는 과학적 질문을 "내가 나의 가설을 증명할 수 있는가?"에서 "이 결과에 대한 가장 정직한 설명은 무엇인가?"로 바꿉니다.

저자들은 이 방법이 실제로 어떻게 작동하는지 보여주기 위해 미디어 소비와 관련된 잘 알려진 실험 연구에 이 방식을 적용했습니다. 원래의 연구는 폭스 뉴스(Fox News)의 정기 시청자들이 CNN에 노출되었을 때 어떤 일이 일어났는지를 조사했습니다. 연구자들은 정치적 선호도의 변화부터 뉴스 소스에 대한 신뢰도의 변화에 이르기까지 32가지의 서로 다른 결과를 측정했습니다. 대부분의 사회과학 학술지에서 사용하는 표준 검정법을 적용했을 때, 16개의 결과는 "유의미"했고 나머지 16개는 유의미하지 않았습니다. 이는 절반의 결과가 불확지 상태에 놓이게 만들었는데, 즉 연구자들이 그 효과가 실재하는지 아니면 존재하지 않는지 자신 있게 말할 수 없는 상태였습니다.

저자들이 동일한 데이터를 사용하여 분류 검정을 통해 재분석했을 때, 그림은 훨씬 더 명확해졌습니다. 결과를 '긍정적이고 상당한', '부정적이고 상당한', 또는 '무시할 만한' 범주로 분류함으로써, 그들은 32개의 결과 중 29개에 대해 확신을 가지고 오류가 통제된 진술을 할 수 있었습니다. 그들은 어떤 척도에 대해서는 효과가 크고 긍정적이라고 자신 있게 말할 수 있었습니다. 다른 척도들에 대해서는 효과가 너무 작아 무시할 만하다고 자신 있게 말할 수 있었습니다. 기존 방법이 '유의미하지 않다'고 분류했던 결과들에 대해서도, 새로운 방법은 종종 그 효과가 단순히 알 수 없는 것이 아니라 진정으로 무시할 만한 수준이라고 결론 내릴 수 있게 해주었습니다. 그들이 오직 '결론을 내릴 수 없음(inconclusive)'이라고 말해야 했던 유일한 때는 데이터가 확고한 주장을 뒷받받하기에는 정말로 너무 노이즈가 심할 때뿐이었습니다.

이러한 변화는 연구가 수행되는 방식에 대한 인센티브를 바꿉니다. 기존의 규칙 아래에서 연구자들은 출판을 위해 긍정적인 결과를 찾아야 한다는 압박을 받곤 했으며, 이는 자신의 예상을 확인할 가능성이 높은 연구를 설계하도록 유도했습니다. 새로운 프레임워크는 더 개방적인 접근 방식을 장려합니다. 이 방법은 효과가 작거나 존재하지 않는다는 확신 있는 결론을 내릴 수 있게 해주기 때문에, 연구자들은 '무효(null)' 결과가 실패가 될 것이라는 두려움 없이 진정으로 열린 질문들을 연구할 수 있습니다. 이는 작은 효과를 발생 가능한, 테스트 가능한 결과로 취급하며, 막다른 길로 여기지 않습니다.

저자들은 이 접근 방식이 과학을 덜 엄격하게 만드는 것이 아니라, 오히려 질문의 범위를 확장한다고 주장합니다. 이는 어떤 효과가 크다고 선언하는 것과 동일한 수준의 엄격함으로 효과가 무시할 만하다고 선언할 수 있게 함으로써, 데이터를 특정 서사에 억지로 끼워 맞추려는 압박을 줄여줍니다. 저자들은 가장 가치 있는 과학적 결론은 항상 극적인 발견이 아니라, 때로는 특정 개입이 의미 있는 차이를 만들어내지 못한다는 명확하고 정직한 평가라고 제안합니다. 이 명확함이야말로 사회 세계가 작동하는 방식을 더 신뢰할 수 있고 편향되지 않은 방식으로 이해하는 핵심이라는 것이 저자들의 주장입니다.

기술 요약: 분류 검정(Classification Testing): 정량적 추정치로부터 질적 결론을 도출하기 위한 새로운 프레임워크

문제 제기
본 논문은 현재의 정량적 사회과학 관행에 존재하는 근본적인 한계점을 지적한다: 표준 가설 검정의 비대칭성이다. 기존의 방법론(예: Wald 방식의 영가설 유의성 검정)은 단일 연구 가설을 영가설에 대조하여 검정하도록 설계되어 있다. 이러한 구조는 연구자가 영가설을 기각하고 연구 가설을 지지할 때만 오류가 통제된 긍정적 결론을 내릴 수 있게 한다. 만약 영가설을 기각할 수 없다면, 어떠한 오류 통제된 결론도 도출할 수 없다. 즉, 연구 가설은 영가설을 기각할 때와 동일한 통계적 엄밀함으로 "틀렸음이 증명"될 수 없다.

이러한 비대칭성은 다음과 같은 몇 가지 문제를 야기한다:

판정 실패(Adjudication Failure): 특정 예측을 검정하는 것이 아니라 열린 질문(예: "효과가 양(+)인가 음(-)인가?")에 답하는 것이 목표일 때, 표준 관행은 연구자로 하여금 경쟁 관계에 있는 가능성 중 하나를 임의로 영가설로 지정하게 하여 나머지 가능성을 검증하지 못한 채 남겨두게 만든다.
인센티브 왜곡: 연구 가설만이 긍정될 수 있기 때문에, 연구자들은 "결과 없음(null results)"을 피하기 위해 실현 가능성이 매우 높다고 믿는 가설을 선택하려는 유인을 갖게 된다. 이는 잠재적으로 진정으로 열려 있는 탐구보다는 이미 결론이 난 문제에 집중된 문헌을 만드는 결과를 초래할 수 있다.
부적절한 질적 요약: 사회과학자들은 빈번하게 정량적 추정치를 질적 결론(예: "효과가 양의 값을 갖는다", "무시할 만하다", 또는 "상당하다")으로 변환하지만, 현재의 검정 프레임워크는 이러한 모든 질적 구분을 동시에 오류 통제된 방식으로 보장하지 못한다.

방법론: 분류 검정(Classification Testing)
저자들은 표준 가설 검정을 대체하거나 보완할 프레임워크로서 "분류 검정"을 제안한다. 핵심 혁신은 단일 가설을 검정하는 것에서 벗어나, 매개변수 공간( $\Theta$ )을 서로 배타적이고 논리적으로 포괄적인 "클래스(classes)"—즉, 뚜렷한 질적 결론을 나타내는 클래스—로 분할하는 것이다.

프레임워크:
- 분할(Partitioning): 연구자는 클래스 $C_1, C_2, \dots, C_K$ 를 정의한다 (예: 음, 제로/무시할 만함, 양).
- 오류 통제(Error Control): 목표는 실제 매개변수 $\theta$ 를 잘못된 클래스로 분류할 확률이 임의의 $\theta$ 값에 대해 유의 수준 $\alpha$ 이하가 되도록 하는 각 클래스의 수용 영역( $A_j$ )을 구축하는 것이다.
- 최적성(Optimality): 저자들은 "최대 최소(maximin)" 기준을 채택하여, 모든 클래스와 모든 가능한 $\theta$ 값에 대해 올바르게 분류할 확률(최소 확률)을 최대화하는 분류 규칙을 선택한다.
- 결과: 검정은 데이터를 통해 특정 클래스를 지지하면 해당 클래스로 $\theta$ 를 할당하거나, 데이터가 단일 클래스를 강력하게 지지하지 않을 경우 결과를 "판단 불능(inconclusive)"으로 선언한다.
세 가지 특정 검정 유형:
1. 부호 분류(Sign Classification): $\theta$ 를 음수( $C_-$ )와 양수( $C_+$ ) 클래스로 분할한다 (0을 기준으로 분리). 이는 다중성 보정 없이 두 개의 단측 검정을 수행하는 것과 같으며, 양방향 모두에 대해 오류가 통제된 결론을 내리거나 판단 불능의 결과를 낼 수 있게 한다.
2. 크기 분류(Magnitude Classification): $\theta$ 를 "무시할 만한(negligible)" 클래스( $C_0 = (-\delta, \delta)$ )와 "상당한(substantial)" 클래스( $C_\pm$ )로 분할한다. 이는 오직 무시할 만함을 확증할 수만 있는 표준 등가 검정(TOST)과 달리, 무시할 만함과 상당함 모두를 오류 통제된 방식으로 확증할 수 있게 한다. 저자들은 노이즈 수준( $\sigma/\delta$ )을 조정하여 TOST의 보수성을 해결하는 최적의 수용 영역을 도출한다.
3. 부호 및 크기 분류(Sign-and-Magnitude Classification): $\theta$ 를 세 가지 클래스, 즉 음의/상당한, 무시할 만한, 양의/상당한으로 분할한다. 이는 앞선 검정들의 목적을 결합하여 더욱 정교한 질적 구분을 가능하게 한다.
구현:
- 단순한 경우(부호 분류와 같은 경우), 절차는 $(1-2\alpha)$ 신뢰 구간이 클래스 내에 완전히 포함되는지 확인하는 과정에 근사한다.
- 더 복잡한 경우(크기 및 부호-크기 분류), 저자들은 단순한 신뢰 구간 규칙이 실패할 수 있는 노이즈가 큰 상황에서도 엄격하게 $\alpha$ 오류율을 유지하는 최적의 수용 영역을 계산하기 위한 R 패키지와 특정 알고리즘을 제공한다.
- 검정 결합: 여러 분류 검정(예: 부호 검정과 크기 검정)의 결과를 결합하여 정교한 결론을 도출하는 규칙을 제시하며, 이때 결합된 주장의 경계에 대해 구성 검정의 오류 보장이 적용되는지 확인한다.

주요 기여

이론적 통합: 이 프레임워크는 방향성 양측 검정(Kaiser, 1960; Jones and Tukey, 2000), 등가 검정(TOST), 삼측 검정(Goeman et al., 2010)과 같은 기존 방법론들을 통합하고 일반화한다. 이는 이러한 방법들이 더 넓은 분류 원칙의 특수한 사례임을 입증한다.
향상된 검정력과 대칭성: 저자들은 분류 검정이 대칭적인 오류 통제를 제공함을 보여준다. 이를 통해 연구자는 표준 관행에서 영가설을 기각하는 데 사용되는 것과 동일한 오류 보장을 사용하여 어떤 클래스(영가설 또는 무시할 만한 클래스 포함)라도 확증할 수 있다.
TOST보다 우월함: 크기 분류 검정은 표준적인 두 개의 단측 검정(TOST) 절차보다 더 높은 검정력을 갖는 것으로 나타났다. 이는 표준 오차가 등가 마진에 비해 큰 경우 발생하는 TOST의 "보수적" 행동을 방지하며, TOST가 제공할 수 없는 '상당함'에 대한 확증적 결론을 가능하게 한다.
실제적 적용: 저자들은 구현을 돕기 위한 R 패키지를 제공하며, Broockman과 Kalla(2025)의 현장 실험 재분석에 이 프레임워크를 적용하였다.

결과 (Broockman and Kalla, 2025에 대한 적용)
저자들은 Fox News 시청자에게 CNN을 노출시키는 효과에 관한 32개의 사전 등록된 지표를 재분석하였다.

표준 양측 검정: 16개의 유의한 결과와 16개의 비유의한 결과를 도출했다.
분류 검정:
- 부호 검정은 32개 지표 중 18개의 방향을 분류하였다 (17개는 양, 1개는 음). 이는 양측 검정에서 비유의적이었던 두 가지 사례에 대해 추가적인 오류 통제된 방향성 주장을 제공했다.
- 부호-크기 검정은 2개의 지표를 "양의/상당한"으로, 12개를 "무시할 만한"으로 분류하였으며, 18개를 "판단 불능"으로 남겨두었다.
- 결합된 주장: 부호와 크기 결과를 통합함으로써, 저자들은 표준 양측 검정의 50%(16개)와 비교하여 약 91%(29개)의 지표에 대해 오류 통제된 분류를 생성하였다.
질적 풍부함: 분류 접근법은 단순히 "유의한" 효과와 "상당한" 효과를 구분하고, "무시할 만한" 효과를 오류 통제 하에 식별함으로써 더 풍부한 질적 요약을 제공하였다.

의의 및 주장
본 논문은 분류 검정이 다음과 같은 두 가지 이유로 현재의 관행보다 우월하다고 주장한다:

판정(Adjudication): 특정 예측을 검정하는 것이 아니라 경쟁 관계에 있는 가능성들 사이를 구별하는 것이 목표인 열린 질문에 답하기 위한 적절한 도구이다.
반박(Refutation): 단일 연구 가설을 검정할 때조차, 분류 검정은 가설을 (단순히 비확증의 위험이 아닌) 경쟁 클래스를 확증함으로써 발생하는 반박의 위험에 노출시키기 때문에 더 정보 가치가 높다.

저자들은 이 프레임워크가 간접적으로 연구 인센티브를 개선할 수 있다고 제안한다. "무시할 만한" 또는 "음의" 결과를 포함한 더 넓은 범위의 결과에 대해 오류 통제된 결론을 내릴 수 있게 함으로써, 연구자가 자신의 가설과 일치하는 "양의" 결과를 찾는 데 가해지는 압박을 줄이고, 진정으로 열려 있는 질문에 대한 연구를 장려할 수 있다. 결론적으로, 분류 검정은 신뢰 구간으로부터 질적 결론을 도출하는 일반적인 관행을 공식화하는 동시에, 고정된 신뢰 구간이 보장할 수 없는 엄격하고 최적인 오류 통제를 제공한다.

유사한 논문