Hypothesizing an effect size by considering individual variation

1. 문제 제기 (The Problem)

연구 설계, 베이지안 추론, 빈도론적 검정력 분석 (Power analysis), 그리고 의사결정 과정에서 **평균 처리 효과 (Average Treatment Effect, ATE)**에 대한 현실적인 가설을 설정하는 것은 필수적입니다. 그러나 기존에 제안된 효과 크기 가설 설정 방법들은 다음과 같은 심각한 한계를 지닙니다.

• 메타분석 및 문헌 검토의 편향: 출판 편향 (Publication bias) 과 통계적 유의성에 따른 선택 편향으로 인해 기존 문헌의 효과 크기는 과대평가되는 경향이 있습니다.
• 전문가 의견 수렴의 한계: 전문가들조차 출판된 문헌과 자신의 희망, 신념에 의존하여 편향된 평균 효과 크기를 제시할 수 있습니다.
• 코헨 (Cohen) 의 기준의 비현실성: '작음', '중간', '큼'과 같은 관례적 효과 크기 기준은 현대의 점진적 개선 (incremental improvements) 환경에서는 지나치게 낙관적입니다.
• 파일럿 연구의 노이즈: 파일럿 연구는 표본 크기가 작아 추정치가 매우 불안정 (노이즈가 많음) 하므로, 이를 기반으로 본 연구의 표본 크기를 계산하면 검정력을 과대평가하거나 실제 필요한 표본 크기를 크게 underestimate 하게 됩니다.
• 단일 평균 효과의 함정: 연구자들은 종종 단일한 평균 효과 크기에만 집중하여, 개체 간 이질성 (heterogeneity) 을 무시한 채 설계를 수행합니다. 이는 실제 연구 결과 해석 시 '유형 M 오류 (크기 과대평가)'와 '유형 S 오류 (부호 반전)'를 초래합니다.

2. 방법론 (Methodology)

저자들은 단일 숫자 (평균 효과) 를 가설로 삼는 대신, **효과 크기의 분포 (Distribution of Effect Sizes)**를 먼저 가설화하는 접근법을 제안합니다. 이는 수학적 문제 해결 전략인 "더 큰 문제로 확장하여 접근하기 (Embedding in a larger problem)"와 유사한 원리입니다.

제안된 4 단계 프로토콜 (Anchoring and Adjustment Heuristic)

연구자는 다음과 같은 단계를 통해 평균 처리 효과를 유도합니다:

1. 현실적인 이상적 효과 크기 (Plausible Effect Size, $X$) 설정:
   • 치료가 의도대로 작동할 때 기대되는 효과 크기를 문헌과 도메인 지식을 바탕으로 추정합니다.
2. 실제 조건 하의 효과 범위 고려:
   • 이상적인 효과 ($X$) 가 실제 세계에서는 어떻게 변할지 고려합니다. 예를 들어, 범위가 $(0, X)$일 수 있습니다.
3. 범위를 분포로 변환:
   • 설정된 범위를 확률 분포로 근사합니다. (예: 정규분포를 가정하여 중심을 $0.5X$, 스케일을 $0.5X$로 설정).
   • 이는 이상적인 효과가 양수일지라도, 드물게 더 큰 효과가 발생하거나 드물게 부정적인 효과가 발생할 수 있음을 반영합니다.
4. 순수 Null(영효과) 비율 ($p_{null}$) 설정:
   • 치료가 아예 작동하지 않는 개체 (예: 약을 복용하지 않거나 대사 능력이 없는 환자, 광고를 보지 않은 고객) 의 비율을 가정합니다.
   • 기본값: 의료 및 사회과학 직접 개입의 경우 50%, 마케팅 등 간접 개입의 경우 90% 로 설정할 수 있습니다.

최종 평균 효과 크기 추정 공식:
$$ATE \approx (1 - p_{null}) \cdot 0.5X$$
즉, 직접 개입의 경우 이상적 효과를 4 로 나누고, 간접 개입의 경우 20(또는 그 이상) 으로 나누어 현실적인 평균 효과를 도출합니다.

실증적 검증 (Formative Interviews)

북서부 대학교 (Northwestern University) 의 연구자 3 명을 대상으로 인터뷰를 진행했습니다. 연구자들은 초기 평균 효과 추정치 ($\hat{ATE}_{pre}$) 를 제시한 후, 개체별 효과 분포 (최대/최소 효과, Null 비율 등) 를 고려하도록 유도되었습니다. 그 결과, 연구자들은 개체별 변이를 고려한 후 ($\hat{ATE}_{post}$) 초기 추정이 과대평가되었음을 인지하거나, 연구 설계의 목적을 더 명확히 하는 계기를 얻었습니다.

3. 주요 사례 및 결과 (Key Examples & Results)

논문은 의학, 정치학, 교육 등 다양한 분야의 사례를 통해 방법론의 유효성을 입증했습니다.

• 의학 (이진 결과 변수):
  • 치료 효과를 '구할 수 있는 환자 (Type 2)'의 비율로 접근했습니다.
  • 엄격한 선별 (Efficacy) 을 통해 Type 2 비율을 65% 로 가정하면 ATE 는 0.65 로 나오지만, 더 넓은 모집단 (Effectiveness) 을 고려하여 Type 1(무조건 생존) 과 Type 3(무조건 사망) 비율이 높아지면 ATE 는 0.20 으로 급감합니다. 이는 통제된 임상 시험 결과가 실제 적용 시 과대평가될 수 있음을 보여줍니다.
• 정치학 (수치 데이터):
  • 특정 사회적 그룹을 아는 것이 태도에 미치는 영향을 분석할 때, 기존 연구에서 발견된 작은 효과 (0.05~0.1) 가 실제로는 "대부분의 사람은 영향이 없고, 일부만 크게 변화한다"는 분포에서 기인할 수 있음을 재해석했습니다.
• 과대평가된 효과의 하향 조정:
  • Gertler et al. (2013) 의 초기 아동 개입 프로그램이 성인 소득을 42% 증가시켰다는 주장과 Beall & Tracy (2013) 의 생리 주기와 옷차림 (빨간색/분홍색) 연구 사례를 분석했습니다.
  • 개체별 변이를 고려하면, 이러한 거대한 평균 효과는 "대부분의 사람에게 효과가 없고, 소수에게 극단적인 효과가 있는" 상황이나 통계적 편향의 결과일 가능성이 높음을 지적했습니다.

4. 주요 기여 (Key Contributions)

1. 개념적 전환: 연구 설계의 출발점을 "단일 평균 효과 크기"에서 **"개체별 효과의 분포"**로 전환합니다. 평균 효과는 이질성과 표본 구성, 연구 목적의 결과물 (Consequence) 로 간주됩니다.
2. 실용적 프레임워크 제공: 전문가들이 직관적으로 효과 크기를 추정할 때 발생하는 과신 (Overconfidence) 을 줄이고, 현실적인 분포를 설정할 수 있는 구체적인 4 단계 프로토콜을 제시합니다.
3. 연구 목적과 표본 구성의 연관성 강조: 연구의 목적 (예: 효과 존재 여부 확인 vs. 인구 평균 효과 추정) 에 따라 표본을 어떻게 구성해야 하는지, 그리고 그에 따른 기대 효과 크기가 어떻게 달라져야 하는지를 명확히 합니다.
4. 재현성 위기 (Replication Crisis) 에 대한 해석: 재현 실패를 단순히 통계적 오류가 아닌, "개체별 이질성"과 "연구 목적/표본의 불일치"로 설명할 수 있는 새로운 관점을 제공합니다.

5. 의의 및 시사점 (Significance)

이 논문은 과학적 연구의 설계와 해석 방식을 근본적으로 재고하도록 요구합니다.

• 통계적 검정력 (Power) 의 현실적 평가: 낙관적인 효과 크기 가설로 인해 설계된 연구는 실제 효과가 작을 때 검정력이 부족해지고, 우연히 유의미한 결과가 나오더라도 그 추정치가 크게 편향될 수 있음을 경고합니다.
• 베이지안 사전분포 (Prior) 설정의 개선: 베이지안 분석에서 사전분포를 설정할 때, 단순히 평균값을 지정하는 것이 아니라 개체 간 변이를 고려한 분포를 설정함으로써 더 강건한 추론이 가능해집니다.
• 정책 결정의 정확성 향상: 의료, 경제, 교육 등 정책 결정에 활용되는 연구들이 "이상적인 조건"이 아닌 "실제 적용 가능한 조건"에서의 평균 효과를 예측하도록 도와, 자원 배분의 효율성을 높입니다.
• 과학적 태도 변화: "효과가 있는가 (Is it there?)"라는 이분법적 질문에서 벗어나, "어떤 조건에서, 누구에게, 얼마나 효과가 있는가 (Context-dependent traits)"라는 더 정교한 질문을 던지도록 유도합니다.

결론적으로, 이 논문은 단순한 평균 효과 크기의 추측을 넘어, 개체별 변이를 체계적으로 고려하는 분포 기반의 사고방식이 연구의 신뢰성과 실용성을 높이는 핵심 열쇠임을 주장합니다.