Randomization Inference For the Always-Reporter Treatment Effect

1. 연구 문제 (Problem)

• 표본 손실 (Attrition): 무작위 실험에서 일부 단위의 결과 데이터가 관측되지 않는 현상은 흔하며, 이는 결과와 체계적으로 연관되어 있을 경우 선택 편향 (selection bias) 을 초래합니다.
• 기존 방법의 한계: 기존 연구 (예: [18]) 는 단조성 가정 하에 AR-ATE 의 상/하한을 도출하고 점근적 근사 (asymptotic approximations) 를 사용하여 추론을 수행했습니다. 그러나 이러한 방법은 유한 표본 (finite-sample) 에서의 엄밀한 보장을 제공하지 못하며, 특히 처리 효과의 이질성 (heterogeneity) 이 존재할 때 약한 귀무가설 (weak null) 하에서의 유효성이 제한적일 수 있습니다.
• 목표: 표본 손실이 있는 환경에서 유한 표본에서 엄밀하게 유효한 (finite-sample valid) 귀무가설 검정과 점근적으로 유효한 (asymptotically valid) 약한 귀무가설 검정을 동시에 만족하는 새로운 추론 절차를 개발하는 것입니다.

2. 방법론 (Methodology)

2.1 기본 설정 및 가정

• 단조성 가정 (Monotonicity): 모든 단위 $i$에 대해 $r_i(1) \ge r_i(0)$가 성립한다고 가정합니다. 즉, 처치 (Treatment) 가 보고 행동을 방해하지는 않는다는 것입니다.
• 주요 하위 집단 (Principal Strata):
  • 항상 보고자 (Always-Reporters, A): 처치 여부와 관계없이 항상 결과를 보고하는 집단 ($r_i(1)=1, r_i(0)=1$).
  • 조건부 보고자 (If-Reporters): 처치 시에만 보고하는 집단.
  • 절대 보고하지 않는 집단 (Never-Reporters): 처치 여부와 관계없이 보고하지 않는 집단.
• 관측 불가능성: 항상 보고자 집합 $A$는 관측 데이터만으로는 완전히 식별할 수 없습니다. (대조군에서 보고된 자는 항상 보고자임이 확실하지만, 처치군에서 보고된 자는 항상 보고자이거나 조건부 보고자일 수 있습니다.)

2.2 최악의 경우 랜덤화 검정 (Worst-Case Randomization Test)

• 핵심 아이디어: 항상 보고자 집합 $A$의 가능한 모든 구성 (configuration) 중 관측 데이터와 일치하는 경우들을 고려합니다.
• 최악의 경우 p-value ($p_{worst}$): 관측된 데이터와 일치하는 모든 가능한 항상 보고자 구성 $A \in \mathcal{A}(D_{obs}, R)$에 대해 계산된 랜덤화 p-value 중 최댓값을 취합니다.
  $$p_{worst} = \sup_{A \in \mathcal{A}(D_{obs}, R)} p(A)$$
• 귀무가설 기각: 만약 $p_{worst} \le \alpha$이면 귀무가설을 기각합니다. 이는 모든 가능한 시나리오에서 유의미한 결과가 나왔음을 의미하므로, 가장 불리한 경우에도 유의미함을 보장합니다.

2.3 균형 조건 (Balance Conditions)

이 논문은 기존 연구와 달리 귀무가설 하에서 두 가지 균형 조건을 활용합니다:

1. 결과 (Outcome) 의 균형: 표준 랜덤화 추론과 동일합니다.
2. 항상 보고자 수의 균형: 무작위 할당은 처치군과 대조군에서 항상 보고자의 기대 수를 동일하게 만듭니다. 이를 통해 새로운 검정 통계량을 구성할 수 있습니다.

2.4 검정 통계량

• Studentized Hajek 통계량 ($T^0_n$): Hajek 추정량의 절대값을 표준편차로 나눈 것.
• Chi-square 유형 통계량 ($T^1_n, T^2_n$): 결과의 균형과 항상 보고자 수의 균형을 모두 고려한 통계량.
  • $T^1_n$: Hajek 통계량의 제곱 + (항상 보고자 수 균형 통계량의 제곱).
  • $T^2_n$: 위와 유사하지만, 항상 보고자 수 균형 통계량에 바닥 함수 (floor function) 를 적용하여 이산성을 반영합니다.

2.5 계산적 구현 (Computational Implementation)

• 이산적 결과 (Discrete Outcomes): 결과 변수의 지지집합 (support) 이 작을 경우 (예: 이진, 범주형), 완전 랜덤화의 대칭성을 이용하여 가능한 모든 결과 카운트 벡터를 열거 (exhaustive enumeration) 하여 p-value 를 계산합니다.
• 연속적 결과 (Continuous Outcomes): 가능한 모든 구성을 열거하는 것은 불가능하므로, 정수 계획법 (Integer Programming, IP) 을 활용합니다.
  • 문제를 더 작은 서브 문제로 분해하고, 각 서브 문제를 IP 를 통해 해결합니다.
  • 이분 탐색 (bisection search) 과 하한/상한 바운딩 기법을 사용하여 계산 효율성을 높입니다.
• 프리테스트 (Pretest): 관측된 손실 패턴을 기반으로 불가능하거나 매우 확률이 낮은 항상 보고자 구성을 미리 제거 (pruning) 하여 계산 부하를 줄입니다.

3. 주요 기여도 (Key Contributions)

1. 이중 보장 (Dual Guarantees):
   • Sharp Null (모든 항상 보고자에게 처리 효과가 0): 유한 표본에서 엄밀하게 유효한 검정을 제공합니다.
   • Weak Null (항상 보고자의 평균 처리 효과가 0): 약한 조건 하에서 점근적으로 유효한 검정을 제공합니다.
   • 기존 문헌은 주로 점근적 유효성만 다루었거나, 특정 조건 (예: 항상 보고자 비율이 매우 낮지 않음) 을 가정했습니다. 본 논문은 손실률 차이가 미미한 경우 (negligible differential attrition) 를 포함한 넓은 매개변수 영역에서도 유효함을 증명했습니다.
2. 새로운 균형 조건 활용: 항상 보고자 수의 균형을 검정 통계량에 포함시켜, 기존 방법보다 더 강력한 검정력을 확보하고 점근적 분포를 더 정교하게 분석했습니다.
3. 실용적인 계산 알고리즘: 연속형 결과 변수에 대해 정수 계획법을 활용한 효율적인 알고리즘을 제안하여, 이론적 절차를 실제 데이터에 적용 가능하게 만들었습니다.

4. 시뮬레이션 결과 (Simulation Results)

• 유한 표본 크기 (Test Size): 귀무가설 ($\tau=0$) 하에서 기각률은 명목 수준 ($\alpha=0.05$) 을 초과하지 않았으며, 실제로는 매우 보수적 (0.002) 이었습니다. 이는 유한 표본에서의 엄밀한 보장을 확인합니다.
• 검정력 (Power): 대립가설 ($\tau=1$) 하에서 기각률은 약 0.92 로 높게 나타나 검정력이 우수함을 보였습니다.
• 계산 시간:
  • 귀무가설이 참이거나 통계량이 매우 큰 경우 (기각이 명확한 경우) 는 휴리스틱 단계에서 빠르게 종료되어 평균 35 초 내외로 계산되었습니다.
  • 귀무가설 기각이 모호한 경우 (통계량이 임계값 근처) 는 모든 구성을 확인해야 하므로 계산 시간이 길어질 수 있으나 (최대 75,000 초 이상), 대부분의 경우 실용적인 수준이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 표본 손실이 있는 RCT 분석에서 모델 기반 추론 (model-based inference) 이나 점근적 근사에 의존하지 않고, 설계 기반 (design-based) 인 랜덤화 추론을 통해 강력한 통계적 보장을 제공하는 새로운 프레임워크를 제시합니다.

• 실무적 의의: 연구자들이 표본 손실로 인한 편향을 걱정하면서도, 유한 표본에서 신뢰할 수 있는 p-value 를 얻을 수 있는 방법을 제공합니다.
• 이론적 의의: 단조성 가정 하에서 항상 보고자 집합의 불확실성을 '최악의 경우' 접근법으로 처리하고, 이를 통해 유한 표본과 점근적 유효성을 동시에 만족하는 검정 절차를 수학적으로 엄밀하게 증명했습니다.
• 확장성: 제안된 알고리즘은 다양한 유형의 결과 변수 (이산형, 연속형) 에 적용 가능하며, 정수 계획법 기법을 통해 계산적으로 실현 가능합니다.

요약하자면, 이 연구는 표본 손실이라는 현실적인 제약 하에서도 강건하고 엄밀한 인과 추론을 가능하게 하는 방법론적 혁신을 이루었습니다.