Design-based theory for causal inference from adaptive experiments

논문 요약: 적응형 실험의 인과 추론을 위한 설계 기반 이론

1. 연구 배경 및 문제 제기 (Problem)

• 적응형 실험의 부상: 다중 암 밴딧 (Multi-armed bandits), 공변량 적응 무작위화 (Covariate-adaptive randomization), 순차적 재무작위화 (Sequential rerandomization) 등 적응형 실험 설계가 의료, 비즈니스, 정책 분야에서 널리 사용되고 있습니다. 이러한 설계는 실험 진행 중 축적된 정보를 바탕으로 후속 단위들의 처리 확률 (Treatment probability) 을 동적으로 업데이트합니다.
• 기존 이론의 한계: 기존 적응형 실험의 인과 추론 이론은 주로 초인구 (Superpopulation) 프레임워크를 가정합니다. 이는 단위들이 독립적이고 동일하게 분포 (i.i.d.) 되어 있다고 가정하며, 처리 확률이 수렴하거나 단위 분포가 시간에 따라 변하지 않는 상황을 전제로 합니다.
• 핵심 문제: 실제 응용에서는 단위들이 시간에 따라 분포가 변하거나 (비교환적, Non-exchangeable), 처리 확률이 0 에 수렴하거나 (Vanishing), 혹은 머신러닝 기반의 복잡한 결과 모델 (Black-box) 을 사용할 때 기존 이론이 적용되지 않거나 편향된 추론을 초래할 수 있습니다. 특히 유한 모집단 (Finite-population) 관점에서의 이론적 근거가 부족했습니다.

2. 방법론 및 접근 (Methodology)

저자들은 **유한 모집단 (Finite-population) 기반의 설계 이론 (Design-based theory)**을 확장하여 적응형 실험의 인과 추론을 재정의했습니다.

• 기본 가정: 잠재 결과 (Potential outcomes) 와 공변량 (Covariates) 을 고정된 것으로 간주하고, 무작위성의 유일한 원천을 **처리 할당 (Treatment assignment)**으로 봅니다. 이는 Fisher 와 Neyman 의 전통적 설계 기반 접근법을 따릅니다.
• 추정량 (Estimators):
  • IPW (Inverse Propensity Weighted): 처리 확률의 역수로 가중치를 부여한 추정량.
  • AIPW (Augmented IPW): IPW 에 결과 회귀 모델 ($\hat{m}_t(z)$) 을 추가한 이중 강건 (Doubly robust) 추정량. 여기서 $\hat{m}_t(z)$는 시점 $t$까지의 정보 ($H_t$) 만을 사용하여 적응적으로 구성된 블랙박스 모델 (머신러닝 등) 일 수 있습니다.
• 수학적 도구:
  • 마팅게일 (Martingale) 구조: 적응형 할당으로 인해 생성된 데이터의 종속성을 처리하기 위해 마팅게일 차분 수열 (Martingale difference sequence) 을 구성하고, 마팅게일 중심극한정리 (Martingale CLT) 를 적용했습니다.
  • 분산 추정량: 유한 모집단 추론에서 내재된 보수성 (Conservativeness) 을 완화하기 위해 잔차 기반의 새로운 공분산 추정량을 제안했습니다.

3. 주요 기여 (Key Contributions)

첫째, 적응형 실험을 위한 유한 모집단 설계 이론의 확립

• 비교환적 단위 (Non-exchangeable units) 허용: 단위들의 분포가 시간에 따라 변하거나 서로 다를 수 있는 일반적인 상황을 포괄합니다.
• 수렴하지 않는 처리 확률 및 블랙박스 모델 지원: 처리 확률이 0 으로 수렴하거나 (Vanishing probabilities), 결과 추정량이 수렴하지 않아도 유효한 추론이 가능하도록 조건을 제시했습니다. 이는 머신러닝 모델과 같은 복잡한 '블랙박스' 모델을 AIPW 에 통합하여 사용할 수 있는 이론적 근거를 제공합니다.
• 정확한 분산 추정: 유한 모집단 추론에서 발생하는 분산 추정량의 과도한 보수성을 줄이기 위해, 잠재 결과의 잔차가 단위 간 가법적 (Additive) 인 경우 날카로운 (Sharp) 분산 추정량을 제안했습니다.

둘째, 비적응형 실험을 위한 적응형 공변량 조정 (Adaptive Covariate Adjustment) 제안

• 비적응형 실험 (고정된 처리 확률) 을 분석할 때에도, 마치 적응형 실험인 것처럼 적응형 AIPW 추정량을 사용하여 공변량 조정을 수행하는 방법을 제안했습니다.
• 장점: 기존 방법 (모든 단위를 사용한 회귀 또는 크로스 피팅) 은 복잡한 종속성으로 인해 강한 일관성 가정이 필요하거나 Bonferroni 보정으로 인해 효율성이 떨어지는 문제가 있었습니다. 반면, 제안된 적응형 조정은 마팅게일 구조를 통해 블랙박스 모델 사용 시에도 약한 조건 하에서 유효한 추론을 가능하게 하며 효율성을 높입니다.

셋째, 블록 적응형 설계 (Block Adaptive Designs) 로의 확장

• 단위가 아닌 그룹 (Block) 단위로 처리가 할당되는 순차적 재무작위화 (Sequential rerandomization) 및 쌍별 순차 무작위화 (Pairwise sequential randomization) 등의 설계에 이론을 확장했습니다.

4. 주요 결과 (Results)

• 점근적 정규성 (Asymptotic Normality): IPW 및 AIPW 추정량이 유한 모집단 프레임워크 하에서도 점근적으로 정규 분포를 따름을 증명했습니다 (Theorem 2, 4).
• 유효한 신뢰구간: 제안된 분산 추정량을 사용하여 구성한 Wald 형 신뢰구간이 점근적으로 명목 수준 (Nominal level) 을 달성함을 보였습니다 (Theorem 3, 5, 6).
• 시뮬레이션 결과:
  • 적응형 공변량 조정: OLS 및 랜덤 포레스트 (Random Forest) 와 같은 블랙박스 모델을 사용할 때, 기존 방법 (모든 단위 사용 또는 크로스 피팅) 보다 **유효한 커버리지 (Coverage)**를 유지하면서 **더 짧은 신뢰구간 (높은 정밀도)**을 제공함을 확인했습니다. 특히 랜덤 포레스트 사용 시 기존 방법은 심각한 커버리지 부족 (Undercoverage) 을 보인 반면, 제안 방법은 95% 수준을 유지했습니다.
  • 순차적 재무작위화: 순차적 재무작위화 설계 하에서 제안된 IPW 추정량은 완전 무작위 설계 (CRD) 에 비해 RMSE 를 약 70% 감소시켰으며, 신뢰구간 길이도 71% 단축되었습니다.
  • 소멸하는 처리 확률: 처리 확률이 너무 빠르게 0 에 수렴할 경우 (예: $\delta < 0$), 추정량의 분포가 왜곡되어 정규 근사가 무너지는 것을 확인하여 이론적 조건의 중요성을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 이론적 통합: 적응형 실험, 특히 다중 암 밴딧과 공변량 적응 무작위화 등 다양한 설계에 적용 가능한 포괄적인 유한 모집단 이론 체계를 구축했습니다.
• 실용적 적용성: 머신러닝과 같은 복잡한 예측 모델을 실험 분석에 통합할 때 발생할 수 있는 편향과 불확실성을 이론적으로 해결하여, 실제 데이터 분석 (의료 임상시험, 온라인 A/B 테스트 등) 에 직접 적용 가능한 가이드라인을 제공합니다.
• 효율성 증대: 제안된 '적응형 공변량 조정'은 비적응형 실험 분석에서도 효율성을 크게 향상시킬 수 있는 새로운 패러다임을 제시하며, 기존 방법론의 한계를 극복했습니다.

결론적으로, 이 논문은 적응형 실험 환경에서 발생하는 복잡한 종속성과 비정상성을 해결하고, 현대적인 머신러닝 기법과 결합된 인과 추론을 위한 강력한 통계적 기반을 마련했다는 점에서 중요한 학술적 기여를 합니다.