Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 적응형 무작위 실험 (Adaptive Randomized Experiments, 예: 응답 적응형 임상 시험, 컨텍스트 밴딧, 대규모 플랫폼 실험) 은 데이터가 축적됨에 따라 처치 확률 (propensity) 을 동적으로 업데이트하여 학습과 배포를 균형 있게 조절합니다.
• 문제점: 이러한 실험들은 여전히 연구 종료 시점에 평균 처리 효과 (ATE) 에 대한 고정된 시간 (Fixed-Horizon) 신뢰구간을 보고해야 하는 요구사항이 있습니다.
  • 기존 방법론 (Wald 통계량) 은 예측 가능한 이차 변동 (predictable quadratic variation) 이 결정론적인 장기 분산 (deterministic long-run variance) 으로 수렴한다고 가정합니다.
  • 그러나 현대 플랫폼에서는 정책이 중간 추정치에 반응하거나, 가드레일 (guardrails) 이 간헐적으로 활성화되거나, 배치 업데이트로 인해 분산 regime 이 변할 수 있습니다.
  • 이 경우, 예측 가능한 이차 변동이 여전히 무작위적으로 유지되어 단일 결정론적 분산 목표치로 정규화된 Wald 통계량은 조건부 (실제 분산 regime 에 따라) 로 잘못 교정 (miscalibrated) 될 수 있습니다. 즉, 표본 평균적으로는 적절해 보일지라도 특정 시나리오에서는 신뢰구간이 과소/과대 평가될 수 있습니다.

2. 방법론 (Methodology)

이 논문은 분산 안정화 (variance stabilization) 를 강제하지 않고도 유효한 고정 시간 추론을 가능하게 하는 새로운 접근법을 제시합니다.

• 핵심 가정 (Auditable Conditions):

  1. 로그된 실행 확률 (Logged Executed Propensities): 플랫폼이 각 단위 (unit) 에 대해 실제로 무작위화 장치에 전달된 확률 $\pi_t$를 로깅해야 합니다.
  2. 예측 가능한 nuisance 적합 (Predictable Nuisance Fitting): 단위 $t$의 점수 (score) 에 사용되는 nuisance 회귀 모델은 오직 과거 데이터 ($t$ 이전) 만을 사용하여 예측 가능하게 (predictably) 구성되어야 합니다. (즉, 현재나 미래의 데이터를 "peeking" 하지 않아야 함).
  3. 전향적 교차 적합 (Forward Cross-Fitting): 데이터를 시간 순서대로 블록으로 나누고, 각 블록의 점수는 이전 블록들만으로 학습된 모델을 사용하여 계산합니다.

• 추정량 및 통계량:

  • AIPW/DML 점수: 로그된 실행 확률 $\pi_t$와 과거 데이터로 학습된 nuisance 함수를 사용하여 이중 강건 (Doubly Robust) 점수 $\phi_t$를 계산합니다.
  • 마팅게일 구조: 위 조건 하에서 중심화된 점수 증가분 (centered score increments) 은 정확한 마팅게일 차수열 (Exact Martingale Difference Sequence, MDS) 을 이룹니다.
  • 자기 정규화 (Self-Normalization): Wald 통계량을 계산할 때, 사전에 정의된 고정 분산 대신 실현된 이차 변동 (Realized Quadratic Variation, $Q_T$) 으로 분산을 추정하여 Studentized 통계량을 구성합니다.
    $$T_n = \frac{\hat{\theta} - \theta_0}{\sqrt{\hat{V}/n_{eff}}}$$
    여기서 $\hat{V}$는 표본 분산 (실현된 이차 변동의 근사치) 입니다.

3. 주요 기여 (Key Contributions)

1. 감사 가능한 마팅게일 점수화 (Auditable Martingale Scoring):
   • 로그된 실행 확률과 예측 가능한 nuisance 적합이라는 두 가지 구체적인 "데이터 계약 (Data Contract)"을 공식화했습니다. 이 계약 하에서 AIPW/DML 점수 증가분이 정확한 마팅게일 차수열이 됨을 증명했습니다 (Lemma 5.3).
2. 고정 시간 자기 정규화 Wald 추론:
   • 예측 가능한 이차 변동이 결정론적 극한으로 수렴하지 않아도 (즉, 분산이 안정화되지 않아도), 실현된 이차 변동으로 Studentized 한 통계량이 고정 시간 (prespecified horizon) 에서 점근적으로 $N(0, 1)$을 따름을 증명했습니다 (Theorem 5.14).
3. 실현 가능한 Studentization:
   • 실제 분석에서 사용되는 표준 플러그인 (plug-in) Studentizer 가 실현된 이차 변동을 일관성 있게 추정함을 보였습니다 (Proposition 4.11).
4. 오라클 벤치마킹 및 Nuisance 학습 효과:
   • 조건부 2 차 모멘트 분해를 통해 오라클 정밀도 기준을 제시하고, nuisance 오차로 인한 분산 증가 항을 분리했습니다. Nuisance 학습의 정확도는 추론의 유효성 (validity) 에 필수적이지는 않지만, 정밀도 (precision) 에 영향을 줌을 보였습니다.

4. 실험 결과 (Results)

시뮬레이션 연구를 통해 이론을 검증하고 기존 방법론의 한계를 확인했습니다.

• Design A (무작위 장기 분산):
  • 분산 regime 이 실험 중 변경되는 시나리오에서, 기존 고정 분산 (Fixed-V) 방법은 regime 에 따라 신뢰구간 길이가 너무 짧거나 길어지며, 조건부 커버리지 (conditional coverage) 가 명목 수준에서 크게 벗어났습니다.
  • 반면, 제안된 자기 정규화 (SN) 방법은 모든 regime 에서 명목 수준 (95%) 에 가까운 커버리지를 유지했습니다.
• Design C1 (Leakage Stress Test):
  • 예측 가능성 (predictability) 조건을 위반하고 미래/현재 데이터를 누출 (leakage) 하여 nuisance 를 학습한 경우, SN 방법의 커버리지가 급격히 하락하고 거짓 긍정률이 증가했습니다. 이는 예측 가능성 조건의 중요성을 강조합니다.
• Design D (적응형 정책 및 로깅 무결성):
  • 로그된 실행 확률을 올바르게 사용하지 않고 (예: 0.5 로 가정) 분석을 수행할 경우, 심각한 편향과 커버리지 붕괴가 발생했습니다. 이는 "로그된 실행 확률"의 무결성이 추론의 핵심임을 보여줍니다.

5. 의의 및 결론 (Significance)

• 실용적 적용: 이 연구는 적응형 실험 플랫폼이 기존의 AIPW/DML 추정량을 변경하지 않고도, 로깅 프로토콜 (실행 확률 기록) 과 분석 파이프라인 (예측 가능한 피팅) 만을 준수함으로써 유효한 고정 시간 신뢰구간을 얻을 수 있음을 보여줍니다.
• 이론적 혁신: 분산 안정화 (variance stabilization) 나 정책 설계의 제약 없이, 마팅게일 한계 이론을 활용하여 동적 환경에서의 추론을 가능하게 했습니다.
• 제한 사항: 이 방법은 고정 시간 (Fixed-Horizon) 추론에 국한됩니다. 중간에 데이터를 확인하거나 선택적 중단 (optional stopping) 을 하는 경우에는 유효하지 않으며, 이 경우 시간 균일 (time-uniform) 방법론 (예: 신뢰 구간 시퀀스) 을 사용해야 합니다.
• 데이터 계약: 연구는 실험 설계 단계에서 "실행된 확률 로깅"과 "과거 데이터만 사용한 피팅"을 의무화하는 구체적인 감사 가능한 프로토콜을 제안하여, 적응형 실험의 투명성과 신뢰성을 높이는 데 기여합니다.

요약하자면, 이 논문은 적응형 실험에서 분산의 불확실성을 해결하기 위해 마팅게일 구조와 실현된 이차 변동을 결합한 새로운 추론 프레임워크를 제시하며, 이를 위해 플랫폼이 준수해야 할 구체적인 로깅 및 분석 계약을 정의했습니다.