Randomization Tests in Switchback Experiments

1. 연구 배경 및 문제 정의 (Problem)

• 스위치백 실험의 한계: 기존 실험 설계는 개체 (사용자) 단위로 무작위 배정을 하지만, 플랫폼 환경에서는 시간 단위로 처치 (Treatment) 와 대조군 (Control) 을 교차시키는 스위치백 방식을 사용합니다.
• 주요 도전 과제:
  1. 시간적 간섭 (Temporal Interference): 과거의 처치가 현재 결과에 영향을 미치는 캐리오버 (Carryover) 효과나, 미래의 처치 계획이 현재 결과에 영향을 미치는 기대 (Anticipation) 효과가 존재합니다.
  2. 유한 표본 및 짧은 기간: 실제 비즈니스 환경에서는 실험 기간이 짧아 표본 크기가 작고, 점근적 (asymptotic) 근사 (정규 분포 가정 등) 가 신뢰할 수 없는 경우가 많습니다.
  3. 시계열 의존성: 결과 변수는 자기상관 (serial dependence), 계절성, 그리고 두꺼운 꼬리 (heavy-tailed) 를 가진 충격에 노출되어 있어, 기존 Fisher 무작위화 검정 (FRT) 이나 Horvitz-Thompson 점근적 검정은 편향되거나 과소/과대 추정될 수 있습니다.
  4. 비선명 귀무가설 (Non-sharp Nulls): 시간적 간섭이 있을 때, 모든 잠재 결과 (Potential Outcomes) 를 관측된 데이터로 대체할 수 없는 '비선명' 가설이 많아 기존 FRT 적용이 어렵습니다.

2. 방법론 (Methodology)

저자들은 **조건부 무작위화 검정 (Conditional Randomization Tests, CRTs)**을 기반으로 한 새로운 프레임워크를 개발했습니다. 이 방법은 분포에 대한 가정 없이 오직 할당 메커니즘 (assignment mechanism) 만을 사용하여 유한 표본에서 정확한 p-값을 제공합니다.

2.1 기본 가정

• 비예상성 (Non-anticipation): 시간 $t$의 결과는 미래 할당 ($W_{t+1:T}$) 에 의존하지 않습니다.
• 유한한 캐리오버 지평 (Finite Carryover Horizon, $m$): 시간 $t$의 결과는 최근 $m+1$ 기간의 처치 이력 ($W_{t-m:t}$) 에만 의존하며, 그 이전의 할당은 영향을 미치지 않습니다.

2.2 주요 기법

1. 조건부 무작위화 검정 (CRT) 및 섹션 풀링 (Section Pooling):

   • 실험 설계 블록 (design blocks) 을 사전에 '섹션 (sections)'으로 병합합니다.
   • 관측된 할당 경로에서 일정한 (constant) 섹션들을 식별하고, 이 섹션 내에서만 재표본추출 (resampling) 을 수행합니다.
   • 이를 통해 캐리오버 오염이 없는 '초점 단위 (focal units)'를 확보하고, 귀무가설 하에서 잠재 결과를 관측 데이터로 대체 (imputation) 할 수 있게 합니다.
   • 불변성 (Invariance): 재표본추출 과정에서 조건부 사건 (conditioning event) 이 변하지 않도록 사전에 고정된 섹션 구조를 사용하여 검정의 유효성을 보장합니다.

2. 캐리오버 지평 추정 및 진단:

   • $m$이 알려져 있지 않은 경우를 위해, $m$-기간 이상의 캐리오버가 없다는 귀무가설을 순차적으로 검정하는 알고리즘을 제안합니다.
   • 교차 검증 (holdout) 방식을 사용하여 초점 결과와 무작위화 라벨을 분리함으로써, 캐리오버 지평을 추정하고 Family-Wise Error Rate (FWER) 를 통제합니다.

3. 비예상성 (Non-anticipation) 검정:

   • Zhong (2024) 의 PIRT(Pairwise Imputation-based Randomization Test) 를 스위치백 설계에 적응화했습니다.
   • 관측된 할당과 공유하는 '접두사 (prefix)'를 가진 대안 할당 경로를 생성하여, 미래 할당에 대한 의존성을 검정합니다.

4. 약한 귀무가설 (Weak-null) 및 Studentized CRT:

   • 평균 효과가 0 이라는 '약한 귀무가설'을 검정하기 위해 Studentized CRT를 도입했습니다.
   • 세션 내 계절성 (예: 요일 효과) 을 고려하여, 세션 내 특정 위치별 평균 효과를 검정합니다.
   • Horvitz-Thompson 추정량과 보수적인 분산 상한치를 사용하여 Studentized 통계량을 구성하고, 점근적 유효성을 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 유한 표본 유효성 (Finite-Sample Validity): 분포 가정 없이, 오직 무작위화 메커니즘과 두 가지 기본 가정 (비예상성, 유한 캐리오버) 하에서 정확한 p-값을 제공하는 최초의 체계적인 프레임워크입니다.
2. 비선명 가설 처리: 시간적 간섭으로 인해 잠재 결과를 완전히 관측할 수 없는 상황에서도, 조건부 무작위화를 통해 유효한 검정을 가능하게 했습니다.
3. 실용적 진단 도구: 캐리오버 기간 ($m$) 과 비예상성 가정을 검증하는 진단 도구를 제공하여, 실험 설계의 타당성을 사전/사후에 평가할 수 있게 했습니다.
4. 파워 분석 및 설계 가이드: AR(1) 노이즈와 분산 지연 효과를 가진 모델 하에서 파워를 근사화하여, 블록 길이, 버닝인 (burn-in), 섹션 풀링 크기가 검정력 (power) 에 미치는 영향을 정량화했습니다.

4. 결과 (Results)

• 시뮬레이션 결과:
  • 크기 통제 (Size Control): 제안된 CRT 는 가우스 분포뿐만 아니라 **두꺼운 꼬리 (heavy-tailed)**를 가진 충격 하에서도 명목 크기 (nominal size, 예: 0.05) 를 정확하게 유지합니다. 반면, 잘못된 선명 귀무가설 (sharp null) 하의 Fisher 검정은 두꺼운 꼬리에서 과대 거부 (over-rejection) 를 보였습니다.
  • 검정력 (Power): 가우스 노이즈 환경에서는 점근적 검정과 유사한 성능을 보이며, 두꺼운 꼬리 환경에서는 크기 보정이 된 대안들보다 더 높은 검정력을 보입니다.
  • 진단 성능: 캐리오버 및 비예상성 진단 검정은 유의미한 크기 통제와 함께 효과 크기가 커질수록 검정력이 증가함을 확인했습니다.
• 이론적 발견:
  • 블록 길이, 버닝인 기간, 그리고 사전 정의된 섹션 풀링이 Studentized CRT 의 신호대잡음비 (signal-to-noise ratio) 를 결정하는 1 차 설계 레버 (design levers) 임을 규명했습니다.
  • 균형 잡힌 할당 (balanced assignment, $p \approx 0.5$) 이 일반적으로 최적의 검정력을 제공함을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 스위치백 실험과 같은 시간 기반 실험 설계에서 신뢰할 수 있는 인과 추론을 가능하게 하는 중요한 이정표입니다.

• 실무적 적용: 짧은 실험 기간과 복잡한 시계열 의존성을 가진 실제 플랫폼 환경 (이커머스, 교통, 광고 등) 에서, 통계적 가정을 최소화하면서도 엄밀한 검정을 수행할 수 있는 도구를 제공합니다.
• 방법론적 확장: 제안된 프레임워크는 스위치백을 넘어 교차 설계 (crossover designs) 및 일반적인 시계열 실험에도 자연스럽게 확장 가능합니다.
• 미래 방향: 파워 최적화, 더 복잡한 시간적 간섭 모델, 그리고 대규모 플랫폼 실험 시스템 내에서의 확장 가능한 구현에 대한 연구의 기초를 마련했습니다.

요약하자면, 이 연구는 **조건부 무작위화 검정 (CRT)**을 통해 시간적 간섭과 유한 표본의 제약을 극복하고, 분포에 무관한 (distribution-free) 강력한 인과 추론 체계를 구축했다는 점에서 학술적, 실무적 가치가 매우 높습니다.