기술 요약: 비정상성(Nonstationarity) 하에서의 절단된 정책 경사(Truncated Policy Gradient) 추정량을 통한 처치 효과 추정

1. 문제 정의

무작위 실험(A/B 테스트)은 추천 플랫폼, 마켓플레이스, 디지털 헬스케어와 같은 동적 시스템에서 개입을 평가하는 표준적인 도구이다. 그러나 이러한 환경에서 개입은 종종 이월 효과(carryover effects, 또는 시간적 간섭)를 유발하는데, 이는 시점 $t$에서의 행동이 미래의 시점 $t' > t$에서의 시스템 상태와 결과에 영향을 미치는 현상을 의미한다. 이는 단위 수준의 독립성이라는 표준 가정을 위반한다.

이러한 문제는 비정상성(nonstationarity)으로 인해 더욱 심화된다. 즉, 사용자 선호도의 변화, 계절적 트렌드, 또는 외부 충격 등으로 인해 시스템 역학(전이 커널 및 보상 분포)이 시간에 따라 변한다. 이러한 비정상적 마르코프 환경에서 기존의 추정 방식들은 상당한 한계에 직면한다:

• 단순 추정량(예: 차이 평균법, Difference-in-Means)은 시간적 의존성을 무시하여 상당한 편향을 초래한다.
• 정상적 오프-폴리시 평가(Stationary OPE) 방법론(예: 차이-in-Q 또는 DQ 추정량)은 정상적인 환경을 가정한다. 비정상적 데이터에 적용될 경우, 이들은 (정상적 관측 가능성이나 다수의 독립적 궤적과 같은) 가정들이 성립하지 않기 때문에 높은 편향과 분산을 겪게 된다.
• 복잡한 실험 설계(예: 스위치백 실험)는 간섭을 완화할 수 있지만 구현하기 어렵고 구간 길이에 대한 세심한 조정이 필요하다.

본 논문이 다루는 핵심 문제는, 상태 공간에 대한 지식이나 다수의 독립적인 실행 없이도, 베르누이 무작위 정책 하의 비정상 시스템으로부터 생성된 **단일 궤적(single trajectory)**으로부터 **전역 평균 처치 효과(Global Average Treatment Effect, GATE)**를 추정하는 것이다.

2. 방법론: 절단된 정책 경사(Truncated Policy Gradient, TPG) 추정량

저자들은 표준 차이 평균법(DM)을 수정하여, 즉각적인 보상을 사용하는 대신 짧고 고정된 호라이즌 $k$ 동안의 결과를 집계하는 절단된 정책 경사(TPG) 추정량을 제안한다.

2.1 공식 프레임워크

시스템은 유한 호라이즌 $T$를 가진 비정상 마르코프 결정 과정(MDP)으로 모델링된다.

• 상태/행동: $X_t \in \mathcal{X}$ (상태), $Z_t \in \{0, 1\}$ (대조군/처치군).
• 역학: 전이는 시간 의존적 커널 $P^t_z$에 의해 지배된다. 시스템은 혼합 시간 가정(Mixing time assumption, 가정 1)을 만족하며, 여기서 과거의 행동이 미치는 영향은 비율 $\gamma \in (0, 1)$로 지수적으로 감소한다.
• 목표: GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$, 여기서 $\pi_1$은 항상 처치를 받는 정책이고 $\pi_0$는 항상 대조군인 정책이다.
• 데이터: 베르누이 무작위화 정책 $\pi_{1/2}$ 하에서 생성된 단일 궤적.

2.2 추정량

TPG 추정량 $\hat{\tau}_k$는 다음과 같이 정의된다:
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
$k=0$일 때, 이는 단순 DM 추정량으로 환원된다. $k \ge 1$인 경우, 이는 크기가 $k$인 윈도우 동안의 보상을 합산한다.

2.3 이론적 해석

본 논문은 $\hat{\tau}_k$가 절단된 정책 경사 $\nabla J_k(1/2)$의 불편 추정량임을 입증한다.

• 정책 경사 관점: 표준 정책 경사 $\nabla J(1/2)$는 GATE에 대한 1차 테일러 근사이다. 비정상 환경에서 전체 경사 추정량(여기서 $k=T$)은 $T$에 대해 이차적으로($O(T^2)$) 증가하는 편향을 갖는다.
• 절단(Truncation): 호라이즌을 $k$로 절단함으로써, 이 추정량은 마지막 $k$ 단계 동안만 처치 또는 대조군으로 전환되는 가상의 정책의 경사를 근사한다.
• 편향 분해: 진정한 GATE에 대한 $\hat{\tau}_k$의 편향은 다음 두 가지로 분해된다:
  1. 테일러 오차(Taylor Error): GATE를 경사로 근사하는 데서 발생하는 오차. 이는 $O(k^2)$의 속도로 스케일링된다(이는 $O(T^2)$보다 훨씬 우수하다).
  2. 혼합 편향(Mixing Bias): 절단된 정책의 가치와 진정한 GATE 사이의 차이에서 발생하는 오차. 이는 혼합 시간 가정에 의해 $k$에 따라 기하급수적으로 감소한다.

2.4 분산 추정 및 추론

본 논문은 비정상성 하에서의 TPG 추정량에 대한 **중심한계정리(CLT)**를 도출한다. 통계적 추론을 지원하기 위해, 저자들은 일관된 비정상 HAC(이분산성 및 자기상관 일치) 분산 추정량을 개발하였다. 이 추정량은 단일 궤적 데이터를 사용하여 신뢰 구간을 구축할 수 있게 하며, 비정상 환경의 표준 OPE 방법론을 괴롭히는 "호라이즌의 저주"를 극복한다.

3. 주요 기여

1. 새로운 추정량: 보상 호라이즌을 절단함으로써 편향과 분산 사이의 균형을 맞추는 TPG 추정량을 도입하였다. 이는 상태 공간에 대한 지식을 요구하지 않으며 단일 궤적에서도 작동한다.
2. 이론적 보장:
   • 편향-분산 트레이드오프: 정리 1은 $k \ge 1$일 때 TPG 추정량이 유리한 트레이드오프를 달성함을 보여주는 경계(bounds)를 제공한다. 편향은 혼합율 $\gamma$와 커널 편차 $\delta$에 의해 제어되며, 분산은 유계(bounded)이며 $T$에 따라 폭발하지 않는다(절단되지 않은 추정량과 달리).
   • 점근적 정규성: 정리 2는 비정상성 하에서의 TPG 추정량에 대한 CLT를 확립하고, 완만한 정규성 조건(Cesàro-$L^2$ 평균 안정성) 하에서 제안된 HAC 분산 추정량의 일관성을 증명한다.
3. 실용적 휴리스틱: 실험 후 실험의 안정성을 분산 대비 모니터링함으로써 절단 크기 $k$를 선택하는 데이터 기반 알고리즘(부록 B)을 제안한다.
4. 경험적 검증: 방법론은 다음 두 가지 현실적인 사례 연구를 통해 검증되었다:
   • 비정상적인 환자 도착 데이터를 기반으로 한 큐잉(queueing) 시뮬레이터.
   • 실제 택시 데이터를 사용한 대규모 NYC 승차 공유 시뮬레이터.

4. 결과

• 2상태 MDP: 시뮬레이션에서 단순 DM 추정량($k=0$)은 약 50%의 평균 절대 오차(MAE)를 보였다. 절단되지 않은 정책 경사($k=T$)는 잘못된 부호를 가졌으며 거대한 분산을 보였다. 작은 $k$(예: $k=1$에서 $5$)를 가진 TPG 추정량은 편향을 크게 줄이면서도 낮은 분산을 유지했다.
• 큐잉 사례 연구: 정적 DQ, LSTD-OPE 및 편향 교정 스위치백 추정량과 비교했을 때, TPF 추정량($k=4$ 또는 $5$)은 진정한 GATE에 매우 근접했다. 제안된 HAC 분산 추정량은 명목상의 95% 커버리지를 거의 달성했다.
• 승차 공유 사례 연구: 실제 NYC 데이터를 포함한 복잡하고 비정상적인 환경에서, TPG 추정량은 다양한 스위치백 구간(10분에서 60분)에 걸쳐 일관되게 편향을 줄였다. 이는 구간 선택에 민가한 최첨단 스위치백 추정량 및 안정적인 Q-값을 학습하는 데 실패한 정적 OPE 방법론보다 뛰어난 성능을 보였다. $k=2$ 또는 $3$인 TPG 추정량은 진정한 GATE에 매우 가까운 추정치를 생성했다.

5. 의의 및 주장

본 논문은 TPG 추정량이 복잡한 비정상 역학을 가진 시스템에서 인과 추론을 위한 단순하고 실용적이며 이론적 근거가 확실한 솔루션을 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 강건성(Robustness): 기존 방법론(단순 DM, 정적 OPE)이 실패하는 설정에서 편향과 분산 사이의 유리한 균형을 달성한다.
• 실행 가능성(Feasibility): 상태 공간에 대한 지식 없이 단일 궤적 데이터로 작동하므로, 전체 상태 관측이 불가능한 경우가 많은 실제 플랫폼에 적용 가능하다.
• 추론(Inference): 단일 궤적 비정상 마르코프 설정에서 처치 효과 추정을 위한 최초의 일관된 분산 추정량과 CLT를 제공하여 유효한 통계적 추론을 가능하게 한다.
• 유연성(Flexibility): 표준 베르누이 A/B 테스트나 스위치백과 같은 더 복적인 설계로부터 얻은 추정치를 개선하기 위한 사후 처리(post-processing) 도구로 활용될 수 있다.

저자들은 정책 경사 관점, 특히 절단을 통한 접근 방식이 복잡한 비정상 역학 하에서 효과적인 추정량을 설계하기 위한 강력한 프레임워크를 제공한다고 결론짓는다.