Exploiting Similarities in A/B Testing with Off-Policy Estimation

기술 요약: 오프-폴리시 추정(Off-Policy Estimation)을 통한 A/B 테스트의 유사성 활용

문제 정의
A/B 테스트는 새로운 결정 시스템($\pi_A$)의 성능 향상을 베이스라인($\pi_B$)과 비교하여 측정하는 표준 프로토콜입니다. 전통적으로 이는 두 시스템을 블랙박스로 취급하는 평균 차이 추정량(difference-in-means estimator)을 사용하여 수행됩니다. 이 방식은 편향되지 않았으나(unbiased), 두 정책 사이의 잠재적인 구조적 유사성을 무시하기 때문에 통계적으로 최적은 아닙니다. 현대의 온라인 애플리케이션(예: 광고, 추천 시스템)에서 결정 시스템은 종종 확률적이며 상당한 구조를 공유하므로, 특정 결정을 내리는 "성향(propensities)"이 서로 유사합니다. 본 논문은 정책 간의 중첩(overlap)이 존재할 때, 고전적인 추정량은 불필요한 분산을 겪는 반면, 중요도 가중치(importance weighting)에 의존하는 표준 오프-폴리시 추정(OPE) 방식은 직접적으로 A/B 테스트를 대체하기에는 너무 편향되거나 불안정할 수 있다고 주장합니다.

방법론
저자들은 표준 실험 프로토콜을 변경하지 않으면서 오프-폴리시 추정 기술을 활용하여 $\pi_A$와 $\pi_B$ 사이의 중첩을 이용하는 A/B 테스트 추정량 제품군을 제안합니다.

1. 프레임워크: 문제는 사용자가 궤적(trajectory) $\tau$를 통해 시스템과 상호작용하는 확장된 비-마르코프 결정 과정(non-Markov Decision Process, NMDP) 프레임워크 내에서 모델링됩니다. 목표는 개선 정도 $I(\pi_A, \pi_B) = V(\pi_A) - V(\pi_B)$를 추정하는 것입니다.
2. 추정량 구성: 제안된 추정량 $\hat{I}_f$는 두 가지 구성 요소를 결합합니다:
   • 베이스라인 정책($D_B$)으로부터 얻은 데이터를 사용하는 $f$-정규화된 역 성향 점수(Inverse Propensity Scoring, IPS) 항.
   • 타겟 정책($D_A$)으로부터 얻은 데이터를 사용하는 편향 수정 항.
   • 함수 $f: \mathbb{R}_+ \to \mathbb{R}$는 중요도 가중치 $w(\tau) = \pi_{target}(\tau) / \pi_{source}(\tau)$를 변환합니다.
3. 이론적 조건:
   • 불편성(Unbiasedness): 추정량은 $f(0) = -1$일 때 불편성을 가집니다. 이 조건은 정책들이 서로 겹치지 않는 경우(disjoint support), 추정량이 자연스럽게 표준 평균 차이 추정량으로 돌아가도록 보장합니다.
   • 분산 감소: 분산을 줄이기 위해 저자들은 분산 대리물(variance surrogate) $S_f$를 정의합니다. 이들은 $f$에 대한 조건($f(1)=0$ 및 $f(x)$에 대한 경계값)을 도출하여, 정책이 유사할 때 평균 차이 추정량보다 낮은 분산을 보장합니다.
4. 최적의 변환:
   • 대리물-최적(Surrogate-Optimal, $f^*_{n_r}$): 저자들은 분산 대리물을 최소화하는 폐쇄형 함수 $f^*_{n_r}(x) = \frac{x-1}{n_r x + 1}$ (여기서 $n_r = n_A/n_B$)를 도출합니다. 이 추정량은 표본 불균형을 고려하기 위해 두 집단의 데이터를 효과적으로 재가중합니다.
   • 오설정 인지(Misspecification-Aware, $f^*_{\lambda, \Delta}$): 성향(propensity)이 데이터로부터 알려진 것이 아니라 추정되는 경우가 많다는 점을 인식하여, 저자들은 성향 오설정 하에서 편향과 분산 사이의 균형을 맞추기 위한 정규화 파라미터 $\lambda$를 도입합니다. 이를 통해 오설정이 증가함에 따라 평균 차이 추정량으로 우아하게 퇴화하는 강건한 추정량을 생성합니다.

주요 기여

• 새로운 추정량 제품군: 정책 간의 중첩을 명시적으로 활용하는 중요도 가중치 기반의 유연한 A/B 테스트 추정량 제품군을 도입했습니다.
• 이론적 보장: 특정 $f$ 조건 하에서 추정량이 불편함을 증명하였으며, 정책이 유사할 때 개선된 집중 특성(낮은 분산)을 보여줍니다.
• 강건성: 성향이 데이터로부터 추정될 때도 강건하게 작동하는 오설정 인지형 변형을 개발하여, 일반적인 OPE 방식의 높은 분산이나 편향 문제를 피했습니다.
• 우아한 퇴화: 제안된 추정량은 정책이 뚜렷하게 구분되거나(중첩 없음) 오설정이 심각할 때 자동으로 표준 평균 차이 추정량으로 복귀하도록 설계되어, 불리한 시나리오에서도 성능 저하를 방지합니다.

실험 결과
저자들은 세 가지 실험 환경을 통해 접근 방식을 검증했습니다:

1. 중첩된 정책 및 데이터 불균형: 단순화된 밴딧(bandit) 설정에서, 제안된 추정량은 정책이 가까울 때 상당한 분산 감소(특정 시나리오에서 최대 27배)를 달ach했습니다. 이러한 감소는 특히 표준 차이 추정량이 어려움을 겪는 불균형한 사용자 할당($n_A \neq n_B$) 상황에서 효과적이었습니다.
2. 오설정에 대한 민감도: 성향 추정에 유도된 오류가 있는 시나리오에서, 표준 IPS 및 나이브한 정규화 추정량($h_1$)은 높은 평균 제곱 오차(MSE)를 보였습니다. 반면, 제안된 오설정 인지형 추정량은 평균 차이 추정량보다 일관되게 우수한 성능을 보였으며, 중간 또는 높은 수준의 오설정 하에서도 낮은 MSE를 유지했습니다.
3. 현실적인 추천 문제: 사용자 지루함(boredness)이 포함된 비-마르코프적 추천 환경을 시뮬레이션하여, 저자들은 호라이즌 $T \in \{1, \dots, 32\}$를 테스트했습니다. 분산 최적 추정량($f^*_1$)은 단기 및 중기 호라이즌에서 MSE를 크게 줄였습니다. 그러나 긴 호라이즌의 경우, 성향 추정의 누적되는 오류로 인해 성능이 저하되었습니다. 오설정 인지형 추정량은 모든 호라이즌에 걸쳐 안정적이고 완만한 이득을 제공하며, 표준 차이 추정량 및 DiffQ와 같은 다른 OPE 기반 접근 방식보다 우수한 성능을 보였습니다.

의의 및 주장
본 논문은 오프-폴리시 추정 아이디어가 단순히 A/B 테스트의 대체재가 아니라, A/B 테스트 자체의 통계적 효율성을 높이는 도구로 사용되어야 한다고 주장합니다. 성향(propensity)을 활용함으로써 실무자는 동일한 샘플 크기로 더 정확한 개선 추정치를 얻을 수 있습니다. 제안된 방법은 다음과 같은 점에서 중요합니다:

• 표준 A/B 테스트 데이터 수집 프로토콜을 변경할 필요가 없습니다.
• 추정된 성향이라는 현실적인 상황에 대해 강건합니다.
• "최선의 양면(best of both worlds)" 시나리오를 제공합니다: 정책이 유사할 때(반복적인 시스템 업데이트의 흔한 경우)는 상당한 분산 감소를 제공하며, 정책이 다를 때는 안전성(표준 A/B 테스트보다 나쁘지 않음)을 보장합니다.

저자들은 자신의 접근 방식이 중첩된 정책에서의 분산 문제를 해결하지만, 성향 드리프트(propensity drift)가 상당한 매우 긴 호라이즌의 경우 여전히 과제가 남아 있다고 결론지으며, 순차적 구조와 이중 강건(doubly robust) 방법을 활용하는 후속 연구를 제안합니다.