기술 요약: 컨텍스추얼 밴딧의 오프-폴리시 평가를 위한 커널 가중 중요도 샘플링 (Kernel Weighted Importance Sampling)

1. 문제 정의

본 논문은 컨텍스추얼 밴딧(Contextual Bandits)에서의 오프-폴리시 평가(Off-Policy Evaluation, OPE) 문제를 다룹니다. 목표는 서로 다른 로깅(행동) 정책 $\pi_l$로부터 수집된 데이터를 사용하여 타겟 정책 $\pi_e$의 기대 성능(가치)을 추정하는 것입니다.

표준적인 접근 방식은 **중요도 샘플링(Importance Sampling, IS)**에 의존합니다. 일반적인 IS(Vanilla IS, VIS) 추정량은 편향되지 않았으나(unbiased), 타겟 정책과 로깅 정책이 크게 달라질 때 높은 분산과 무한대 발산 문제를 겪습니다. 가중 중요도 샘플링(Weighted IS, WIS) 추정량은 가중치를 정규화함으로써 분산을 완화하고 유계성(boundedness)을 유도하지만, 편향(bias)을 발생시키고 샘플 간의 복잡한 의존 구조를 만들어 이론적으로 제어하기 어렵게 만듭니다.

저자들은 기존 방법론들이 특히 행동 정책이 잘못 지정된(miss-specification) 조건 하에서 VIS의 선형성/독립성과 WIS의 유계성/분산 감소를 동시에 달로 달성하는 데 어려움을 겪고 있다는 점을 식별했습니다.

2. 방법론

2.1 커널-WIS 추정량 (The Kernel-WIS Estimator)

저자들은 VIS와 WIS의 이점을 통합하도록 설계된 새로운 추정량인 Kernel-WIS를 제안합니다. 이는 WIS를 가중치 $W$의 조건부 제어 변수(conditional control variate)인 $E[W|S]$를 사용하는 것으로 볼 수 있다는 관찰에서 착안되었습니다.

추정식은 다음과 같이 정의됩니다:
$$\hat{J}_{\text{Kernel-WIS}} = \frac{1}{n} \sum_{i=1}^n r_i w_i \left( \frac{\sum_{j=1}^n k_h(s_i, s_j) w_j}{\sum_{j=1}^n k_h(s_i, s_j)} \right)^{-1}$$

여기서:

• $r_i$는 관측된 보상입니다.
• $w_i = \frac{\pi_e(a_i|s_i)}{\pi_l(a_i|s_i)}$는 중요도 가중치입니다.
• $k_h(s_i, s_j)$는 대역폭(bandwidth) $h$를 가진 커널 함수입니다.
• 분모 항은 $E[W|S=s_i]$를 추정하는 나다라야-왓슨 커널 회귀(Nadaraya–Watson kernel regressor) 역할을 합니다.

2.2 이론적 특성

• 점근적 일치성 (Asymptotic Consistency): 저자들은 (올바른 프로펜시티 모델 식별, 양의 확률성(positivity), 그리고 $n \to \infty$일 때 $h \to 0$인 특정 대역폭 스케줄을 포함한) 완만한 가정 하에서 Kernel-WIS 추정량이 점근적으로 일치함을 증명합니다 (정리 1).
• 상태-WIS 연결 (State-WIS Connection): 저자들은 정확한 상태 매칭을 사용하는 한계 사례인 "State-WIS" 추정량을 도입합니다. State-WIS는 연속 공간에서 과도하게 편향되는 것으로 나타났지만, Kernel-WIS를 이해하기 위한 이론적 가교 역할을 합니다.

2.3 대역폭 선택 (Bandwidth Selection)

이 방법의 핵심 요소는 대역폭 $h$를 선택하는 것입니다. 저자들은 분모를 가중치 $W$를 예측하는 문제(상태 $S$가 주어졌을 때 $W$ 예측)로 취급하며, 가중치 예측의 평균 제곱 오차(MSE)를 최소화하기 위해 **K-겹 교차 검증(K-fold cross-validation)**을 사용합니다.

• RBF(Radial Basis Function) 커널을 가정하여 대역폭에 대한 MSE의 **해석적 그래디언트(analytic gradient)**를 도출하였으며, 이를 통해 L-BFGS-B와 같은 알고리즘을 이용한 최적화를 용이하게 합니다.
• 실험에서는 지역 최솟값(local minima)을 피하기 위해 여러 번의 초기화를 활용하였습니다.

3. 주요 기여

1. 새로운 추정량: 커널 평활화(kernel smoothing)를 통해 WIS의 유계성과 VIS의 독립성 특성을 결합한 Kernel-WIS를 도입했습니다.
2. 이론적 보장: 표준적인 인과 추론 가정 하에서 Kernel-WIS 추정량의 점근적 일치성에 대한 증명을 제공했습니다.
3. 실증적 검증: 오라클(정확히 지정된) 및 비-오라클(잘못 지정된) 행동 정책 환경 모두에서 성능을 입증하기 위해 10개의 데이터셋(실제 의료 및 분류 데이터 포함)을 통한 포괄적인 평가를 수행했습니다.

4. 실험 결과

평가는 OpenML의 10개 데이터셋을 컨텍스추얼 밴딧 문제로 재구성하여 진행되었습니다. 저자들은 Kernel-WIS를 VIS, WIS, State-WIS, CLPD VIS와 비교했습니다.

4.1 오라클 행동 정책 (Oracle Behavior Policies)

• 로깅 정책이 올바르게 지정된 경우(오라클 설정), 대부분의 시나리오에서 Kernel-RIS는 WIS와 (통계적으로) 동일한 성능을 보였습니다.
• 소수의 경우, 특히 샘플 크기가 변함에 따라 Kernel-WIS가 WIS보다 통계적으로 유의미한 개선을 보여주었습니다.

4.2 비-오라클 (잘못 지정된) 행동 정책 (Non-Oracle Behavior Policies)

• 이 부분이 주요 개선 영역입니다. 행동 정책이 잘못 지정된 조건 하에서 Kernel-WIS는 대다수의 시나리오에서 WIS보다 (통계적으로) 유의미하게 우수한 성능을 보였습니다.
• 이 추정량은 WIS와 비슷하거나 더 작은 근사 분산을 나타냈으며, 표준 WIS를 괴롭히는 꼬리 분포(tail behavior)를 효과적으로 제어했습니다.

4.3 연속 보상 민감도 (Continuous Reward Sensitivity)

• 저자들은 (잠재 공간 거리에 기반하여 보상을 정의하기 위해 VAE를 사용한) 연속 보상 설정을 테스트했습니다.
• 결과: 이 특정 설정에서 Kernel-WIS는 WIS에 비해 현저히 낮은 성능을 보였습니다. 저자들은 이러한 성능 저하를 언급했으나, 명확한 이론적 설명을 제공하지 않고 향후 연구 과제로 남겨두었습니다.

4.4 대역폭 민감도 (Bandwidth Sensitivity)

• 실험에서는 공유 대역폭(스칼라 $h$)과 고유 대역폭(차원당 벡터 $h$)을 비교했습니다.
• 공유 대역폭 방식이 일반적으로 더 낫거나 동등한 결과를 냈습니다. 고유 대역폭은 일부 차원의 대역폭은 매우 작고 다른 차원은 매우 큰 "과적합" 동작을 유발하여, 추정량이 편향된 State-WIS 동작으로 퇴보하게 만들었습니다.

5. 의의 및 주장

본 논문은 Kernel-WIS가 특히 행동 정책이 잘못 지정된(miss-specified) 일반적인 실세계 시나리오에서 OPE를 위한 실용적인 효용을 제공한다고 주장합니다.

• 트레이드오프: 이 방법은 완벽한 오라클 조건에서의 잠재적인 (통계적으로 유의미하지 않은) 성능 저하를 감수하는 대신, 잘못 지정된 상황에서의 통계적으로 유의미한 성능 향상을 얻을 수 있게 해줍니다.
• 유계성: WIS의 유계된 특성과 커널 평활화를 결합함으로써, Kernel-WIS는 State-WIS의 극단적인 편향을 유발하지 않으면서도 분산과 꼬리 분포를 효과적으로 제어합니다.
• 한계점: 저자들은 Kernel-WIS가 모든 경우에 WIS를 압도하는 것은 아니라는 점(특히 연속 보상 설정에서)과 대역폭 최적화가 여전히 실무적인 과제임을 인정합니다. 현재의 교차 검증 방식은 정책 가치의 오차 자체가 아니라 가중치 예측의 오차를 최소화하는 것에 초점을 맞춘 "부차적인(tangential)" 접근법으로 설명됩니다.

결론적으로, 대역폭 선택(예: PAC-Bayes bounds)에 대한 추가 연구와 시계열 설정으로의 확장이 필요하지만, Kernel-WIS는 강건한 오프-폴리시 평가를 위한 중요한 진전임을 시사합니다.