기술 요약: 컨텍스추얼 밴딧을 위한 교차 도메인 오프-폴리시 평가 및 학습

1. 문제 정의

본 논문은 실제 응용 분야(예: 개인 맞춤형 의료, 광고, 교육)에서 흔히 발생하는 세 가지 구체적이고 도전적인 시나리오를 직면했을 때, 기존의 오프-폴리시 평가(OPE) 및 오프-폴리시 학습(OPL) 방법이 가진 한계를 다룹니다:

1. 결정론적 로깅 정책 (Deterministic Logging Policies): 과거의 로깅 정책이 특정 행동을 확률 1로 선택하여, 확률적 탐색(stochastic exploration)이 존재하지 않는 경우입니다.
2. 새로운 행동 (New Actions): 새로운 정책에서 사용 가능한 행동이 과거의 로깅된 데이터에는 관찰되지 않은 경우입니다.
3. 퓨-샷 데이터 (Few-Shot Data): 타겟 도메인의 로깅된 데이터가 극도로 제한적인 경우입니다.

IPS(Inverse Propensity Scoring) 및 DR(Doubly Robust)과 같은 표준 추정기들은 공통 지지 집합(Common Support) 가정(조건 2.1)에 의존하며, 이는 새로운 정책이 취하는 모든 행동이 로깅 정책에 의해 취해질 확률이 0보다 커야 함을 요구합니다. 이 가정이 위반될 때(결정론적 정책이나 새로운 행동으로 인해), 이러한 추정기들은 탐색되지 않은 행동에 대한 보상 정보가 부족하기 때문에 심각한 편향(bias)을 겪게 됩니다. 이를 완화하기 위해 데이터를 여러 도메인으로부터 풀링하려는(예: IPS-ALL) 나이브한 시도는 도메인 간의 데이터 생성 과정(DGP) 차이를 무시함으로써 상당한 편향을 유발할 수 있습니다.

이를 해결하기 위해 저자들은 새로운 문제 정의인 교차 도메인 OPE/L을 제안합니다. 이 설정의 목표는 타겟 도메인($T$)의 제한된 로깅 데이터뿐만 아니라, 여러 소스 도메인($S$)으로부터의 과거 로깅 데이터셋을 활용하여 타겟 도메인에서의 정책을 평가하고 최적화하는 것입니다. 소스 도메인들은 서로 다른 컨텍스트 분포, 보상 분포, 로깅 정책을 가질 수 있지만, 동일한 행동 공간을 공유합니다.

2. 방법론

2.1 보상 함수 분해

제안된 방법의 핵심은 임의의 도메인 $k$에 대한 기대 보상 함수 $q_k(x, a)$를 다음 두 가지 구성 요소로 분해하는 것입니다:
$$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{도메인 클러스터 효과}} + \underbrace{h(x, a, k)}_{\text{도메인 특이적 효과}}$$

• 도메인 클러스터 효과 ($g$): 동일한 클러스터 $\phi(k)$ 내의 도메인들에 공통적인 구성 요소입니다. 이는 공유된 인과적 효과(예: 유사한 병원들 사이에서의 일반적인 치료 효능)를 포착합니다.
• 도메인 특이적 효과 ($h$): 각 특정 도메인 $k$에 고유한 구성 요소로, 클러스터 평균으로부터의 편차를 나타냅니다.

2.2 COPE 추정기

저자들은 지지 집합 결핍 문제를 처리하기 위해 이 분해를 활용하는 교차 도메인 오프-폴리시 평가(COPE) 추정기를 제안합니다:

1. 클러스터 효과 추정: 도메인 클러스터 효과 $g$에 대해, COPE는 타겟 클러스터 $\phi(T)$ 내의 모든 데이터를 사용하는 **다중 중요도 가중치(Multiple Importance Weighting, MIW)**를 적용합니다. 이를 통해 추정기는 타겟 도메인 내에서 탐색되지 않은 행동이라 할지라도, 해당 클러스터 내에서 탐색되었다면 소스 도메인의 탐색 데이터를 활용하여 평가할 수 있습니다.
2. 특이적 효과 추정: 도메인 특이적 효과 $h$에 대해, COPE는 타겟 도메인의 로깅된 데이터만을 사용하여 학습된 보상 회귀(Reward Regression, $\hat{q}_T$)를 사용합니다. 이는 타겟 도메인의 고유한 특성을 보정합니다.

최종 COPE 추정기는 이 두 부분을 결합합니다:
$$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{클러스터 데이터에 대한 MIW}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{타겟 데이터에 대한 회귀}}$$
여기서 $p_{\phi(T)}(a|x)$는 중요도 가중치의 분모 역할을 하는, 타겟 클러스터 전체에 걸쳐 평균화된 컨텍스트와 행동의 결합 분포입니다.

2.3 정책 학습으로의 확장 (COPE-PG)

이 프레임워크는 정책 그래디언트 추정기(COPE-PG)를 유도함으로써 오프-폴리시 학습(OPL)으로 확장됩니다. 이 추정기는 동일한 분해 방식을 사용하여 정책 파라미터 $\theta$를 업데이트하며, 이를 통해 소스 도메인의 그래디언트를 활용하여 새로운 행동을 선택하거나 결정론적 로깅 상황을 처리하는 정책을 학습할 수 있게 합니다.

2.4 이론적 특성

• 완화된 지지 조건: 이 방법은 공통 클러스터 지지(Common Cluster Support)(조건 3.1)에 의존하며, 이는 로깅 정책이 타겟 도메인 단독이 아니라 클러스터 내의 도메인들에 대해 공통 지지 집합을 갖는다면 충족됩니다. 이를 통해 타겟 도민의 로깅 정책이 결정론적이거나 새로운 행동이 존재하더라도, 클러스터 내에 탐색 데이터가 있다면 평가가 가능합니다.
• 편향 분석: COPE의 편향은 클러스터 내 회귀 오차의 가중 평균과 타겟 도메인의 오차 사이의 차이로 특징지어집나다. 조건부 쌍별 정확성(Conditional Pairwise Correctness, CPC) 조건(회귀 모델이 클러스터와 타겟 간의 상대적 보상 차이를 정확하게 보존하는 경우) 하에서, COPE는 편향이 없는 것으로 증명되었습니다.
• 일반화: COPE는 기존 추정기들의 엄격한 일반화 모델임이 입증되었습니다. 클러스터 크기가 1(타겟 도메인만 존재)인 경우, 표준 DR로 축소됩니다. 클러스터 크기가 모든 도메인을 포함하는 경우, DR-ALL에 근접합니다(단, 편향 조정이 포함됨).

3. 주요 기여

1. 문제 정의: 타겟 도메인에서의 OPE/L 과제(결정론적 로깅, 새로운 행동, 퓨-샷 데이터)를 해결하기 위해 소스 도메인 데이터를 활용하는 새로운 설정인 교차 도메인 OPE/L을 도입했습니다.
2. 새로운 추정기 (COPE): 보상 함수 분해(클러스터 vs. 특이 효과)와 다중 중요도 가중치를 기반으로 하는 새로운 추정기를 제안했습니다. 이는 표준 IPS/DR보다 완화된 조건에서도 이론적으로 무편향성을 달가합니다.
3. 정책 그래디언트 확장: 탐색 부족으로 인해 전통적인 그래디언트 추정기가 실패하는 시나리오에서도 작동할 수 있는 COPE-PG를 개발하여 정책 학습을 가능하게 했습니다.
4. 실증적 검증: 실제 추천 데이터셋(KuaiRec)과 합성 데이터를 사용하여 MSE, 편향 감소, 정책 가치 최적화 측면에서 베이스라인(IPS, DR, DM 및 그 "ALL" 도메인 변형들) 대비 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 다양한 조건 하에서 COPE 및 COPE-PG를 베이스라인(IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL)과 비교 평가했습니다:

• 새로운 행동: 타겟 도메인의 새로운 행동 비율이 증가함에 따라, COPE는 낮은 편향과 MSE를 유지한 반면, 타겟 전용 방법들(IPS(T), DR(T))은 높은 편향을 보였고, 나이브한 풀링 방법(IPS-ALL)은 DGP 불일치로 인해 실패했습니다.
• 결정론적 로깅: 타겟 도메인의 많은 사용자가 결정론적 로깅 정책을 가질 때, COPE는 낮은 편향과 함께 견고함을 유지했으나, 표준 방법들은 편향이 급격히 증가했습니다.
• 퓨-샷 데이터: 저데이터 환경(예: 행동당 데이터 1개)에서 COPE는 가장 우수한 베이스라인인 DM을 크게 앞질렀으며, 한 시나리오에서는 MSE를 6.79배 감소시켰습니다.
• OPL 성능: COPE-PG는 높은 보상을 주는 새로운 행동을 선택하는 정책을 성공적으로 학습했으며, 이는 타겟 전용 방법들에는 없는 능력입니다. 또한 결정론적 로깅의 정도가 높아져도 높은 정책 가치를 유지했습니다.
• 하이퍼파라미터 민감도: 이 방법은 타겟 클러스터 크기 $|\phi(T)|$에 대해 견고함을 보였으며, 적절한 크기(예: 6-8)에서 최적의 결과를 얻었지만 전반적으로 넓은 범위의 클러스터 크기에서 잘 작동했습니다.

5. 의의 및 주장

본 논문은 기존의 OPE/L 방법들이 공통 지지 가정에 의해 근본적으로 제한되어 있으며, 결정론적 로깅, 새로운 행동, 또는 희소한 데이터가 포함된 실제적인 시나리오에서는 효과적이지 않다고 주장합니다. 저자들은 문제를 교차 도메인 OPE/L로 정식화함으로써, 관련 도메인(예: 다른 병원, 국가 또는 사용자 세그먼트)에서 가용한 풍부한 과거 데이터를 활용하는 실질적인 해결책을 제공합니다.

이 연구의 의의는 다음과 같습니다:

• 온라인 A/B 테스트가 위험하거나 불가능한 고위험 환경에서 새로운 정책을 안전하게 평가하고 학습할 수 있게 합니다.
• 나이브한 데이터 풀링과 관련된 편향을 도입하지 않으면서 소스 도메인으로부터 탐색 정보를 전이함으로써, 퓨-샷 설정에서의 "분산 vs 편향" 트레이드오프를 극복합니다.
• (보상 분해 및 MIW를 통한) 이론적 근거를 갖춘 접근 방식을 제공하여, 표준 방법들이 실패하는 조건에서도 무편향성을 분석적으로 보장합니다.

저자들은 현재의 도메인 클러스터링이 휴리스틱(경험적 평균 보상)에 의존하고 있지만, 이 프레임워크가 특히 결정론적 로깅과 새로운 행동이라는 미해결 과제를 겨냥하여, 밴딧 문제에서의 원칙적인 교차 도메인 전이 연구에 대한 새로운 방향을 제시한다고 결론짓습니다.