기술 요약: CANDOR – 반사실적 주석이 달린 이중 강건 오프-정책 평가

문제 제기

오프-정책 평가 (OPE) 는 의료와 같은 고위험 분야에서 컨텍스트 밴딧 알고리즘을 안전하게 배포하는 데 필수적입니다. 이러한 분야에서는 새로운 치료 정책을 실제 세계에 적용하기 전에 과거 데이터를 사용하여 평가해야 합니다. 그러나 표준 OPE 기법은 사용 가능한 행동 데이터셋의 커버리지에 근본적으로 제한을 받습니다. 역사적 데이터가 특정 상태 - 행동 쌍 (예: 처방된 적이 없는 신약) 에 대한 관측치를 포함하지 않는 경우, OPE 방법은 해당 행동을 권장하는 정책의 가치를 신뢰할 수 있게 추정할 수 없습니다.

최근 IS+ 추정기와 같은 접근 방식은 전문가가 주석을 단 반사실적 샘플 (관측되지 않은 행동에 대한 예측 보상) 로 행동 데이터셋을 보강함으로써 이를 완화하려 시도합니다. 그러나 이러한 방법들은 일반적으로 주석이 완벽하다고 가정합니다. 실제로 전문가 주석 (또는 대규모 언어 모델이 생성한 주석) 은 편향이나 노이즈를 포함하여 종종 불완전합니다. 이러한 불완전한 주석을 기존 추정기에 단순하게 통합하면 성능이 저하되어, 아예 주석을 무시하는 것보다 더 나쁜 결과를 초래할 수도 있습니다. 이 연구가 해결하는 핵심 과제는 오차가 증폭되지 않도록 불완전한 반사실적 주석을 OPE 추정기에 통합하는 방법을 규명하는 것이며, 특히 보상 모델이 잘못 지정된 상황에서 이를 수행하는 것입니다.

방법론

저자들은 이중 강건 (Doubly Robust, DR) 프레임워크에 기반한 OPE 추정기 군을 제안합니다. 이는 중요도 샘플링 (IS) 과 직접 방법 (Direct Method, DM) 보상 모델을 결합한 것입니다. DR 프레임워크는 중요도 점수 (IS) 또는 보상 모델 (DM) 중 하나가 올바르게 지정되어 있으면 편향 없음 (unbiasedness) 을 보장한다는 이론적 근거로 선택되었습니다.

이 논문은 반사실적 주석 ($g_i$) 을 DR 추정기에 통합하는 세 가지 구체적인 전략을 조사하며, 이는 주석이 DM 및 IS 구성 요소에서 어떻게 활용되는지에 따라 정의됩니다:

1. DM+-IS: 보상 모델 ($\hat{R}^+$) 은 보강된 데이터셋 (사실적 데이터 + 반사실적 데이터) 으로 훈련되지만, IS 구성 요소는 원래의 사실적 데이터와 표준 중요도 점수만 사용합니다.
   $$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$$
2. DM-IS+: 보상 모델 ($\hat{R}$) 은 사실적 데이터만으로 훈련되는 반면, IS 구성 요소는 재가중치를 적용하여 반사실적 주석으로 보강됩니다 (IS+ 접근 방식과 유사).
   $$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$$
3. DM+-IS+: 보상 모델과 IS 구성 요소 모두 보강된 데이터셋을 활용합니다.
   $$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$$

이론적 분석

저자들은 세 가지 주석 regime 하에서 엄격한 편향 - 분산 분석을 제공합니다:

• 완벽한 주석: 세 가지 추정기 모두 편향되지 않습니다.
• 편향된 주석: 저자들은 DM+-IS가 주석이 체계적으로 편향되어 있더라도 목표 정책 가치의 편향되지 않은 추정기로 남음을 증명합니다. 반면, **DM-IS+**와 **DM+-IS+**는 주석 오차 ($\epsilon_G$) 에 비례하는 편향 항을 도입하여 성능 저하에 취약해집니다.
• 노이즈가 있는 주석: 모든 추정기가 주석 노이즈로 인해 분산이 증가하지만, 이론적 유도는 DM+-IS가 분산 영향을 보상 모델 추정으로 격리시키는 반면, 다른 방법들은 재가중치된 IS 항을 통해 노이즈를 증폭시킨다는 것을 보여줍니다.

실험 결과

제안된 방법들은 세 가지 도메인에서 평가되었습니다:

1. Heartsteps: 신체 활동 중재를 위한 준-합성 모바일 헬스 시뮬레이터.
2. Sepsis: 패혈증 치료를 위한 준-합성 시뮬레이터 (MDP 설정에서 컨텍스트 밴딧으로 적응됨).
3. MIMIC-IV: 정맥 칼륨 보충에 초점을 맞춘 실제 전자 건강 기록 (EHR) 데이터셋. 이 데이터셋에 대한 반사실적 주석은 OpenAI 의 "o1" 모델을 사용하여 생성되었습니다.

주요 발견:

• 편향에 대한 강건성: 편향된 주석이 있는 시나리오에서 DM+-IS는 일관되게 가장 낮은 제곱근 평균 제곱 오차 (RMSE) 를 달성했습니다. DM+-IS 의 RMSE 는 주석 편향이 증가함에 따라 안정적으로 유지된 반면, DM-IS+ 와 DM+-IS+ 는 상당한 성능 저하를 보였습니다.
• 오지정 (Misspecification) 에 대한 강건성: 잘못 지정된 보상 모델 (일반적인 실제 시나리오) 과 결합되었을 때, DM+-IS 는 가장 강건한 추정기로 남았습니다. 이는 편향을 계승하지 않으면서 커버리지를 개선하기 위해 반사실적 데이터를 효과적으로 활용했습니다.
• 실제 세계 성능: MIMIC-IV 데이터셋에서 DM+-IS 는 다양한 수의 반사실적 주석에 걸쳐 모든 기준선 (표준 IS, DM, DR 및 주석 보강 변형 포함) 을 능가했습니다. 특히, 주석 수가 증가함에 따라 DM+-IS 의 성능은 향상된 후 정체되었지만, IS+ 및 DM-IS+ 와 같은 다른 추정기들은 오율 증가 또는 높은 수준 유지 현상을 보였습니다.
• 주석 품질: 실험은 주석 편향이 주석 **분산 (노이즈)**보다 추정기 성능에 훨씬 더 큰 부정적 영향을 미친다는 것을 입증했습니다.

의의 및 기여

이 논문은 다음과 같은 기여를 합니다:

1. 새로운 추정기 군: 불완전한 반사실적 주석을 처리하도록 특별히 설계된 DR 에서 영감을 받은 추정기 군을 도입하고 이론적으로 분석합니다.
2. 이론적 통찰: 반사실적 주석을 직접 방법 (DM) 구성 요소에만 통합하는 것 (DM+-IS 전략) 이 최적의 접근법임을 규명합니다. 이 전략은 주석이 편향되어 있더라도 추정기의 편향 없음 특성을 유지하며, 이는 IS 구성 요소를 보강하는 방법들이 공유하지 않는 특성입니다.
3. 실증적 검증: 합성, 준-합성 및 실제 의료 데이터에 대한 광범위한 실험을 통해, 보상 모델 정확도와 주석 품질 모두 불확실할 때 정책 평가를 위해 DM+-IS 가 가장 강건한 선택임을 입증합니다.

결론

이 연구는 반사실적 데이터 보강의 이론적 약속과 불완전한 주석이라는 실제 현실 사이의 중요한 격차를 해결합니다. DM+-IS 추정기를 제안함으로써 저자들은 의료와 같은 고위험 환경에서 OPE 의 적용 범위를 확장하는 방법을 제공합니다. 이 접근법은 역사적 데이터에서 잘 커버되지 않은 행동에 대한 정책을 평가할 때, 전문가 또는 AI 가 생성한 불완전한 주석을 안전하게 활용할 수 있게 하며, 이로 인해 안전하지 않은 정책 배포로 이어질 수 있는 체계적 편향을 도입할 위험을 줄여줍니다. 이 논문은 주석 품질이 불확실한 현실적인 조건 하에서 DM+-IS 가 오프-정책 평가를 위한 가장 신뢰할 수 있는 진전 경로라고 결론지었습니다.