기술 요약: 보이지 않는 것에서의 학습: 숨겨진 행동을 동반한 오프라인 강화 학습

1. 문제 정식화

표준적인 오프라인 강화 학습(RL) 및 오프-폴리시 평가(Off-Policy Evaluation, OPE) 알고리즘은 일반적으로 데이터셋에 기록된 행동(action)이 오류 없이 관찰된다고 가정한다. 그러나 많은 실제 응용 분야, 특히 전자 건강 기록(EHR)을 사용하는 의료 분야에서는 실제 행동($A_t$)이 관찰되지 않는 잠재적(latent) 상태로 존재한다. 대신, 주석 오류, 기록 지연, 불완전한 관리 시스템 또는 개인정보 보호를 위한 데이터 코스닝(coarsening)으로 인해 노이즈가 섞인 대리 변수(proxy) 또는 대용치($\tilde{A}_t$)만이 가용하다.

본 논문은 행동 정책 $b$에 의해 생성된 데이터가 실제 $\{(S_t, A_t, R_t, S_{t+1})\}$가 아닌 관측된 $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$로 구성되는, 행동 공간이 부분적 또는 완전히 잠재적인 무한 시간 할인 마르코프 결정 과정(MDP)에서 타겟 정책 $\pi$의 정책 가치 $V(\pi)$를 평가하는 문제를 다룬다. 기존의 OPE 방법론에서 관측된 대용치 $\tilde{A}_t$를 실제 행동 $A_t$로 단순히 대체하여 사용하는 것은 편향된 추정치를 초래하는데, 이는 Q-함수와 밀도 비율(density ratio)이 잠재적인 실제 행동에 대해 정의되어 있기 때문이다.

2. 방법론

2.1 식별 전략 (Identification Strategy)

저자들은 특정 가정하에 관측된 데이터 분포로부터 정책 가치 $V(\pi)$가 식별 가능하다는 것을 입증한다. 핵심 통찰은 **다음 상태($S'$)**를 자연스러운 대리 변수로 활용하는 것이다. 전이 역학(transition dynamics)은 실제 행동에 의존하기 때문에, $S'$는 식별을 위해 활용될 수 있는 숨겨진 행동에 대한 정보를 포함하고 있다.

식별은 네 가지 핵심 가정(Assumption 3.1)에 기초한다:

1. 커버리지(Coverage): 타겟 정책의 서포트(support)가 행동 정책의 서포트에 포함된다.
2. 관련성(Relevance): 보상 $R$, 대용치 $\tilde{A}$, 그리고 다음 상태 $S'$는 상태 $S$가 주어졌을 때 실제 행동 $A$와 조건부 독립이 아니다.
3. 조건부 독립성(Conditional Independence): 실제 행동 $A$와 상태 $S$가 주어졌을 때, 대용치 $\tilde{A}$, 보상 $R$, 그리고 다음 상태 $S'$는 서로 독립이다.
4. 대용치 품질(Surrogate Quality): 대용치는 무작위 추측보다 더 많은 정보를 제공한다 (예: 이진 행동의 경우, $A=1$일 때 $\tilde{A}=0$을 관찰할 확률이 $A=0$일 때보다 낮다).

이러한 조건 하에서, 저자들은 $V(\pi)$가 유일하게 식별됨을 증명한다(Theorem 1).

2.2 LURE 추정량

가치를 추정하기 위해 본 논문은 전체 데이터 효율적 영향 함수(full-data efficient influence function)로부터 유도된 **관측 데이터 영향 함수(observed-data influence function)**를 기반으로 구축된 LURE(Learning from the Unseen: Robust Estimator)를 제안한다.

영향 함수 $\phi_\pi(O)$는 다음과 같이 정의된다:
$$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$$
여기서:

• $\omega(S, a)$는 타겟 정책과 행동 정책 사이의 주변 밀도 비율(marginal density ratio)이다.
• $\theta_R(S, a)$는 보상 함수이다.
• $M V^\pi(S, a)$는 기대 미래 가치이다.
• $g_a$와 $g'_a$는 지시 함수(indicator function) $\mathbb{I}(A=a)$를 관측된 대용치 $\tilde{A}$와 다음 상태 대리 변수 $S'$를 사용하여 대체하는 "브릿지(bridge)" 추정치 역할을 하는 구성 함수들이다. 구체적으로 이들은 $S$와 $A$가 주어졌을 때 $\tilde{A}$와 $S'$의 조건부 기댓값을 포함하는 비율이다.

2.3 추정 절차 (EM 알고리즘)

실제 행동 $A$가 잠재 변수이므로, 미지의 넌시아스 함수(nuisance functions: $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$)를 직접 추정하기 위해 표준적인 지도 학습을 적용할 수 없다. 저자들은 새로운 기대-최대화(Expectation-Maximization, EM) 스타일의 반복 알고리즘(Algorithm 2)을 제안한다:

1. 초기화: 사후 확률 $\eta(O; a) = P(A=a | O)$를 초기화한다.
2. M-단계 (가중 지도 학습): 사후 확률 $\eta$를 알려진 가중치로 취급한다. 가중 회귀(weighted regression) 또는 가중 미니맥스 최적화(밀도 비율 $\omega$를 위한)를 사용하여 넌시아스 함수(행동 정책, 측정 모델, 보상/전이 모델, 밀도 비율)를 업데이트한다.
3. E-단계 (사후 확률 업데이트): 베이즈 정리(Bayes' rule)와 업데이트된 넌시아스 추정치를 사용하여 사후 확률 $\eta(O; a)$를 업데이트한다.
4. 반복: 수렴할 때까지 반복한다.

또한, EM 알고리즘이 잠재 클래스의 레이블을 임의로 바꿀 수 있으므로(예: 실제 $A=0$을 컴포넌트 1로 매핑), 일관된 해석을 보장하기 위해 추정 후 레이블 정렬(label alignment) 단계를 수행한다.

2.4 교차 적합 (Cross-Fitting)

과적합 편향을 완화하고 경험적 프로세스 잔차(empirical-process remainders)를 제어하기 위해, 저자들은 $K$-폴드 교차 적합 절차를 사용한다. 넌시아스 함수는 훈련 폴드에서 추정되고 홀드아웃(held-out) 폴드에서 평가된다.

3. 주요 이론적 기여

• 다중 강건성 (Multiple Robustness): LURE 추정량은 **다중 강건(multiply robust)**하다. Corollary 1에서 보여주듯, 여러 특정 넌시아스 구성 요소의 조합 중 적어도 하나가 올바르게 지정된다면 추정량은 일관성을 유지한다($\hat{V}(\pi) - V(\pi) = o_p(1)$). 예를 들어, 지속 가치(continuation value) 오차가 무시할 수 있는 수준이라면, 보상 브릿지 $\theta_R$이 잠재 행동 회귀 $\theta_{\tilde{A}}$ 또는 다음 상태 회귀 $\theta_{S'}$와 함께 일관적일 때 일관성이 유지된다.
• 점근적 정규성 (Asymptotic Normality): 정칙 조건(regularity conditions)과 넌시아스 추정량의 수렴 속도(특히 제품 오차가 $n^{-1/2}$보다 빠르게 감소해야 함) 하에서, 추정량은 점근적으로 정규 분포를 따른다(Theorem 4). 이를 통해 유효한 Wald 유형의 신뢰 구간을 구축할 수 있다.
• 오차 경계 (Error Bounds): 논문은 추정 오차를 영향 함수의 평균, 레이블 선택 잔차, 그리고 넌시아스 추정 오차의 곱을 포함하는 2차 잔차로 분해하는 유한 샘플 오차 경계(Theorem 3)를 제공한다.

4. 실험 결과

저자들은 시뮬레이션과 실제 응용 사례를 통해 LURE를 평가한다:

• Tabular 및 일반 MDP: 다양한 오분류율($\tau \in \{0.05, 0.1, 0.2, 0.3\}$)을 가진 합성 환경에서, 잠재 구조를 무시하는 표준 OPE 방법들(SIS, FQE, LSTD, MIS, DRL)은 오분류율이 높아짐에 따라 심각한 편향을 보인다. 반면 LURE는 실제 정책 가치 주변에 위치한다.
• OpenAI Gym (CartPole): 연속 상태 환경에서 LURE는 베이스라인보다 우수한 성능을 보이며, 베이스라인이 상당한 편향이나 불안정한 커버리지를 보이는 것과 달리 신뢰 구간의 정확한 커버리지 비율(공칭 95% 수준에 근접)을 유지한다.
• MIMIC-III 패혈증 분석: 이 방법은 패혈증 관리 데이터셋에 적용되었다. 연구는 세 가지 정책을 평가한다: "항상 IV(Always IV)", "IV 없음(No IV)", "SOFA 맞춤형(SOFA-tailored)" 규칙.
  • LURE는 "항상 IV" 정책이 가장 낮은 기대 SOFA 점수(62.10)를 가질 것으로 추정하며, 이는 해당 정책이 최적임을 시사한다.
  • "항상 IV"의 95% 신뢰 구간 [60.16, 64.04]은 다른 정책들의 구간과 겹치지 않는다.
  • 반면, 표준 DRL 추정량은 모든 정책에 대해 겹치는 신뢰 구간을 생성하여 정책 간의 차이를 구분하지 못한다. 이는 숨겨진 행동을 무시하는 것이 임상 현장에서 오해의 소지가 있는 결론을 초래할 수 있음을 강조한다.

5. 의의 및 주장

본 논문은 숨겨진 행동 설정을 연구한 최초의 연구라고 주장한다. 그 의의는 다음과 같다:

1. 중대한 격차 해소: 표준 RL 방법론으로는 신뢰성 있게 처리할 수 없는, 데이터가 노이즈가 있거나 잠재적인 경우를 위한 원칙적인 OPE 프레임워크를 제공한다.
2. 이론적 엄밀성: RL의 순차적 특성을 고려하여 영향 함수를 도출함으로써, 정적인 숨겨진 처치(hidden-treatment) 프레임워크와 차별화되는 식별 조건을 확립한다.
3. 실용적 유용성: 다중 강건성과 점근적 정규성을 입증함으로써, LURE는 이전 방법들이 편향된 점 추정치를 제공할 수 있는 설정에서도 유효한 통계적 추론(신뢰 구간 및 가설 검정)을 가능하게 한다.
4. 실제 세계에 미치는 영향: MIMIC-III 데이터베이스에 대한 적용은 숨겨진 행동을 고려하는 것이 정책 순위와 임상 권고를 근본적으로 바꿀 수 있음을 보여주며, 이러한 교정 없이는 표준 RL 평가가 신뢰할 수 없을 수 있음을 시사한다.

저자들은 현재의 작업이 명확성을 위해 이진 행동에 집중하고 있으며, 다음 상태가 숨겨진 행동의 유효한 대리 변수 역할을 한다는 특정 가정에 의존한다는 점을 언급하며 신중한 어조를 유지한다.