기술 요약: 사후 혼합 베이지안 신념(PhyB)을 이용한 정규화된 오프라인 정책 최적화

1. 문제 정의

오프라인 강화 학습(Offline Reinforcement Learning, RL)은 추가적인 환경 상호작용 없이 수집된 데이터셋만을 사용하여 정책을 최적화하는 것을 목표로 한다. 이 패러다임의 주요 병목 현상은 다음과 같은 두 가지 원인에서 발생하는 **인식론적 불확실성(epistemic uncertainty)**을 관리하는 것이다:

1. 샘플 수준의 불확실성: 데이터셋의 부분적인 커버리지로 인해 발생한다.
2. 모델 수준의 불확실성: 유한한 데이터로부터 고유한 전이 역학(transition dynamics)을 식별하는 과정에서의 모호함에서 기인한다.

베이지안 RL은 역학 모델을 확률 변수로 취급함으로써 이러한 불확실성을 정량화하는 통합된 프레임워크를 제공하지만, 실제적인 정책 최적화는 계산적으로 매우 까다롭다. 기존 방식들은 다음과 같은 트레이드오프에 직면한다:

• 탐색 기반 기법: (예: 혼합 정수 선형 계획법, 몬테카를로 트리 탐색) 이론적으로는 타당하지만 고차원 작업으로 확장하는 데 실패한다.
• 제한적인 가정: (예: 고정된 사후 분포, 디락 라이클리후드(Dirac likelihoods)를 가진 강건한 MDP) 계산 가능성을 보장하지만, 베이지안 RL의 적응성과 내재된 성능을 희생하며, 종종 과도한 보수성(과도한 비관주의)으로 이어진다.

핵서 다루는 핵심 질문은 다음과 같다: 사후 분포에 대한 제한적인 가정에 의존하지 않고, 베이지안 신념 하에서 계산 가능한 오프라인 정책 최적화 알고리즘을 개발할 수 있는가?

2. 방법론: 사후 혼합 베이지안 신념 (PhyB)

저자들은 PhyB를 제안하며, 이는 사후 분포에 대한 제한적인 가정을 피하면서 모델 사후 분포에 대한 기댓값을 역학 모델의 부분 집합에 대한 볼록 결합(convex combination)으로 재구성하는 프레임워크이다.

2.1. 신념 정식화 (Belief Formulation)

역학 모델을 점 추정치로 취급하거나 복잡한 연속 사후 분포를 유지하는 대신, PhyB는 유한한 모델 앙상블 $\mathcal{T} = \{\tau_0, \dots, \tau_{N-1}\}$ 위에서 작동한다.

• 비관적 부분 집합: 가장 낮은 $Q$-값 예측에 해당하는 $k$개의 모델(bottom-$k$)을 선택하여 부분 집합 $\tilde{\mathcal{T}} \subseteq \mathcal{T}$를 형성한다.
• 볼록 결합: 단일 최악의 모델을 선택하는 것(디락 형태의 비관주의를 초래)이나 모든 모델을 평균 내는 것(비관주의를 희석시킴) 대신, PhyB는 $\tilde{\mathcal{T}}$ 내의 모델들에 가중치 $\alpha_i$를 할당한다.
• 엔트로피 정규화 가중치: 가중치는 다음의 엔트로피 정규화 최적화 문제를 해결하여 결정된다:
  $$\min_{\alpha} \sum_{i=0}^{k-1} \alpha_i q_{\tau_i}(s, a) + \lambda \alpha_i \log \alpha_i$$
  최적해는 볼츠만 분포(Boltzmann distribution)를 따른다: $\alpha_i \propto \exp(-q_{\tau_i}(s, a)/\lambda)$.
• 혼합 사후 분포 (Hybrid Posterior): 이 가중치 방식은 모델 앙상블의 특정 분위수 주변에 중심을 둔 단봉형 분포들의 혼합물인 "사후 혼합 베이지안 신념" $\tilde{P}(\tau)$를 구축한다. 이를 통해 데이터에 기반한 연속적인 비관주의 수준의 적응이 가능하다.

2.2. 정규화된 정책 최적화 (Regularized Policy Optimization)

이 혼합 신념에 의해 정의된 목적 함수를 최적화하기 위해, 저자들은 비유클리드 기하학적 다봉 분포 공간의 문제와 벨만 방정식 해결의 계산 비용 문제를 해결한다.

• 브레그만 정규화 하위 문제 (Bregman-Regularized Subproblems): 최적화를 브레그만 다이버전스($D_\psi$)에 의해 정규화된 일련의 하위 문제들로 분해한다.
• 반복 알고리즘: 단계 $i$의 참조 정책을 바탕으로 단계 $i+1$의 정책이 업데이트되는 반복적 정책 개선 알고리즘을 제안한다:
  $$\pi_{i+1} = (\nabla \psi)^{-1} \left( \frac{1}{\beta} (Q - z) + \nabla \psi(\pi_i) \right)$$
  이 공식은 자연 경사(natural gradient) 방법과 유사하며, 수렴할 때까지 목적 함수의 단조로운 개선을 보장한다.

2.3. 이론적 보장 (Theoretical Guarantees)

• 불일치 상한 (Bounded Discrepancy): 볼록 결합 근사에 의해 유도된 목적 함수 불일치가 유계(bounded)임을 증명한다.
• 비관주의 (Pessimism): 이 방법은 실제 기대 수익에 대한 하한을 유도한다. 모델 충실도가 높아지고 비관적 부분 집합의 크기가 작아짐에 따라 추정 수익과 실제 수익 사이의 간극은 사라진다.
• 단조성 (Monotonicity): 정책 성능이 부분 집합의 크기 $k$에 대해서는 단조 증가하고, 앙상블의 크기 $N$에 대해서는 단조 감소함을 증명한다.

3. 주요 기여

1. PhyB 정식화: 제한적인 사후 분포 가정 없이 역학을 확률 변수로 취급하고, 기댓값을 비관적 부분 집합에 대한 볼록 결합으로 재구성하는 새로운 신념 정식화.
2. 반복적 정규화 최적화: 단조적 개선에 대한 메트릭 불가지론적(metric-agnostic) 보장을 제공하는 브레그만 정규화 하위 문제로 최적화 작업을 분해하는 알고리즘.
3. 이론적 분석: 근사 오차가 유계이며, 유도된 비관주의를 제어할 수 있고, 정책 최적화가 단조롭게 수렴함을 입증하는 증명.
4. 실험적 성능: 표준 벤치마크(D4RL) 및 확률적 청산(liquidation) 작업에서 최첨단(SOTA) 결과 달성.

4. 실험 결과

저자들은 D4RL 벤치마크(데이터 품질이 다양한 HalfCheetah, Hopper, Walker2d의 18개 데이터셋)와 확률적 오프라인 최적 청산 작업에서 PhyB를 평가했다.

• 성능: PhyB는 18개 D4RL 데이터셋 중 11개에서 우수한 성능을 보였으며, 나머지에서도 경쟁력 있는 성능을 유지했다. 특히 강력한 베이스라인인 모델 프리(model-free) 방법들(CQL, IQL, TD3+BC)과 모델 기반(model-based) 방법들(MOReL, RAMBO, PMDB, ADM)을 능가했다.
• 확률적 작업: 많은 베이스라인이 효과적인 정책을 학습하는 데 실패한 고도의 확률적 청산 작업에서, PhyB는 견고하고 우수한 성능을 입증했다.
• 절제 연구 (Ablation Studies):
  • 볼록 결합: 볼록 결합을 제거했을 때(단일 모델 선택) 성능이 크게 저하되어, 혼합 신념의 필요성을 입증했다.
  • 하이퍼파라미터: 방법론이 $\omega, \lambda$의 변화에 대해 견고함을 보여주었다. 저품질 데이터셋은 더 높은 비관주의(작은 $\lambda$)가 유리하고, 고품질 데이터셋은 덜 보수적인 접근이 필요하다는 트레이드오프가 관찰되었다.
• 이론적 일치: 실험적 곡선은 PhyB의 추정 수익이 실제 수익을 지속적으로 하한(lower-bound)한다는 것을 확인했으며(비관주의 정리 검증), 훈련 중 단조적인 개선을 보여주었다.

5. 의의 및 주장

본 논문은 PhyB가 베이지안 RL의 이론적 매력과 오프라인 정책 최적화의 계산적 요구 사항 사이의 간극을 성공적으로 메운다고 주장한다.

• 통합된 불확실성 정량화: 역학을 확률 변수로 취급하고 혼합 사후 분포를 사용함으로써, PhyB는 디락 라이클리후드와 같은 지나치게 단순화된 가정에 의존하지 않고 샘플 수준과 모델 수준의 불확실성을 통합한다.
• 확장성: 복잡한 솔버에 의존하는 기존 베이지안 방식과 달리, PhyB는 고차원 연속 제어 작업으로 확장 가능한 효율적인 접근 방식을 제공한다.
• 적응성: 고정된 최악의 상황 가정에 의존하는 강건한 MDP와 달리, 데이터와 모델 간의 불일치에 따라 비관주의 수준을 연속적으로 조정할 수 있게 함으로써 "과도한 보수성"을 피한다.
• 견고성: 단조적 개선에 대한 메트릭 불가지론적 보장을 제공하여, 온라인 환경 상호작용이 없는 상태에서도 안정적인 학습을 보장한다.

저자들은 PhyB가 베이지안 RL을 오프라인 환경에서 실용적으로 만드는 데 있어 중요한 진전이며, 위험 회피와 성능 최적화 사이의 균형을 맞추는 견고한 프레임워크를 제공한다고 결론짓는다.