기술적 요약: 사후 샘플링을 활용한 오프라인 정책 최적화 (PSPO)

1. 문제 정의

오프라인 강화 학습 (RL) 은 추가적인 환경 상호작용 없이 고정된 과거 데이터셋으로부터 최적의 정책을 학습하는 것을 목표로 합니다. 이 분야의 근본적인 과제는 **분포 이동 (distribution shift)**으로, 학습된 정책이 행동 정책 (behavior policy) 의 지지 영역 (support) 에서 벗어나 에이전트를 분포 외 (Out-of-Distribution, OOD) 영역에 노출시키는 현상입니다. 모델 기반 오프라인 RL 에서 이는 다음과 같은 중요한 트레이드오프로 나타납니다:

• 일반화: 역학 일관성을 갖춘 OOD 전이를 합성하면 가치 최대화와 데이터셋 지지 영역을 넘어선 일반화를 촉진할 수 있습니다.
• 견고성: 이러한 동일한 OOD 영역은 **모델 악용 (model exploitation)**의 위험을 초래합니다. 즉, 정책이 역학 모델의 근사 오차를 이용하여 잘못된 행동을 선택함으로써 성능 붕괴가 발생할 수 있습니다.

기존 접근법들은 일반적으로 **과도한 비관적 정규화 (excessive pessimistic regularization)**를 통해 모델 악용을 완화합니다. 이러한 방법들은 에피스테믹 불확실성 (예: 예측 표준 편차) 에 기반하여 OOD 가치 추정을 패널티로 부과함으로써 정책을 데이터셋 지지 영역 내로 제한합니다. 이는 견고성을 보장하지만, 근본적인 물리적 역학을 포착하는 유효한 OOD 전이를 과도하게 패널티로 부과함으로써 일반화 능력을 희생하는 경우가 많습니다. 본 논문이 다루는 핵심 질문은, 이러한 비관성에 의존하지 않고도 모델 기반 오프라인 RL 알고리즘이 일반화와 모델 악용에 대한 견고성 사이의 균형을 맞출 수 있는지 여부입니다.

2. 방법론: 사후 샘플링 기반 정책 최적화 (PSPO)

PSPO 는 베이지안 RL 프레임워크에 기반한 비관적 자유 (pessimism-free) 패러다임을 제안합니다. PSPO 는 역학 모델을 단일 점 추정치로 취급하는 대신, 역학 모델링을 베이지안 추론 과정으로 형식화하며, 전이 역학 $T$를 관측된 전이 증거 $E$에 조건부인 사후 분포 $P(T|E)$를 가진 확률 변수로 다룹니다.

2.1 베이지안 형식화 및 사후 구성

PSPO 의 핵심은 모델 충실도를 명시적으로 정량화하는 사후 분포 $P(T|E)$의 유도입니다.

• 경험적 일관성 지표: 논문은 특정 역학 모델 $T$ 하에서 Q-값과 벨만 백업 (Bellman backup) 간의 제곱 오차를 나타내는 지표 $F(T)$를 정의합니다.
• 최소 정보 원칙: 사후를 업데이트하기 위해 PSPO 는 사전 분포로부터의 Kullback-Leibler (KL) 발산을 최소화하면서 새로운 증거가 부과하는 제약 조건 (기대 $F(T)$ 최소화) 을 만족시키는 최적화 문제를 풉니다. 이는 다음과 같은 형태의 사후 분포를 산출합니다:
  $$P(T|E) \propto P(T) \cdot \exp(-\beta \cdot F(T))$$
  이 형식화를 통해 알고리즘은 고충실도 모델에 확률 질량을 적응적으로 집중시키면서도 다른 후보들에 대해 무시할 수 없는 확률을 유지하여, 수동 개입 없이 탐색을 보장합니다.

2.2 알고리즘적 프레임워크

PSPO 는 사후 샘플링과 제약 조건부 정책 최적화를 통합합니다:

1. 롤아웃을 위한 사후 샘플링: 예측을 평균화하는 것 (불확실성을 축소시킴) 대신, PSPO 는 사후 분포 $P(T|E)$에서 역학 모델을 샘플링하여 전이를 합성합니다. 이는 에피스테믹 불확실성에 내재된 확률성을 보존하여 Thompson Sampling의 변형을 효과적으로 구현합니다. 이를 통해 정책은 역학 일관성을 갖춘 OOD 영역을 탐색할 수 있습니다.
2. 제약 조건부 정책 최적화: 안정성을 보장하고 악용을 방지하기 위해, 정책 최적화는 일련의 제약 하위 문제로 분해됩니다. 목적 함수는 기준 정책 (일반적으로 행동 정책) 에 대한 KL-발산 항으로 정규화되어 정책 업데이트의 크기를 제한합니다.
3. 반복적 정규화: 알고리즘은 다음 두 단계를 번갈아 수행합니다:
   • E-Step: 현재 Q-값 추정치에 기반하여 사후 신념 $P(T|E)$를 업데이트합니다.
   • M-Step: 단조 개선을 보장하는 제약 목적 함수를 사용하여 고정된 사후 하에서 정책을 최적화합니다.

2.3 이론적 보장

• 수렴: 사후 샘플링 하의 Q-값 추정은 확률적 근사 문제로 형식화됩니다. 저자들은 사후 샘플링 기반 벨만 연산자가 $\gamma$-축약 (contraction) 이며 확률적 목표의 분산이 유계임을 증명합니다. 결과적으로, 표준 학습률 스케줄 하에서 (Robbins-Monro 정리를 통해) 추정 과정은 최적 Q-값 ($Q^*$) 으로 수렴합니다.
• 단조 개선: 정책 최적화는 제약 하위 문제로 분해됩니다. 논문은 KL 제약이 충분히 작다면, 이러한 하위 문제들을 해결함으로써 원래 목적 함수 $J(\pi)$의 단조 개선이 수렴까지 보장됨을 증명합니다.

3. 주요 기여

1. 비관적 자유 패러다임: PSPO 는 명시적인 불확실성 기반 패널티 (비관성) 를 피함으로써 기존 모델 기반 오프라인 RL 접근법과 구별됩니다. 대신 사후 샘플링과 제약 최적화를 통해 일반화와 견고성 사이의 균형을 맞춥니다.
2. 베이지안 역학 모델링: 역학 모델을 확률 변수로 취급하고 경험적 증거에 조건부인 사후 분포를 유도하여 모델 충실도를 명시적으로 정량화하고 탐색을 안내합니다.
3. 이론적 기반: 사후 샘플링 하의 Q-값 추정 수렴성을 확립하고 정책 최적화 과정의 단조 개선을 증명합니다.
4. 최첨단 성능: 광범위한 실험을 통해 PSPO 가 기존 최첨단 (SoTA) 베이스라인보다 우수한 성능을 달성함을 입증했습니다.

4. 실험 결과

저자들은 D4RL 스위트 (Random, Medium, Expert, Replay 등 다양한 데이터셋 품질을 포함하는 HalfCheetah, Hopper, Walker2d 포함) 와 까다로운 오프라인 최적 청산 (optimal liquidation) 작업을 포함한 표준 벤치마크에서 PSPO 를 평가했습니다.

• D4RL 벤치마크: PSPO 는 18 개 데이터셋 중 14 개에서 가장 높은 정규화 점수를 달성했습니다. 특히 "Medium", "Medium-Expert", "Full-Replay"와 같이 고품질 궤적이 제한된 데이터셋에서 상당한 향상을 보였습니다. 통계적 분석 (쌍체 t-검정) 은 이러한 개선이 가장 강력한 베이스라인 (PMDB) 대비 유의미함 ($p \approx 0.029$) 을 확인했습니다.
• 최적 청산: 편향된 행동 정책을 가진 매우 확률적인 환경에서 PSPO 는 수렴에 어려움을 겪은 모델 프리 (예: IQL, ORAA) 및 모델 기반 (예: MOPO, COMBO) 방법들보다 일관되게 더 높은 안정성과 누적 보상을 달성했습니다.
• Ablation 연구: 사후 샘플링 메커니즘 (균일 평균화로 대체) 이나 기준 정책 정규화를 제거하면 성능이 크게 저하되고 학습 불안정성 (높은 표준 편차) 이 증가하여 두 구성 요소의 필요성이 검증되었습니다.
• 비관성 분석: 학습 곡선은 PSPO 의 모델 예측 수익률이 실제 성능을 지속적으로 초과하면서도 다른 방법들에서 관찰되는 "과도한 비관적" 행동을 보이지 않음을 보여주어, 비관적 자유 설계의 효과성을 확인했습니다.

5. 의의 및 주장

본 논문은 PSPO 가 오프라인 RL 의 일반화와 견고성 사이의 내재적 트레이드오프를 성공적으로 해결했다고 주장합니다. 역학 모델링을 베이지안 추론 과정으로 형식화함으로써 PSPO 는 정책이 일반화를 위해 역학 일관성을 갖춘 OOD 전이를 활용하면서도 제약 조건부 최적화를 통해 모델 악용에 대한 견고성을 보장할 수 있게 합니다. 이는 기존 방법들의 일반화를 제한하는 과도한 비관성에 의존하지 않습니다.

저자들은 PSPO 를 베이지안 RL 이론과 심층 RL 확장성 사이의 간극을 메우는 이론적으로 근거된 비관적 자유 프레임워크로 위치시킵니다. 그들은 이 접근법이 비정상적이거나 데이터가 제한된 오프라인 환경에서 정책 개선을 위한 더 견고한 기반을 제공한다고 제안합니다. 향후 작업은 데이터 기반 정보 사전 분포를 학습하기 위해 생성 모델링을 활용하여 수동 명세에 대한 의존성을 더욱 줄이는 것으로 식별됩니다.