Long-Horizon Model-Based Offline Reinforcement Learning Without Explicit Conservatism

"Long-Horizon Model-Based Offline Reinforcement Learning Without Explicit Conservatism" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 정의

오프라인 강화 학습 (RL) 은 추가적인 환경 상호작용 없이 정적 데이터셋에서 정책을 학습하는 것을 목표로 합니다. 오프라인 RL 의 주류 패러다임은 **명시적 보수성 (explicit conservatism)**으로, 이는 가치 과대평가를 방지하고 안전하지 않은 외삽을 막기 위해 분포 외 (OOD) 행동을 처벌하거나 롤아웃 시점을 제한합니다.

저자들은 이 원칙의 보편성에 도전하며 다음과 같이 주장합니다:

1. 보수성은 적응을 제한합니다: OOD 행동을 엄격하게 처벌함으로써, 보수적 방법들은 종종 테스트 시 조건에 적응하지 못합니다. 특히 최적의 행동이 과소 표현된 저품질 데이터셋에서 두드러집니다.
2. 베이지안 잠재력이 미활용되었습니다: 사후 세계 모델 분포에 대한 기대 수익을 최적화하는 베이지안 관점은 명시적 비관주의 없이도 인식적 불확실성을 자연스럽게 처리하지만, 역사적으로 장기 시나리오에서 누적되는 모델 오류로 인해 어려움을 겪어 왔습니다.
3. 트레이드오프: 보수성을 제거하면 가치 과대평가를 통제하는 메커니즘이 사라지므로, 짧은 시점이 필수적이라는 가정이 생깁니다. 이 논문은 장기 시점이 실제로 해로운 것인지, 아니면 오히려 과대평가를 줄이는 데 활용될 수 있는지 질문합니다.

2. 방법론: NEUBAY

저자들은 epistemic POMDP 프레임워크에 기반한 모델 기반 오프라인 RL 알고리즘인 NEUBAY(NEUtral BAYesian) 를 제안합니다. 이는 최악의 경우 모델 (보수성) 을 최적화하는 대신, 세계 모델의 사후 분포에 대한 기대 수익을 최적화합니다.

핵심 설계 선택

명시적 보수성 없이 베이지안 접근법을 실용적이고 효과적으로 만들기 위해 NEUBAY 는 네 가지 주요 구조적 및 알고리즘적 혁신을 도입합니다:

A. 적응형 장기 시점 롤아웃 (핵심 통찰)

• 문제: 표준 모델 기반 RL 은 누적 오류를 피하기 위해 짧은 시점을 사용합니다. 그러나 짧은 시점은 부트스트래핑 (미래 보상을 추정하기 위해 가치 함수 사용) 에 크게 의존하며, 보수성이 제거되면 심각한 가치 과대평가를 초래합니다.
• 해결책: NEUBAY 는 수백 단계에 달하는 장기 시점 롤아웃을 활용합니다. 시점을 확장함으로써 알고리즘은 편향이 큰 부트스트래핑된 가치 추정에서 편향이 낮은 모델 생성 보상으로 추정 부담을 전환합니다. 할인 인자 $\gamma^H$는 시점 끝의 부트스트래핑 항을 지수적으로 낮게 가중치하여 과대평가를 자연스럽게 억제합니다.
• 메커니즘: 롤아웃은 고정된 길이가 아니라 인식적 불확실성에 기반하여 적응형으로 잘립니다. 모델의 불확실성 $U_\theta(s, a)$가 데이터셋 불확실성 분포의 분위수 $\zeta$로 정의된 임계값을 초과하면 롤아웃이 중단됩니다. 이는 모델이 확신하는 곳에서는 롤아웃이 길어지고, 그렇지 않은 곳에서는 짧아지도록 보장합니다.

B. 안정성을 위한 세계 모델 아키텍처

• 대규모 앙상블 크기: 사후 분포를 정확하게 근사하고 긴 롤아웃으로 인한 분산을 처리하기 위해 NEUBAY 는 표준인 $N=5$ 또는 $N=10$보다 훨씬 큰 $N=100$개의 세계 모델 앙상블을 사용합니다.
• 레이어 정규화 (LayerNorm): 저자들은 세계 모델의 숨은 층 내에 LayerNorm 을 적용합니다. 이론적으로 이는 예측된 상태 델타의 크기를 제한하여 긴 시점에 걸쳐 누적되는 오류의 지수적 폭발을 방지합니다.

C. 역사 의존적 에이전트 (순환 RL)

• 베이지안 목적 함수는 진정한 MDP 를 숨겨진 변수로 취급하므로, 최적 정책은 역사 의존적이어야 합니다 (POMDP 해).
• NEUBAY 는 선형 순환 단위 (LRUs)(상태 공간 모델의 일종) 를 사용하는 순환 액터-크리틱 아키텍처를 채택합니다. 이를 통해 에이전트는 전체 에피소드에 걸친 장기 기억을 유지하여 하위 모델 매개변수를 추론하고, 매개변수 업데이트 없이 테스트 시 행동에 적응할 수 있습니다.

D. 훈련 전략

• 불확실성 페널티 부재: MOPO, COMBO 와 같은 보수적 방법과 달리 NEUBAY 는 보상에 $\lambda U(s,a)$와 같은 페널티 항을 추가하지 않습니다.
• 데이터 혼합: 이는 실제 데이터와 상상된 롤아웃의 혼합물로 훈련하며, 혼합 비율 $\kappa$로 제어됩니다.

3. 주요 기여

1. 보편적 보수성 거부: 이 논문은 명시적 보수성이 보편적으로 최적이지 않음을 보여줍니다. 저품질이거나 편향된 데이터셋에서 베이지안 적응은 과소 표현되었지만 높은 보상을 주는 행동을 탐색함으로써 보수적 방법들을 능가합니다.
2. 정규화제로서의 장기 시점: 저자들은 장기 시점 롤아웃이 비보수적 설정에서 가치 과대평가를 통제하는 자연스러운 메커니즘으로 작용하며, 직관적으로 짧은 시점의 필요성을 대체한다는 이론적 및 실증적 분석을 제공합니다.
3. NEUBAY 알고리즘: 적응형 불확실성 기반 잘림, 대규모 앙상블, LayerNorm, 순환 기억을 결합하여 명시적 비관주의 없이 최첨단 성능을 달성하는 실용적인 알고리즘입니다.
4. 이론적 분석: 이 논문은 특정 데이터 조건 하에서 "베이지안 최적" 정책과 "강건 최적" 정책을 비교하는 형식적 증명을 포함하며, 베이지안 집중성 계수가 강건한 계수보다 엄격히 더 약함 (더 좋음) 을 보여 성능 격차를 설명합니다.

4. 실험 결과

저자들은 D4RL 및 NeoRL 벤치마크 (locomotion, Adroit 조작, AntMaze 포함) 의 33 개 데이터셋에서 NEUBAY 를 평가했습니다.

• 최첨단 (SOTA) 달성: NEUBAY 는 walker-random-v2, walker-medium-v2, pen-cloned-v1, hammer-cloned-v1 등에서 상당한 개선을 포함하여 7 개 데이터셋에서 새로운 SOTA 결과를 달성했습니다.
• 저품질 데이터에서의 성능: NEUBAY 는 저품질 데이터셋 (예: 무작위 정책) 및 중간 커버리지 데이터셋에서 보수적 베이스라인을 크게 능가합니다. 보수적 방법들이 비최적 행동에 갇히는 테스트 시 조건에 성공적으로 적응합니다.
• 보수적 방법과의 비교: 평균적으로 NEUBAY 는 VIPO, MOPO, COMBO 와 같은 주요 보수적 알고리즘과 경쟁력을 가지며, 여전히 보수성이나 짧은 시점에 의존하는 다른 베이지안 영감 방법들보다 우수한 성능을 보입니다.
• Ablation 연구:
  • 시점 길이: 적응형 장기 시점을 제거하고 짧은 고정 시점을 사용하면 가치 과대평가로 인해 성능이 붕괴됩니다.
  • LayerNorm: LayerNorm 을 제거하면 상태 예측에서 오류가 급격히 폭발합니다.
  • 불확실성 잘림: 고정된 짧은 시점이나 낮은 불확실성 임계값 ($\zeta < 0.99$) 을 사용하면 실패하며, 이는 적응형 장기 시점의 필요성을 확인시켜 줍니다.
  • 기억: 마르코프 에이전트는 일부 locomotion 작업에서 작동하지만, 역사 의존적 에이전트는 AntMaze 와 같은 고불확실성 작업에 필수적입니다.

5. 의미 및 영향

• 패러다임 전환: 이 논문은 오프라인 RL 의 "비관주의는 필수적이다"라는 신조에 도전하여, 에이전트가 불확실성을 피하는 대신 적응하는 베이지안 중립성으로의 전환을 시사합니다.
• 실용적 가이드라인: 짧은 시점과 불확실성 페널티 대신 대규모 앙상블, LayerNorm, 적응형 장기 시점을 사용하는 모델 기반 RL 에 대한 새로운 레시피를 제공합니다.
• 테스트 시 적응: 이 연구는 관찰된 역사에 기반하여 에피소드 내에서 행동을 적응시킬 수 있는 오프라인 RL 에이전트의 잠재력을 강조하며, 이는 보수적이고 마르코프적인 정책들이 결여한 능력입니다.
• 미래 방향: 저자들은 세계 모델링이 발전함에 따라 (예: 생성 모델을 통해) 베이지안 오프라인 RL 의 한계를 더 밀어붙일 수 있으며, 에이전트가 테스트 시 상호작용을 통해 행동을 정제하는 "경험의 시대"로 분야가 이동할 것이라고 제안합니다.

요약하자면, NEUBAY는 베이지안 관점을 수용하고 적응형 잘림을 통한 장기 시점 계획을 활용함으로써, 명시적 보수성의 제한적인 페널티 없이도 견고하고 적응적인 오프라인 RL 성능을 달성할 수 있음을 보여줍니다.