A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic

논문 요약: Pontryagin 최대 원리를 활용한 해밀토니안 액터-크리틱 (HAC)

1. 연구 배경 및 문제 정의 (Problem)

• 모델 기반 강화학습 (MBRL) 의 한계: MBRL 은 학습된 동역학 모델을 사용하여 정책 최적화를 수행함으로써 샘플 효율성을 높입니다. 그러나 기존의 액터 - 크리틱 (Actor-Critic) 방식은 학습된 모델을 통해 생성된 가상의 트레젝토리 (imaginary rollouts) 에서 크리틱 (Value function) 을 학습하는 과정에서 **모델 오차가 누적 (compounding errors)**되는 문제가 발생합니다.
• 기존 방법 (MVE) 의 취약점: 모델 기반 가치 확장 (Model-Based Value Expansion, MVE) 은 다단계 롤아웃을 통해 가치 추정을 개선하려 하지만, 롤아웃 길이가 길어질수록 모델 오차가 증폭되어 가치 추정이 왜곡됩니다. 또한, 롤아웃 호라이즌 (horizon) 선택에 민감하며, 분포 이탈 (Out-of-Distribution, OOD) 상황에서는 성능이 급격히 저하됩니다.
• 핵심 질문: 액터 - 크리틱 프레임워크에서 명시적인 가치 함수 (Value Function) 학습을 제거하고, 최적 제어 이론을 직접 활용하여 정책 최적화를 수행할 수 있는가?

2. 제안 방법: 해밀토니안 액터 - 크리틱 (HAC)

저자들은 **폰트랴긴 최대 원리 (Pontryagin Maximum Principles, PMP)**에 기반한 새로운 알고리즘인 **HAC (Hamiltonian Actor-Critic)**을 제안합니다.

• 핵심 아이디어:
  • 기존의 크리틱 네트워크를 학습하여 가치 함수를 근사하는 대신, **해밀토니안 (Hamiltonian)**을 직접 최적화합니다.
  • 학습된 결정론적 동역학 모델 ($\hat{f}$) 과 보상 함수가 주어지면, 해밀토니안은 분석적으로 정의되며, 이를 최소화하는 것이 최적 제어 문제와 동치입니다.
  • 방정식: $H(s_t, a_t, \lambda_{t+1}) = c(s_t, a_t) + \lambda_{t+1}^T f(s_t, a_t)$
    • 여기서 $\lambda$는 코스테이트 (costate) 로, PMP 조건에 따라 역방향 재귀 (backward recursion) 로 계산됩니다.
• 알고리즘 프로세스:
  1. 가상 롤아웃: 현재 정책 $\pi_\theta$와 학습된 동역학 모델 $\hat{f}$를 사용하여 $K$단계의 가상의 상태 - 행동 시퀀스를 생성합니다.
  2. 코스테이트 계산: 생성된 시퀀스에 대해 PMP 조건을 역방향으로 적용하여 코스테이트 $\lambda$를 계산합니다.
  3. 해밀토니안 최소화: 액터 (정책) 는 각 상태 - 행동 쌍에서 계산된 해밀토니안 값을 최소화하도록 업데이트됩니다.
     • 손실 함수: $L_{actor}(\theta) = \frac{1}{K} \sum_{t=0}^{K-1} H(\hat{s}_t, \hat{a}_t, \hat{\lambda}_{t+1})$
  4. 크리틱 제거: 명시적인 크리틱 네트워크가 필요 없으므로, 가치 함수 학습에 따른 오차 누적과 모델 편향이 제거됩니다.
• 기술적 혁신 (Analytical Jacobian):
  • 신경망 기반 동역학 모델의 자코비안 (Jacobian) 을 자동 미분 (autograd) 으로 계산할 시 계산 그래프 재사용 문제와 고차 미분 비용이 발생합니다.
  • 저자는 Analytical Jacobian Technique을 제안하여, ReLU 활성화 함수를 가진 신경망의 가중치 행렬과 활성화 마스크를 이용해 자코비안을 **폐쇄형 (closed-form)**으로 효율적으로 계산합니다. 이는 계산 비용을 크게 절감하고 훈련 속도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 MBRL 패러다임: PMP 를 활용하여 명시적인 가치 함수 학습 없이 정책을 직접 최적화하는 HAC 알고리즘을 제안했습니다.
2. 이론적 수렴 보장: mild 한 조건 (미분 가능성, 리프시츠 연속성) 하에서 HAC 이 지역 최적점으로 수렴함을 증명했습니다 (Theorem IV.2).
3. 오차 상한선 개선: MVE 기반 방법론에 비해 HAC 이 가지는 크리틱 추정 오차의 상한선이 더 엄격하게 (tighter) 다는 것을 이론적으로 증명했습니다 (Theorem IV.4). 특히 해밀토니안의 보존 법칙 (Conservation Law) 을 이용해 오차 누적 문제를 우회했습니다.
4. 효율성 및 강건성:
   • 계산 효율성: 크리틱 앙상블 (ensemble) 이나 복잡한 가치 학습 없이도 높은 성능을 달성합니다.
   • OOD 강건성: 학습 분포와 다른 초기 상태 (distributional shift) 에 대해 MVE 기반 방법보다 훨씬 안정적인 성능을 보입니다.

4. 실험 결과 (Results)

• 실험 환경: LQR, Pendulum, MountainCar, MuJoCo (Swimmer, Hopper) 등 다양한 연속 제어 환경에서 온라인 (Online) 및 오프라인 (Offline) RL 설정으로 평가했습니다.
• 성능 비교:
  • 온라인 RL: DDPG, SAC, MVE-DDPG 와 비교하여 모든 환경에서 우수한 제어 성능과 더 빠른 수렴 속도를 보였습니다. 특히 짧은 호라이즌 (Pendulum) 과 긴 호라이즌 (Swimmer, Hopper) 모두에서 경쟁력 있는 결과를 달성했습니다.
  • 오프라인 RL: 제한된 데이터셋 (IQL, SAC-Off, MOPO 대비) 에서도 최첨단 (SOTA) 성능을 달성하거나 능가했습니다. 데이터 효율성이 매우 뛰어났습니다.
  • 강건성 테스트: 초기 상태가 변경된 OOD 시나리오에서 MVE-DDPG 는 불안정하게 붕괴된 반면, HAC 은 일관된 성능을 유지했습니다.
• 오차 분석: LQR 환경에서 해밀토니안 추정 오차와 MVE 의 Q-value 추정 오차를 비교한 결과, HAC 의 오차가 이론적 예측대로 더 작고 분산이 적음을 확인했습니다.
• 계산 비용: MVE-DDPG 가 유사한 성능을 내기 위해 크리틱 앙상블 (5 개) 을 사용할 때 발생하는 계산 비용 증가에 비해, HAC 은 단일 모델로 더 효율적인 학습이 가능함을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 모델 기반 강화학습의 근본적인 문제인 "모델 오차에 의한 가치 추정 왜곡"을 해결하기 위해 최적 제어 이론 (PMP) 을 강화학습 프레임워크에 성공적으로 통합했습니다.

• 이론적 엄밀성: 가치 함수 근사 없이도 최적 제어 이론을 통해 정책 최적화를 보장함으로써, MBRL 의 이론적 기반을 강화했습니다.
• 실용적 가치: 샘플 효율성, 수렴 속도, 분포 이탈 (OOD) 에 대한 강건성 측면에서 기존 SOTA 방법들을 능가하여, 실제 로봇 제어 및 복잡한 의사결정 시스템에 적용 가능한 강력한 대안을 제시했습니다.
• 향후 확장: 현재는 결정론적 동역학에 적용되지만, 부록에서 몬테카를로 샘플링을 통한 확률적 시스템 (Stochastic Dynamics) 으로 확장 가능성을 논의했습니다.

결론적으로, HAC 는 더 적은 계산 비용과 더 높은 신뢰성으로 모델 기반 강화학습의 성능 한계를 돌파한 획기적인 방법론으로 평가됩니다.