논문 요약: Robust Adversarial Policy Optimization under Dynamics Uncertainty (RAPO)

이 논문은 강화학습 (RL) 에이전트가 훈련 환경과 다른 동역학 (dynamics) 을 가진 실제 환경에 배포될 때 발생하는 성능 저하 문제를 해결하기 위한 새로운 프레임워크인 **RAPO (Robust Adversarial Policy Optimization)**를 제안합니다. 저자들은 기존의 도메인 랜덤화 (Domain Randomization) 나 기존 적대적 RL 방법들의 한계를 극복하고, 분포적 강건성 (Distributional Robustness) 을 이론적으로 엄밀하게 구현하면서도 계산적으로 효율적인 방법을 제시합니다.

---

1. 문제 정의 (Problem)

강화학습 정책은 시뮬레이션에서 훈련되더라도 실제 시스템으로 전환될 때 **동역학 불일치 (Dynamics Mismatch)**로 인해 실패하는 경우가 많습니다. 이는 우연적 불확실성 (aleatoric uncertainty) 과 인식적 불확실성 (epistemic uncertainty) 모두에 기인합니다.

• 기존 방법의 한계:
  • 도메인 랜덤화: 모든 변형을 균등하게 샘플링하여 비효율적이거나 지나치게 보수적인 정책을 유도합니다.
  • 기존 적대적 RL: 최악의 경우를 명시적으로 탐색하지만, 분포적 근거가 부족하여 불안정하거나 국소적인 강건성만 보장합니다.
  • 분포적 강건 RL (Distributionally Robust RL): 이론적으로 강력하지만, 실제 적용 시 다루기 힘든 원문제 (primal problem) 를 근사하기 위해 서브-적대자 (surrogate adversaries) 를 사용함으로써 '맹점 (blind spots)'이 발생하거나 과도한 보수성을 보입니다.

핵심 질문: 어떻게 불확실한 동역학에 강건한 RL 알고리즘을 설계하되, 과도한 보수성이나 불안정성으로 붕괴되지 않게 할 수 있을까요?

2. 방법론 (Methodology)

저자들은 KL-발산 (KL-divergence) 근방 내의 동역학 불확실성을 다루는 **강건 MDP (RMDP)**의 **쌍대 형식 (Dual Formulation)**을 기반으로 합니다. 이 접근법은 무한차원의 최적화 문제를 다루기 쉬운 스칼라 최적화 문제로 변환합니다. RAPO 는 두 가지 핵심 구성 요소를 결합하여 **궤적 수준 (Trajectory-level)**과 **모델 수준 (Model-level)**의 강건성을 동시에 확보합니다.

A. 궤적 수준의 강건성: AdvNet (Adversarial Network)

• 이론적 배경: RMDP 의 쌍대 문제는 역온도 (inverse temperature, $\eta$) 파라미터를 통해 기대값을 지수적으로 기울이는 (exponential tilting) 형태로 표현됩니다.
• 구현: 직접적인 샘플링이나 루트 찾기 (root-finding) 는 계산 비용이 너무 큽니다. 따라서 AdvNet을 도입하여 궤적별 쌍대 파라미터 $\eta$를 직접 예측하도록 학습시킵니다.
• 기능: AdvNet 은 KL 예산 (budget) 을 준수하면서 낮은 보상 영역으로 궤적을 유도하여, 정책이 간과할 수 있는 국소적 취약점을 노출시킵니다. 이는 지수적 기울기의 실용적인 구현체 역할을 합니다.

B. 모델 수준의 강건성: 볼츠만 재가중 (Boltzmann Reweighting)

• 동기: 단순한 균일 샘플링은 정책이 특히 취약한 동역학 구성을 충분히 강조하지 못합니다.
• 구현: 다양한 물리 파라미터를 가진 동역학 앙상블 (ensemble) 에 대해 볼츠만 재가중을 적용합니다. 현재 정책이 낮은 가치를 갖는 (취약한) 모델에 더 높은 가중치를 부여하되, 사전 분포 (prior) 에서의 KL 발산을 제한합니다.
• 기능: 이는 전역적으로 해로운 동역학에 초점을 맞추어, 정책이 특정 모델에 과적합되는 것을 방지하고 불확실성 공간을 체계적으로 커버합니다.

C. 통합 알고리즘 (Unified Framework)

• RAPO 는 AdvNet(궤적 레벨) 과 볼츠만 재가중 (모델 레벨) 을 PPO(Proximal Policy Optimization) 루프에 통합합니다.
• 두 구성 요소는 독립적으로 작동하며 상호 보완적입니다:
  1. AdvNet: 궤적 내에서의 국소적 취약성을 강화.
  2. 볼츠만 재가중: 앙상블 내에서의 전역적 동역학 불확실성을 강화.
• 이 두 가지 접근법은 하나의 통합된 강건성 예산 ($\kappa + \epsilon \le B$) 아래에서 분해되어 작동하며, 이론적으로 수렴성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 이중 형식 (Dual Formulation) 의 실용적 구현: 무한차원의 최적화 문제를 스칼라 파라미터 ($\eta, \beta$) 로 변환하여 계산적으로 효율적이고 해석 가능한 강건성 - 성능 트레이드오프를 제공합니다.
2. AdvNet 도입: 쌍대 온도 파라미터를 신경망으로 근사 (Amortization) 하여, 매 단계마다 반복적인 최적화를 수행하지 않고도 안정적이고 효율적인 최악의 경우 (worst-case) 롤아웃을 가능하게 합니다.
3. 이중 레이어 강건성 구조: 궤적 수준의 지수적 기울기와 모델 수준의 볼츠만 재가중을 결합하여, 국소적 취약성과 전역적 모델 오지정 (misspecification) 을 모두 처리하는 새로운 아키텍처를 제시합니다.
4. 이론적 보장: 강건 벨만 연산자의 수축성 (contraction) 과 강건 성능 차이 보조정리 (Robust Performance Difference Lemma) 를 기반으로 수렴성과 오차 한계를 증명했습니다.

4. 실험 결과 (Results)

저자들은 Walker2d, Ant, HalfCheetah, Hopper 등의 로봇 보행 환경과 쿼드콥터 (Quadrotor) 페이로드 추적 작업을 통해 RAPO 를 평가했습니다.

• OOD (Out-of-Distribution) 강건성: 훈련 데이터 범위 밖의 동역학 변화 (질량, 관성, 마찰, 토크 스케일링 등) 에 대해 RAPO 는 PPO, PPO+DR(도메인 랜덤화), RARL, EPOpt 등 기존 베이스라인보다 월등히 우수한 성능을 보였습니다. 특히 극단적인 파라미터 변화에서도 성능이 급격히 떨어지지 않았습니다.
• ID (In-Distribution) 성능 유지: 훈련 범위 내에서는 표준 PPO 와 유사한 성능을 유지하며, 강건성을 확보하기 위해 명목 성능 (nominal performance) 을 희생하지 않았습니다.
• 쿼드콥터 실험: 복잡한 동역학 결합을 가진 페이로드 추적 작업에서 RAPO 는 충돌 (Crash) 빈도를 0% 로 줄이고, RMSE 를 크게 개선하여 다른 방법들보다 뛰어난 안정성을 입증했습니다.
• Ablation Study: AdvNet 과 볼츠만 재가중 중 하나라도 제거하면 OOD 영역에서의 성능이 저하되었으며, 둘 다 제거할 경우 가장 심각한 성능 붕괴가 발생하여 두 구성 요소의 상호 보완적 역할을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **이론과 실전의 간극 (Theory-Practice Gap)**을 해소하는 중요한 진전을 이루었습니다.

• 이론적 엄밀성: 분포적 강건 RL 의 수학적 기반을 유지하면서, 기존 방법들의 '맹점'이나 '불안정성'을 제거했습니다.
• 실용성: 앙상블과 쌍대 최적화를 PPO 와 호환되도록 구현하여 확장 가능하고 실제 로봇 제어에 적용 가능한 솔루션을 제공합니다.
• 향후 방향: 실제 데이터로부터 앙상블과 사전 분포를 학습하여 시뮬레이션 - 현실 (Sim-to-Real) 격차를 줄이고, 모델 기반 계획 (Model-based Planning) 과의 통합을 통해 상호작용 비용을 줄이는 방향으로 발전할 수 있습니다.

결론적으로, RAPO 는 동역학 불확실성 하에서 RL 정책의 강건성과 일반화 능력을 획기적으로 향상시키는 새로운 표준으로 자리 잡을 잠재력을 가지고 있습니다.