MOODY: 모델 기반 오프-다이나믹스 오프라인 강화학습 (Model-Based Off-Dynamics Offline RL) 기술 요약

이 논문은 오프-다이나믹스 오프라인 강화학습 (Off-Dynamics Offline RL) 문제를 해결하기 위한 새로운 알고리즘인 MOBODY를 제안합니다. 이 작업은 소스 도메인 (예: 시뮬레이터) 과 타겟 도메인 (예: 실제 환경) 간의 전이 역학 (Transition Dynamics) 이 불일치하는 상황에서, 제한된 타겟 데이터와 풍부한 소스 데이터를 활용하여 최적 정책을 학습하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

• 배경: 강화학습 (RL) 은 안전성이나 비용 문제로 인해 환경과 직접 상호작용하기 어려운 상황에서 오프라인 데이터 (기존에 수집된 데이터) 를 활용하여 학습합니다.
• 핵심 문제 (Off-Dynamics): 오프라인 데이터가 소스 (시뮬레이션) 와 타겟 (실제) 두 도메인에서 수집되었을 때, 두 도메인의 역학 (상태 전이 확률 $p(s'|s,a)$) 이 다릅니다.
• 기존 방법의 한계:
  • 기존 연구들은 역학 불일치가 큰 소스 데이터의 보상을 페널티로 주거나 (Reward Regularization), 해당 데이터를 필터링 (Data Filtering) 하는 방식을 사용했습니다.
  • 이로 인해 정책은 역학 변화가 작은 영역의 데이터만 활용하게 되어, 타겟 도메인에서 높은 보상을 주는 상태가 역학 변화가 큰 영역에 위치할 경우 이를 탐색하지 못해 성능이 저하됩니다.
  • 특히 역학 변화가 심하거나 최적 경로가 저변화 영역에 속하지 않을 때 기존 방법들은 실패합니다.

2. 제안 방법: MOODY (Methodology)

MOODY 는 모델 기반 (Model-Based) 접근법을 통해 타겟 도메인의 역학을 학습하고, 이를 통해 타겟 영역을 탐색하는 새로운 패러다임을 제시합니다.

2.1 역학 학습 (Dynamics Learning)

소스와 타겟 도메인이 공유하는 구조적 지식 (예: 로봇의 고수준 운동) 과 도메인별 고유한 역학 차이를 동시에 학습하기 위해 다음과 같은 아키텍처를 사용합니다.

• 공유 상태 표현 (Shared State Representation): 두 도메인에서 상태 $s$를 인코딩하는 공유 인코더 $\phi_E$를 사용합니다.
• 분리된 액션 인코더 (Separate Action Encoders): 동일한 다음 상태 $s'$를 달성하기 위해 두 도메인에서 다른 행동이 필요하다는 관찰에 기반하여, 소스와 타겟 도메인별로 별도의 액션 인코더 ($\psi_{src}, \psi_{trg}$) 를 학습합니다. 이를 통해 각 도메인의 행동을 공유 잠재 공간으로 매핑합니다.
• 공유 전이 함수 (Unified Transition Function): 인코딩된 잠재 상태와 액션 표현을 입력받아 다음 상태를 예측하는 공통 전이 함수 $\phi_T$를 학습합니다.
• 손실 함수:
  • 전이 손실 (Transition Loss): 예측된 다음 상태와 실제 다음 상태 간의 MSE 를 최소화합니다.
  • 인코더 손실 (Encoder Loss): 현재 상태 - 액션 표현이 다음 상태 표현과 가까워지도록 하여 역학 정보를 효과적으로 인코딩합니다.
  • 사이클 전이 손실 (Cycle Transition Loss): VAE(변분 오토인코더) 스타일의 손실을 도입하여 상태 표현의 품질을 높이고 모드 붕괴 (Mode Collapse) 를 방지하며, 전이 함수가 상태 자체를 잘 재구성하도록 돕습니다.

2.2 정책 학습 (Policy Learning)

학습된 타겟 역학 모델을 사용하여 가상의 데이터 (Rollout) 를 생성하고, 이를 활용하여 정책을 최적화합니다.

• 데이터 증강: 정규화된 소스 데이터, 실제 타겟 데이터, 학습된 역학 모델에서 생성된 가짜 데이터 (Rollout) 를 결합하여 강화된 타겟 데이터셋을 구성합니다.
• 타겟 Q-가중 행동 복제 (Target Q-Weighted Behavior Cloning):
  • 기존 행동 복제 (Behavior Cloning) 는 오프라인 데이터의 행동을 무조건 모방하므로, 역학 차이로 인해 소스 데이터의 행동이 타겟에서 실패할 수 있습니다.
  • MOODY 는 타겟 도메인의 Q 값이 높은 행동에 가중치를 두어 정책을 업데이트합니다. 이는 Advantage Weighted Regression (AWR) 에서 영감을 받았으나, 오프-다이나믹스 설정에 더 적합하도록 타겟 Q 값을 직접 사용하여 행동 복제 손실을 정규화합니다.
  • 이를 통해 정책이 소스 데이터의 행동을 단순히 모방하는 것을 넘어, 타겟 역학 하에서 높은 보상을 기대할 수 있는 행동을 탐색하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임: 오프-다이나믹스 오프라인 RL 에 모델 기반 접근법을 도입하여, 저변화 영역에 국한되지 않고 학습된 타겟 역학을 통해 타겟 도메인을 적극적으로 탐색할 수 있게 했습니다.
2. 혁신적인 역학 학습 프레임워크: 소스 데이터와 제한된 타겟 데이터를 활용하여, 공유 상태 표현과 전이 함수를 학습하면서도 도메인별 역학 차이를 포착하는 분리된 액션 인코더 구조를 제안했습니다.
3. 효율적인 정책 정규화: 타겟 Q 값을 기반으로 가중치를 부여한 행동 복제 손실을 도입하여, 오프-다이나믹스 환경에서 분포 외 (OOD) 행동과 낮은 타겟 Q 값을 가진 행동을 효과적으로 억제했습니다.
4. 광범위한 실험 검증: MuJoCo 및 Adroit 벤치마크에서 다양한 역학 변화 (중력, 마찰, 운동학, 형태학) 하에서 기존 SOTA 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: MuJoCo (HalfCheetah, Ant, Walker2d, Hopper) 및 Adroit (Pen, Door) 환경에서 중력/마찰, 운동학/형태학 변화 등 다양한 시나리오를 테스트했습니다.
• 성능 향상:
  • 중력/마찰 변화: 기존 최상위 베이스라인 (REAG 등) 대비 평균 **44%**의 성능 향상.
  • 운동학/형태학 변화: 평균 **25%**의 성능 향상.
  • 대규모 변화 시나리오: 역학 변화가 심한 경우 (예: 중력 0.1 배 또는 5 배, 마찰 5 배) 기존 방법들이 실패하거나 낮은 보상을 받는 반면, MOODY 는 높은 성능을 유지했습니다. 이는 학습된 역학 모델을 통한 탐색 능력이 핵심임을 보여줍니다.
• 비교 분석:
  • 모델 프리 방법 (DARA 등) 은 타겟 도메인 탐색 부족으로 인해 낮은 성능을 보였습니다.
  • 기존 모델 기반 방법 (MOPO 등) 은 소스와 타겟 데이터를 단순히 합쳐 학습하여 정확한 타겟 역학을 학습하지 못해 실패했습니다.
  • MOODY 는 역학 학습과 정책 학습의 각 구성 요소 (사이클 손실, Q-가중 BC 등) 가 모두 성능 향상에 기여함을 애블레이션 연구를 통해 입증했습니다.

5. 의의 및 결론 (Significance)

MOODY 는 오프-다이나믹스 오프라인 RL 의 근본적인 한계인 "역학 불일치로 인한 탐색 실패"를 해결했습니다. 소스 도메인의 풍부한 데이터를 활용하면서도 타겟 도메인의 고유한 역학을 정확히 학습하여, 기존 방법들이 도달하지 못했던 고보상 영역을 탐색할 수 있게 했습니다. 이는 로봇 제어, 의료 등 안전과 비용이 중요한 분야에서 시뮬레이션 데이터를 실제 환경에 효과적으로 전이 (Transfer) 하는 데 중요한 기여를 할 것으로 기대됩니다.