1. 문제 정의 (Problem Statement)

로봇 공학 분야에서 강화 학습 (RL) 은 데이터 수집의 높은 비용과 위험성으로 인해 실용화에 어려움을 겪고 있습니다. 기존 접근법들은 다음과 같은 한계가 있습니다:

• 온라인 RL: 새로운 환경에서 학습하려면 방대한 상호작용이 필요하여 샘플 효율성이 낮습니다.
• 오프라인 RL: 사전에 수집된 데이터만 사용하지만, 데이터의 품질이 낮거나 타겟 작업과 분포가 불일치할 경우 성능이 급격히 저하됩니다.
• 오프라인 - 온라인 RL (Offline-to-Online): 사전 학습 (Pre-training) 후 미세 조정 (Fine-tuning) 을 수행하지만, 고품질의 오프라인 데이터를 어떻게 확보하고 안전하게 재사용할지에 대한 메커니즘이 부재합니다.
• 모델 기반 RL (MBRL): 세계 모델을 학습하여 데이터를 생성할 수 있지만, 모델의 편향 (Bias) 으로 인해 생성된 데이터가 신뢰할 수 없거나, 생성된 데이터만으로는 타겟 작업에 적응하기 어렵습니다.

핵심 문제: 소스 작업 (Source Task) 에서 신뢰할 수 있는 경험을 생성하고, 이를 타겟 작업 (Target Task) 으로 안정적으로 전이하여 샘플 효율성과 최종 성능을 극대화하는 방법론의 부재입니다.

2. 제안 방법론: WOMBET (Methodology)

저자들은 WOMBET (World Model-based Experience Transfer) 라는 통합 프레임워크를 제안합니다. 이는 고정된 오프라인 데이터셋을 가정하는 대신, 소스 작업에서 세계 모델을 학습하여 데이터를 생성하고 이를 활용하는 과정을 결합합니다.

2.1. 세계 모델 기반 데이터 생성 (World Model-based Data Generation)

• 확률적 앙상블 (Probabilistic Ensemble): 소스 작업의 전이 확률 분포 $P(s'|s, a)$를 근사하기 위해 앙상블 세계 모델을 학습합니다.
• 불확실성 패널티가 적용된 MPC: 모델 예측 제어 (MPC) 를 통해 행동을 계획할 때, 모델의 불확실성을 패널티로 부과합니다.
  • 보정된 보상: $\tilde{r}(s, a) = r(s, a) - \lambda u(s, a)$
  • 여기서 $u(s, a)$는 앙상블 예측 분산을 통해 추정된 인지적 불확실성 (Epistemic Uncertainty) 입니다.
  • 이론적 보장: 이 불확실성 패널티는 실제 동역학 하에서의 진짜 보상 (True Return) 에 대한 하한 (Lower Bound) 을 보장합니다. 즉, 모델이 과신하는 (High Uncertainty) 영역을 피하면서 보수적인 계획을 수립합니다.

2.2. 이중 기준 필터링 (Dual-Criterion Filtering)

생성된 시뮬레이션 트래젝토리 (Rollouts) 를 오프라인 데이터셋 ($D_S$) 으로 사용하기 전에 엄격한 필터링을 적용합니다.

• 기준 1 (높은 반환): 트래젝토리의 누적 보상이 임계값 ($J_{th}$) 이상이어야 합니다.
• 기준 2 (낮은 불확실성): 트래젝토리의 평균 불확실성이 임계값 ($u_{th}$) 이하여야 합니다.
• 효과: 모델 편향이 큰 저품질 데이터를 제거하고, 소스 작업에서 높은 가치와 신뢰성을 가진 데이터만 선별하여 타겟 보상으로 재레이블링 (Relabeling) 합니다.

2.3. 적응형 데이터 혼합 및 온라인 미세 조정 (Adaptive Sampling & Online Fine-tuning)

타겟 작업 ($M_T$) 에서 오프라인 데이터 ($D_S$) 와 온라인 데이터 ($D_T$) 를 혼합하여 학습합니다.

• 적응형 샘플링 (Adaptive Sampling): 오프라인 데이터와 온라인 데이터의 혼합 비율 $\alpha_k$를 TD 에러 (Temporal Difference Error) 를 기반으로 동적으로 조절합니다.
  • TD 에러가 크면 (모델이 과소적합됨): 안정적인 오프라인 데이터 비중을 높입니다.
  • TD 에러가 작아지면: 타겟 환경에 적응하기 위해 온라인 데이터 비중을 높입니다.
• 암시적 정규화 (Implicit Regularization):
  • LayerNorm: 크리티틱 (Critic) 네트워크에 적용하여 OOD (Out-of-Distribution) 입력에서의 Q-value 폭주를 방지합니다.
  • Ensemble Min Target: 앙상블 크리티틱 중 최소값을 사용하여 보수적인 가치 추정을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 데이터 생성과 전이의 결합 (Coupled Data Generation and Transfer): 고정된 데이터셋에 의존하지 않고, 불확실성 인지 계획을 통해 신뢰할 수 있는 오프라인 데이터를 생성하고 이를 점진적으로 정제하는 프레임워크를 제시했습니다.
2. 신뢰할 수 있는 데이터 선별 및 적응형 전이:
   • 높은 반환과 낮은 불확실성을 동시에 만족하는 이중 기준 필터를 제안하여 모델 편향을 사전에 차단합니다.
   • TD 에러 기반 적응형 샘플링 전략을 통해 오프라인 데이터의 안정성과 온라인 데이터의 적응성 사이의 균형을 자동으로 조절합니다.
3. 이론적 및 실증적 검증:
   • 불확실성 패널티가 실제 보상의 하한을 보장함을 수학적으로 증명했습니다.
   • 분포 불일치 (Distribution Mismatch) 와 근사 오차 (Approximation Error) 를 포착하는 유한 샘플 오차 분해 (Finite-sample error decomposition) 를 유도했습니다.

4. 실험 결과 (Results)

MuJoCo 연속 제어 벤치마크를 통해 다음과 같은 결과를 입증했습니다.

• 샘플 효율성 (Sample Efficiency): WOMBET 은 처음부터 학습하는 온라인 RL (SAC, PPO, TD3) 보다 2 배 이상 적은 상호작용으로 동등하거나 더 높은 최종 성능을 달성했습니다.
• 온라인 미세 조정의 필요성: 생성된 오프라인 데이터만으로 학습하는 오프라인 RL 방법들 (BC, IQL, CQL 등) 은 타겟 작업의 보상 변화나 동역학 차이에 취약했으나, WOMBET 은 온라인 미세 조정을 통해 이를 극복하고 성능을 크게 향상시켰습니다.
• 전송 효과 (Transfer Effectiveness): 동일한 생성 데이터셋 ($D_S$) 으로 초기화된 기존 오프라인 - 온라인 베이스라인들보다 WOMBET 이 일관되게 더 높은 성능을 보였습니다. 이는 WOMBET 의 적응형 전이 메커니즘이 분포 변화에 더 잘 대응함을 의미합니다.
• 구성 요소 분석:
  • 적응형 샘플링: 고정된 혼합 비율보다 학습 속도와 최종 성능이 우수했습니다.
  • 이중 기준 필터링: 보상만 고려하거나 불확실성만 고려하는 경우보다 성능이 저하되었으며, 두 기준을 모두 적용해야 안정적인 전이가 가능했습니다.

5. 의의 및 결론 (Significance)

WOMBET 은 로봇 강화 학습의 핵심 난제인 데이터 부족과 모델 편향 문제를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 안전한 데이터 생성: 모델 기반 RL 의 단점인 편향을 불확실성 패널티와 필터링으로 제어하여, 시뮬레이션 데이터를 안전하게 실세계 전이 (Transfer) 에 활용할 수 있게 했습니다.
• 안정적인 적응: 오프라인 데이터의 안정성과 온라인 상호작용의 유연성을 적응적으로 조절함으로써, 소스 작업에서 학습한 경험을 타겟 작업에서 효율적으로 재사용할 수 있는 체계를 확립했습니다.
• 실용성: 실제 로봇 적용 시 고비용/고위험 데이터 수집을 줄이면서도, 복잡한 동역학 변화에 강건하게 적응할 수 있는 강력한 방법론을 제공합니다.

결론적으로, WOMBET 은 모델 기반의 보수적인 데이터 생성과 모델 프리의 적응적 학습을 결합하여, 샘플 효율성과 강건성을 동시에 확보하는 강화 학습의 새로운 기준을 제시합니다.