Simulation Distillation (SimDist): 시뮬레이션에서 세계 모델을 사전 학습하여 실세계 적응을 가속화하는 기술 요약

이 논문은 로봇 공학에서 시뮬레이션과 실세계 간의 동역학 불일치 (Sim-to-Real Gap) 로 인한 문제를 해결하기 위해 **Simulation Distillation **(SimDist)이라는 새로운 프레임워크를 제안합니다. SimDist 는 시뮬레이션에서 학습된 구조적 사전 지식 (structural priors) 을 잠재적 세계 모델 (latent world model) 로 증류하고, 실세계에서는 온라인 계획 (online planning) 과 동역학 모델의 지도 학습 미세 조정 (supervised dynamics finetuning) 을 통해 빠르고 안정적인 적응을 가능하게 합니다.

1. 문제 정의 (Problem)

• **시뮬레이션 - 실세계 전이 **(Sim-to-Real) 로봇 학습은 안전성, 비용, 시간 제약으로 인해 시뮬레이션에서 대규모 데이터를 수집하고 실세계에서 미세 조정하는 방식으로 진행됩니다. 그러나 시뮬레이션과 실세계 간의 동역학 차이로 인해 제로샷 (zero-shot) 전이는 자주 실패합니다.
• 기존 방법의 한계:
  • **종단간 정책 최적화 **(End-to-End Policy Optimization) 새로운 도메인에서 미세 조정 시 사전 학습된 사전 지식을 망각 (catastrophic forgetting) 하거나, 데이터가 부족한 환경에서 탐색과 장기적 신용 부여 (long-horizon credit assignment) 를 수행하기 어렵습니다.
  • 불안정한 학습: 기존 오프-폴리시 (off-policy) 강화학습 방법들은 데이터 효율성과 학습 안정성 사이의 취약한 균형을 겪으며, 가치 함수 (value function) 학습이 불안정해지기 쉽습니다.
• 핵심 질문: 미세 조정 과정에서 물리적 사전 지식과 알려진 작업 구조를 어떻게 유지하면서 동역학 차이만 효과적으로 보정할 수 있을까요?

2. 방법론 (Methodology: SimDist)

SimDist 는 **세계 모델 **(World Model)을 추상화 단위로 사용하여 시뮬레이션의 구조를 실세계에 전달합니다. 세계 모델은 상태 표현, 보상/가치 함수, 환경별 동역학으로 분해되어 학습되지만, 각 구성 요소는 독립적으로 유지됩니다.

A. 핵심 아이디어: 구조적 비대칭성 활용

• **전역 구조 **(Global Structure) 작업의 의미, 객체의 역할, 목표까지의 거리 등은 시뮬레이션과 실세계 간에 거의 불변 (invariant) 입니다.
• **국소 동역학 **(Local Dynamics) 실제 물리적 상호작용 (마찰, 접촉 등) 은 도메인에 따라 크게 달라집니다.
• 전략: 실세계 적응 시 **상태 인코더 **(Encoder)는 고정 (freeze) 하고, **동역학 모델 **(Dynamics Model)만 실세계 데이터로 미세 조정합니다.

B. 파이프라인 단계

1. **시뮬레이션 사전 학습 **(Pretraining)
   • 데이터 생성: 전문가 정책 (Expert Policy) 과 중간 체크포인트, 그리고 의도적인 행동 교란 (action perturbations) 을 결합하여 다양한 실패 및 복구 시나리오를 포함한 대규모 데이터를 생성합니다. 이는 오프-폴리시 계획 시 필요한 넓은 상태 - 행동 공간을 확보합니다.
   • 세계 모델 학습: 생성된 데이터로 잠재적 세계 모델을 학습합니다. 손실 함수는 잠재 동역학 예측, 보상 예측, 가치 예측, 그리고 행동 복제 (behavior cloning) 를 포함합니다.
2. **실세계 전이 및 적응 **(Real-World Transfer & Adaptation)
   • 배포: 학습된 인코더, 보상 모델, 가치 모델을 실세계 로봇에 그대로 적용합니다.
   • **계획 **(Planning) 고정된 보상/가치 모델을 사용하여 MPPI(Model Predictive Path Integral) 기반의 샘플링 계획을 수행합니다. 이는 장기적 보상을 추정하여 행동을 결정합니다.
   • **동역학 미세 조정 **(Dynamics Finetuning) 수집된 실세계 데이터 (15~30 분 분량) 를 사용하여 동역학 모델만 지도 학습 (supervised learning) 방식으로 미세 조정합니다. 이는 복잡한 오프-폴리시 RL 문제를 단순한 시스템 식별 (system identification) 문제로 축소합니다.
   • 반복: 데이터 수집 → 동역학 모델 업데이트 → 계획 수행의 과정을 반복하여 성능을 지속적으로 개선합니다.

3. 주요 기여 (Key Contributions)

1. SimDist 프레임워크 제안: 세계 모델 기반의 시뮬레이션 - 실세계 전이 패러다임을 제시하여, 실세계 적응을 단순한 지도 학습 동역학 문제로 축소했습니다. 이를 통해 장기적 신용 부여 문제를 회피하고 안정적인 적응을 가능하게 했습니다.
2. 높은 데이터 효율성: 정밀 조립 (Peg Insertion, Table Leg) 및 4 족 보행 (Slippery Slope, Foam) 과 같은 4 가지 과업에서 15~30 분의 실세계 데이터만으로 자율적 성능 향상을 달성했습니다.
3. 제로샷 보상/가치 전이: 시뮬레이션에서 학습된 보상 및 가치 모델이 원시 관측 (raw perception) 에서 직접 실세계로 전이되어 성공적으로 작동함을 입증했습니다. 이는 시뮬레이션의privileged supervision(특권적 감독) 을 실세계에서도 활용할 수 있음을 보여줍니다.

4. 실험 결과 (Results)

• 과업: UR5e 로봇을 이용한 정밀 조립 (Peg Insertion, Table Leg) 과 Unitree Go2 로봇을 이용한 보행 (Slippery Slope, Foam) 과업에서 평가되었습니다.
• 성능 비교:
  • SimDist 는 기존 온라인 RL 방법 (RLPD, IQL) 및 행동 복제 (Diffusion Policy, $\pi_0.5$) 기반 방법들을 압도적으로 능가했습니다.
  • 기존 RL 방법들은 적응 과정에서 성능이 급격히 떨어지는 (catastrophic forgetting) 현상을 보인 반면, SimDist 는 데이터가 증가함에 따라 **일관되고 단조 증가 **(monotonic progress)하는 성능 향상을 보였습니다.
  • 특히 초기 조건이 넓은 범위 (Wide) 로 설정된 어려운 과업에서 SimDist 의 강건성이 두드러졌습니다.
• 예측 정확도: 미세 조정 후 동역학 모델은 실세계의 미끄러운 표면 (PTFE) 에서의 미끄러짐을 정확히 예측하여, 사전 학습된 모델이 실패했던 계획을 성공적으로 수정했습니다.

5. 의의 및 결론 (Significance)

• 안정적인 실세계 적응: SimDist 는 복잡한 오프-폴리시 RL 학습의 불안정성을 피하고, 단순한 지도 학습 (시스템 식별) 으로 실세계 적응을 수행함으로써 로봇 학습의 신뢰성을 크게 높였습니다.
• 확장성: 이 접근법은 시뮬레이션에서 학습된 전역 작업 구조를 유지하면서 국소 동역학만 적응시키는 일반적인 패러다임으로, 단일 작업뿐만 아니라 다중 작업 및 다양한 도메인으로 확장될 잠재력이 있습니다.
• 실용성: 소량의 실세계 데이터 (30 분 이내) 로도 즉각적인 성능 개선을 가능하게 하여, 실제 로봇 배포의 비용과 시간을 획기적으로 줄일 수 있는 가능성을 제시했습니다.

요약하자면, SimDist는 시뮬레이션의 풍부한 지식을 세계 모델에 증류하고, 실세계에서는 동역학 모델만 효율적으로 보정함으로써 "시뮬레이션에서 배우고 실세계에서 즉시 적응하는" 로봇 학습의 새로운 표준을 제시합니다.