Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

1. 문제 정의 (Problem)

보행 로봇 (Legged Robots) 의 경우, 시뮬레이션에서 학습된 제어 정책 (Policy) 을 실제 하드웨어에 적용할 때 시뮬레이션과 현실 간의 동역학 불일치 (Dynamics Discrepancy) 로 인해 성능이 급격히 저하되는 'Sim-to-Real' 간극이 존재합니다.

기존의 해결책인 동역학 무작위화 (Dynamics Randomization, DR) 는 다양한 파라미터 범위 내에서 학습하여 강인성을 확보하지만, 이는 불일치를 '극복'하는 것이지 '해결'하는 것이 아니며, 과도한 무작위화는 학습 효율을 떨어뜨리고 보수적인 행동을 유발합니다.

또한, 기존 시스템 식별 (System Identification) 기법들은 시뮬레이션과 현실의 궤적을 시간 축 (Time-aligned) 에 맞춰 정밀하게 비교하는 방식을 사용합니다. 그러나 보행 로봇은 초기 조건에 매우 민감하고 불안정하여, 시간이 지남에 따라 작은 오차가 커다란 편차로 이어지기 때문에 시간 정렬이 어렵습니다. 또한, 정밀한 상태 매칭을 위해서는 모션 캡처 (Motion Capture) 나 정밀한 베이스 상태 (Base Pose) 측정이 필수적인데, 이는 실제 환경에서 구현하기 어렵거나 비용이 많이 듭니다.

2. 제안 방법론 (Methodology)

저자들은 고유 감각 분포 매칭 (Proprioceptive Distribution Matching) 을 기반으로 한 새로운 시뮬레이터 적응 기법을 제안합니다. 이 방법은 시간 정렬이나 외부 센서 (모션 캡처 등) 없이, 로봇이 직접 감지하는 고유 감각 (Proprioceptive) 데이터의 분포를 비교하여 시뮬레이터를 현실에 맞게 수정합니다.

핵심 구성 요소:

1. 비용 함수 (Cost Function): Wasserstein Distance 기반

   • 시간 축을 무시하고, 정책이 시스템과 상호작용하여 생성된 정상 상태 분포 (Stationary Distribution) 를 비교합니다.
   • 다차원 데이터의 Wasserstein 거리 계산 비용이 높으므로, 각 관절 (Joint) 의 1 차원 (1D) 분포에 대한 Wasserstein 거리를 계산한 후 평균을 내는 1D Marginal Approximation 방식을 사용합니다.
   • 비교 대상: 관절 위치, 관절 속도, 정책의 액션 (Action).
   • 이 방식은 궤적의 발산 (Divergence) 에 민감하지 않으며, 시간 동기화가 필요 없습니다.

2. 시뮬레이터 수정 모델 (Simulator Modifications)

   • 정적 파라미터 (Static Parameters): 마찰력, 관성 모멘트 등 고정된 물리 파라미터 조정.
   • 액션 델타 모델 (Action-Delta Model): 정책 출력에 상태 의존적인 신경망이 보정 액션 (Residual Action) 을 추가하여 관절 목표값을 수정.
   • 잔류 액추에이터 모델 (Residual Actuator Model): PD 제어기의 토크 출력에 직접 잔류 토크 (Residual Torque) 를 추가. 이는 액추에이터의 비선형성 (마찰, 토크 포화 등) 을 더 정밀하게 모델링하며, 1kHz 주파수로 작동하여 높은 표현력을 가집니다.

3. 최적화 (Optimization)

   • 비용 함수를 최소화하는 시뮬레이터 파라미터를 찾기 위해 CMA-ES (Covariance Matrix Adaptation Evolution Strategy) 와 같은 블랙박스 최적화 알고리즘을 사용합니다.
   • 시뮬레이터에서 수집된 데이터와 하드웨어에서 수집된 데이터의 분포 차이를 줄이는 방향으로 파라미터를 업데이트합니다.

3. 주요 기여 (Key Contributions)

• 시간 정렬 불필요한 분포 기반 메트릭: 모션 캡처나 정밀한 베이스 상태 정보 없이도, 고유 감각 데이터의 분포만으로도 효과적인 시뮬레이션 - 현실 간극 측정이 가능함을 증명했습니다.
• 실용적인 시뮬레이터 적응: 제안된 메트릭을 사용하여 시뮬레이터의 동역학 파라미터를 자동 식별하고 수정함으로써, 실제 하드웨어에서의 성능을 크게 향상시켰습니다.
• 다양한 수정 모델에 대한 유효성 검증: 단순한 파라미터 식별부터 복잡한 잔류 액추에이터 모델까지 다양한 수정 방식에서 효과적임을 보였습니다. 특히 잔류 액추에이터 모델이 가장 우수한 성능을 보였습니다.
• 소량의 데이터로 빠른 적응: 실제 하드웨어 데이터 5 분 미만만으로도 효과적인 시뮬레이터 적응이 가능함을 입증했습니다.

4. 실험 결과 (Results)

실험은 Unitree Go2 4 발 보행 로봇을 사용하여 수행되었으며, 시뮬레이션 - 시뮬레이션 (Sim-to-Sim) 및 시뮬레이션 - 현실 (Sim-to-Real) 환경에서 평가되었습니다.

• 파라미터 식별 (Sim-to-Sim):

  • 알려진 물리 파라미터 (마찰력, 관성) 를 복원하는 실험에서, 제안된 Wasserstein 기반 방법 (Wass) 은 모션 캡처가 있는 이상적인 상태 매칭 방법 (MatchS) 과 거의 동일한 정확도를 보였습니다.
  • 노이즈가 있는 환경 (토크 노이즈, 시간 지연 등) 에서도 상태 매칭 방법보다 훨씬 강인한 성능을 보였습니다.

• 정교한 동역학 변화 대응 (Spring Joint):

  • 단순 파라미터 조정으로 설명할 수 없는 복잡한 스프링 동역학 변화가 발생했을 때, 정적 파라미터 모델은 실패했으나 액션 델타 및 잔류 액추에이터 모델이 성공적으로 적응하여 성능을 회복했습니다.

• 실제 하드웨어 적용 (Sim-to-Real):

  • 스프링 조인트 실험: 실제 로봇의 한 관절에 스프링을 부착하여 동역학을 변경한 후, 5 분 미만의 데이터로 시뮬레이터를 적응시켰습니다. 그 결과, 보행 시 발생하는 편차 (Drift) 가 2m 이상에서 약 0.4m 로 크게 감소했습니다.
  • 이족 보행 (Bipedal Walking): 4 발 로봇이 뒷다리만 사용하여 걷는 매우 어려운 과제에서, 기존 정책은 큰 편차를 보였으나 적응된 시뮬레이터에서 미세 조정 (Fine-tuning) 한 후 편차가 최대 50% 감소했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 복잡한 보행 로봇의 Sim-to-Real 전이를 위해 고가의 모션 캡처 장비나 정밀한 초기 상태 정렬 없이도, 로봇 자체 센서 데이터만으로 시뮬레이터를 현실에 맞출 수 있는 실용적이고 확장 가능한 프레임워크를 제시했습니다.
  • 학습된 정책의 강인성을 높이는 것을 넘어, 시뮬레이터 자체를 개선하여 더 정확한 물리 모델을 학습할 수 있게 합니다.

• 한계 (인간형 로봇 적용 시):

  • 로봇이 넘어지거나 실패하는 (Failure) 상태가 포함된 데이터의 경우, 분포 매칭이 애매해지고 최적화가 실패할 수 있습니다. (예: Digit 로봇의 후방 보행 실패 사례).
  • 실패 상태는 비결정적이고 혼란스러워 분포 매칭을 통해 의미 있는 동역학 수정을 학습하기 어렵습니다. 이는 향후 연구 과제로 남았습니다.

결론

이 논문은 고유 감각 분포 매칭 (Proprioceptive Distribution Matching) 을 통해 시뮬레이션과 현실의 동역학 불일치를 해결하는 새로운 패러다임을 제시합니다. 시간 정렬이나 외부 센서 없이도 소량의 하드웨어 데이터만으로 시뮬레이터를 적응시켜, 복잡한 보행 작업에서도 높은 전이 성능을 달성할 수 있음을 입증했습니다. 이는 로봇 학습 분야에서 Sim-to-Real 간극을 해소하는 데 있어 매우 실용적이고 효과적인 접근법으로 평가됩니다.