DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs

기술 요약: DynaWM: 연속된 계단에서의 부드러운 이동을 위한 월드 모델 및 모멘텀 타겟 기반의 역학 인지 증류(Dynamics-Aware Distillation)

문제 정의
이족 보행-휠 로봇은 모델 예측 제어(MPC)와 심층 강화 학습을 통해 경사로와 단일 계단 장애물을 통과하는 데 성공을 거두었으나, 길고 연속적인 계단을 탐색하는 것은 여전히 큰 과제로 남아 있습니다. 교사-학생 증류(teacher-student distillation) 프레임워크에 의존하는 기존 솔루션들은 세 가지 주요 한계점에 직면해 있습니다:

1. 약화된 역학 인지 표현(Weakened Dynamics-Aware Representations): 정책 경사(policy gradients)만을 통해 최적화된 교사 인코더는 즉각적인 보상에 직접적으로 관련된 지형 특징만을 인코딩하며, 지면 역학 모델링에 필수적인 광범위한 기하학적 정보를 무시하는 경향이 있습니다.
2. 차원 붕괴(Dimensional Collapse): 동시 교사-학생 훈련 과정에서 교사의 표현(representation)이 급격하게 업데이트되면, 학생 인코더가 필수적인 지형 특징을 포착하는 대신 평균적인 예측에만 적합되는 의미 없는 표현으로 붕러지는 현상이 발생할 수 있습니다.
3. 불투명성(Opacity): 기존 프레임워크의 잠재 공간(latent space)은 "블랙박스"처럼 작동하여, 지형 높이에 대한 실제 모델링 능력을 검증하거나 훈련 중 해석 가능성을 확보하기 어렵습니다.

이러한 문제들은 로봇이 연속적인 계단에 직면했을 때 동작의 매끄러움과 지형 적응력을 떨어뜨려, 신뢰할 수 있는 sim-to-real 배포를 저해합니다.

방법론: DynaWM
저자들은 지형 인코딩을 강화하고 지식 전달을 안정화하기 위해 설계된 표현 학습 프레임워크인 DynaWM(Dynamics-aware distillation with World model and Momentum targets)을 제안합니다. 이 프레임워크는 세 가지 상호 연결된 모듈로 구성됩니다:

1. 정규화제로서의 월드 모델(World Model as a Regularizer):
   순방향 역학(forward-dynamics) 인지 능력을 강제하기 위해, 교사 인코더를 위한 정규화제로 월드 모델을 도입합니다. 교사 인코더($E_{\theta_t}$)는 잠재 변수($z_t^t$)를 생성하며, 이는 특권 정보(privileged observations)와 결합되어 다음 특권 상태($\hat{s}_{t+1}$)를 예측하는 월드 모델($W_\omega$)에 입력됩니다.

   • 메커니즘: 예측 손실($L_{pred}$)을 최소화하여 월드 모델을 훈련시키고, 이를 통해 교사 인코더로 그래디언트를 전파합니다.
   • 효과: 이를 통해 인코더가 즉각적인 보상과 무관하다고 판단하여 버려버릴 수 있는 노이즈가 아니라, 순방향 역학(예: 지형 기하학 및 마찰력)에 필수적인 정보를 유지하도록 강제합니다. 월드 모델은 장기적인 시간적 의존성을 포착하기 위해 Dense-LayerNorm-Swish 블록을 갖춘 딥 레지듀얼 네트워크(deep residual network)로 구현되었습니다.

2. 안정적인 증류를 위한 모멘텀 타겟 인코더(Momentum Target Encoder for Stable Distillation):
   동시 훈련 중 발생하는 교사 인코더의 비정상성(non-stationarity) 문제를 해결하기 위해, BYOL(Bootstrap Your Own Latent)에서 영감을 받은 모멘텀 타겟 인코더를 사용합니다.

   • 메커니즘: 학생이 급격히 변화하는 온라인 교사를 직접 회귀하는 대신, 학생 자신의 가중치를 지수 이동 평균(EMA)으로 유지하는 타겟 인코더($E_{\hat{\theta}_s}$)로부터 학습합니다. 차원 붕괴를 방지하기 위해 온라인 학생 측에 예측 헤드(predictor head)를 추가합니다.
   • 효과: 이는 일관되고 안정적인 증류 타겟을 제공하여 차원 붕괴를 방지하고, 학생이 고유 수용 감각 이력(proprioceptive history)만으로도 견고한 역학 인지 표현을 학습할 수 있도록 합니다.

3. 보상 설계 및 훈련(Reward Design and Training):
   계단 등반 시 관찰되는 과도한 힙 의존성이나 본체 진동 문제를 완화하기 위해, 보상 함수에 특정 제약 조건(관절 범위, 휠베이스 거리, 베이스 위치 경계, 다리 균형)을 추가했습니다. 훈련에는 PPO를 사용하는 동시 교사-학생(Concurrent Teacher-Student, CTS) 패러다임을 활용하며, sim-to-real 격차를 줄이기 위해 다양한 지형 유형(평지, 경사로, 계단, 불규칙 지형)과 물리적 파라미터(질량, 마찰, PD 게인)에 대한 도메인 랜덤화(domain randomization)를 포함합니다.

주요 기여

• 월드 모델 정규화: 순방향 역학 인지 능력을 강제하기 위해 월드 모델을 도입함으로써, 학습된 표현이 단순히 보상을 극대화하는 것을 넘어 지형 기하학 및 역학을 포착하도록 보장합니다.
• 모멘텀 타겟을 통한 안정적 증류: 모멘텀 타겟 인코더를 사용하여 안정적인 증류 타겟을 제공함으로써, 교사의 비정상적 업데이트로 인한 차원 붕괴를 효과적으로 방지합니다.
• 투명한 평가: 주성분 분석(PCA)과 정량적 지표(PC-Correlation, Linear Probing $R^2$, CCA)를 적용하여, 인코더가 계층적으로 지형 높이를 포착함을 검증하고 표현 품질에 대한 투명한 시각을 제공합니다.

실험 결과
본 방법은 시뮬레이션(IsaacGym)과 실제 환경의 JiaRan 이족 보행-휠 로봇에서 평가되었습니다.

• 표현 품질: PCA 시각화 및 정량적 지표 결과, 제안된 방법은 교사 인코더에서 0.96, 학생 인코더에서 0.87의 PC-Correlation을 달성하였으며, 이는 월드 모델이나 모멘텀 타겟이 없는 어블레이션(ablation) 모델(표현이 엉키거나 붕괴됨)보다 크게 우수한 성능을 보였습니다.
• 시뮬레이션 성능: 다양한 너비와 높이(최대 20cm)를 가진 연속 계단에서, DynaWM은 26cm 너비의 계단에서 최대 **100%**의 성공률을, 20cm 높이의 넓은 계단에서 **89.3%**의 성공률을 기록하며 CTS 및 RMA와 같은 베이스라인을 능가했습니다.
• 동작 매끄러움: 본 방법은 CTS와 비교하여 더 우수한 동작 매끄러움(낮은 저크(jerk) 및 베이스 가속도)을 보여주었으며, 에너지 소비량은 대등한 수준을 유지했습니다.
• 실제 환경 배포: 돌출부가 있는 불규칙한 계단이나 훈련된 높이를 초과하는 연속 계단 등 미학습 지형을 포함한 실제 실험에서, 로봇은 CTS 베서라인보다 훨씬 매끄러운 동작과 함께 100% 성공률(5/5회 시도)을 달utation했습니다.

의의 및 주장
본 논문은 DynaWM이 특권 학습(privileged learning)과 배포 가능한 제어 사이의 간극을 성공적으로 메웠다고 주장합니다. 역학 인지 정규화를 통해 인코더가 포괄적인 지형 기하학을 포착하도록 보장하고 증류 과정을 안정화함으로써, 이 방법은 이족 보행-휠 로봇이 높은 적응력과 매끄러움을 가지고 긴 연속 계단을 통과할 수 있게 합니다. 저자들은 이 접근 방식이 연속적인 계단 시나리오에서 동작의 매끄러움과 지형 적응력을 유지하지 못하는 기존의 교사-학생 프레임워크의 한계를 극복한다고 단언합니다. 본 연구는 명시적인 순방향 역학 모델링과 안정적인 타겟 생성이 이족 보행-휠 이동의 견고한 sim-to-real 전이에 매우 중요하다는 것을 입증합니다.