Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

기술 요약: 단순화된 모델 사전 학습 및 모델 호모토피(Model-Homotopy) 기반 전이를 이용한 보행 로봇의 동적 정책 학습

문제 정의
다리 로봇의 고도로 동적인 동작을 생성하는 것은 신체 운동량, 다리 관성, 그리고 접촉력 사이의 복잡한 상호작용으로 인해 여전히 큰 과제로 남아 있습니다. 강화 학습(RL)은 유망한 성과를 보여왔으나, 복잡한 행동을 위한 정책을 학습하는 과정은 종종 방대한 보상 엔지니어링이나 고품질의 전문가 시연을 필요로 하며, 이는 자원 집약적입니다. 반대로, 축약 차수 모델(예: 단일 강체 모델 또는 SRB 모델)을 활용하는 방식은 학습 속도가 빠르고 보상 설계가 간단하다는 장점이 있지만, 풀 바디 역학(full-body dynamics)으로 전이될 때 "모델 격차(model gap)" 문제를 겪습니다. 직접적인 전이는 역학적 불일치, 특히 다리의 관성과 접촉 상호작용의 차이로 인해 불안정성, 하위 최적 수렴, 또는 실제 환경에서의 완전한 동작 실패를 초래할 수 있습니다.

방법론
저자들은 단순화된 모델과 풀 바디 역학 사이의 간극을 메우기 위해 두 가지 주요 단계로 구성된 연속 기반 학습 프레임워크를 제안합니다:

1. 단순화된 모델 사전 학습 (SRB 사전 학습):
   정책은 먼저 이상적인 환경인 단일 강체(SRB) 모델에서 사전 학습됩니다. 이 모델에서 로봇은 질량이 없는 다리와 이상적인 점 접촉을 가진 부유하는 강체로 근사됩니다. 제어 입력은 스탠스(stance) 단계 동안의 지면 반력(GRF)과 스윙(swing) 단계 동안의 잔여 발 목표값입니다. 이 단계는 풀 바디 역학의 계산 부담과 불안정성 없이 핵심적인 운동 패턴(예: 신체 운동량 제어)을 효율적으로 학습할 수 있게 합니다. 환경은 사전에 정의된 접촉 계획과 명목 스윙 궤적(예: 베지에 곡선)을 사용하여 백플립, 플립, 벽 보조 기동과 같은 특정 과업의 학습을 구조화합니다.

2. 모델 호모토피 기반 전이 (MHIT):
   사전 학습된 SRB 정책을 풀 바디 환경으로 전이하기 위해, 저자들은 매개변수화된 연속 경로(parametric continuation path)를 도입합니다. 직접적인 도약 대신, 연속적인 전이 파라미터 $\lambda \in (0, 1]$를 정의합니다.

• 매개변수적 전이: 시스템은 질량과 관성을 몸통과 다리 사이에서 점진적으로 재분배합니다. $\lambda \approx 0$일 때 다리는 무시할 수 있는 질량을 가지며(SRB 모델), $\lambda$가 1로 증가함에 따라 다리는 전체 질량을 유지하면서도 고유의 질량과 관성을 갖게 됩니다.
• 연속 전략 (Continuation Strategy): 정책은 이 경로를 따라 학습되며, $\lambda = 0.01$에서 시작하여 900회의 반복(iteration)에 걸쳐 $\lambda = 1.0$까지 점진적으로 증가합니다. 이를 통해 정책은 높은 성공 확률을 유지하면서 점점 더 복잡해지는 역학에 적응할 수 있습니다.
• 액션 변환: 전이 과정 중, SRB 정책의 GRF 출력은 스탠스 단계에서 자코비안 전치(Jacobian transpose)를 통해 관절 토크로 변환되며, 스윙 단계에서는 작업 공간 PD 제어가 발 목표값을 추적합니다.
• 상태 추정: 시뮬레이션에서는 참(true) 선속도 및 접촉 상태와 같은 특권 정보(privileged information)를 사용할 수 있지만 실제 환경에서는 그렇지 않으므로, 고유 수용 감각 이력으로부터 이러한 상태를 추론하는 동시 추정 네트워크(MLP)를 학습시켜 sim-to-real 배포를 가능하게 합니다.

주요 기여

• 연속 기반 프레임워크: 본 논문은 단순화된 모델 사전 학습과 모델 호모토피 기반 전이 전략을 통합하여 복잡하고 동적인 동작을 효율적으로 생성하고 정교화하는 새로운 프레임워크를 제시합니다.
• 원칙적인 전이 경로: 저자들은 SRB와 풀 바디 모델 사이의 관성 특성을 부드럽게 보간하는 특정 매개변수 전이 경로를 도입했습니다. 이 방식은 직접 전이나 모방 학습 베이스라인에 비해 수렴 속도와 학습 안정성을 향상시키는 것으로 나타났습니다.
• 복잡한 과업 및 실제 하드웨어 검증: 이 방법은 백플립, 사이드플립, 요(yaw) 스핀, 벽 보조 기동(점프 및 회전)을 포함한 다양하고 도전적인 동적 과업을 통해 검증되었습니다. 학습된 정책은 실제 Unitree Go1 사족 보행 로봇에 성공적으로 배치되었습니다.

결과

• 시뮬레이션 성능: 직접 전이(DT), 모방 전이(IT), 그리고 바닐라 RL과의 비교 연구에서, 제안된 MHIT 방식은 가장 빠른 수렴 속도와 가장 일관된 학습 결과를 보여주었습니다. 예를 들어, 벽 보조 백플립 과업에서 MHIT는 IT보다 두 배 빠르게 수렴했으며 19.0% 더 높은 정규화된 리턴(normalized return)을 달ach했습니다. 또한, DT와 비교했을 때 무작위 시드에 따른 성능 변화가 현저히 적어 우수한 안정성을 입증했습니다.
• 강건성: MHIT 정책은 IT 정책에 비해 외부 힘 및 토크 교란에 대해 더 큰 강건성을 보였는데, 이는 사전 학습 중에 습득한 반응적 행동의 보존과 모방 학습에서 사용하는 조기 종료 제약 없이 더 넓은 상태 공간을 탐색할 수 있는 능력 덕분입니다.
• 실제 환경 배치: Unitree Go1 로봇에서, MHIT 정책은 모델링되지 않은 다리 관성으로 인해 충분한 각운동량 부족 문제를 겪었던 직접 SRB 정책이 실패했던 백플립 과업을 성공적으로 수행했습니다. 전이된 정책은 10회 연속 시험에서 90%의 성공률을 달ole했으며, 미세 조정되지 않은 SRB 정책에 비해 우수한 속도 추적 정확도(더 낮은 RMSE)를 보여주었습니다.

의의
본 논문의 주요 의의는 값비싼 전문가의 시연에 의존하지 않고 단순화된 모델과 풀 바디 역학 사이의 모델 격차를 메우는 효과적이고 안정적인 정교화 과정을 제공한다는 점에 있습니다. 연속 전략을 활용함으로써, 이 프레임워크는 초기 단순화된 가이드의 한계를 뛰어넘는 최적의 행동을 발견할 수 있게 합니다. 실제 하드웨어에 대한 성공적인 배치는 복잡한 동적 보행 동작을 생성하기 위한 이 접근 방식의 실용적인 적용 가능성을 입증합니다. 저자들은 현재의 방식이 사전에 정의된 접촉 시퀀스에 의존하고 있으나, 이 프레임워크가 접촉 스케줄을 자동화하고 다양한 로봇 형태에 적응하기 위한 미래 연구의 유망한 진화적 출발점을 제공한다고 언급했습니다.