Chasing Autonomy: Dynamic Retargeting and Control Guided RL for Performant and Controllable Humanoid Running

논문 요약: 자율성을 위한 인간형 로봇의 고성능 및 제어 가능한 달리기

이 논문은 인간형 로봇이 인간의 움직임을 모방하여 빠르고 역동적으로 달리는 것을 목표로 하며, 기존 강화학습 (RL) 기반 제어기의 한계를 극복하고 실제 자율 주행 스택에 통합할 수 있는 새로운 파이프라인을 제안합니다.

1. 문제 정의 (Problem)

• 기존 RL 의 한계: 최근 인간형 로봇의 역동적인 움직임을 생성하는 RL 제어기가 등장했으나, 대부분 단일 모션 재생 (single motion play-back) 에 국한되어 있습니다. 이는 장시간 자율 주행이나 다양한 환경에서의 적응을 어렵게 만듭니다.
• 속도 추적 및 제어의 부재: 자율 주행 스택 (Autonomy Stack) 에서는 하위 제어기가 상위 계획기 (Planner) 의 속도 명령 (Velocity Commands) 을 정확하게 따라야 합니다. 기존 '모방 (Mimic)' 스타일의 RL 은 인간 데이터를 단순히 따라 하는 데 초점을 맞춰, 명령된 속도를 정밀하게 추적하거나 방향을 제어하는 능력이 부족했습니다.
• 동적 적합성 (Dynamic Feasibility) 문제: 인간의 데이터를 로봇에 직접 적용할 때, 로봇의 동역학적 제약 (지속성, 주기성, 접촉 조건 등) 을 고려하지 않으면 실제 하드웨어에서 구현이 불가능하거나 불안정해질 수 있습니다.

2. 방법론 (Methodology)

저자들은 세 가지 핵심 단계를 거치는 파이프라인을 제안합니다.

• A. 최적화 기반 동적 리타게팅 (Dynamic Retargeting via Optimization):

  • 단일 인간 주행 데이터 (LAFAN 데이터셋) 를 기반으로, 다중 슈팅 (Multiple Shooting) 기법을 포함한 동적 최적화 문제를 설계했습니다.
  • 하드 제약 조건: 주기성 (Periodicity), 접촉 조건 (단일 지지기, 비행기), 마찰 원뿔 등을 포함하여 로봇이 물리적으로 실행 가능한 (Dynamically Feasible) 주행 궤적 라이브러리를 생성합니다.
  • 결과: 하나의 인간 데이터에서 다양한 속도 (1.2 m/s ~ 3.6 m/s) 에 맞는 최적화된 참조 궤적 (Reference Library) 을 자동 생성합니다.

• B. 제어 가이드 강화학습 (Control-Guided RL):

  • 보상 구조 비교: 기존 '모방 (Mimic)' 스타일 보상 (관절, 몸체 위치 등을 개별적으로 추적) 과 제어 리아푸노프 함수 (CLF) 기반 보상을 비교 분석했습니다.
  • CLF-RL: 리아푸노프 함수를 보상 함수에 직접 통합하여, 이론적으로 안정성이 보장되는 행동을 장려합니다.
  • 목표 조건부 (Goal-Conditioned) 학습: 로봇이 참조 궤적뿐만 아니라 상위 계층에서 주는 속도 명령 (전진, 측면, 요각 속도) 을 따르도록 학습시키기 위해 '목표 조건부' 보상을 도입했습니다.

• C. 자율 주행 스택 통합:

  • 생성된 제어 정책을 하드웨어에 적용하고, 외부 센서 (LiDAR) 와 계획 알고리즘 (MPC, CBF) 과 결합하여 장애물 회피가 가능한 완전한 자율 주행 시스템을 구축했습니다.

3. 주요 기여 (Key Contributions)

1. 동적 최적화 리타게팅: 인간의 데이터를 동역학 제약과 주기성 조건을 포함하여 최적화함으로써, 단순 운동학적 리타게팅보다 정밀도가 높고 다양한 속도에 적용 가능한 참조 궤적 라이브러리를 생성하는 방법을 제안했습니다.
2. 보상 구조의 영향 분석: 참조 추적 및 속도 명령 추적을 위해 목표 조건부 CLF-RL이 기존 모방 스타일 RL 보다 월등히 우수함을 입증했습니다. 특히 CLF 보상은 안정성을 보장하고, 동적 최적화 데이터와 결합될 때 가장 높은 성능을 발휘합니다.
3. 실제 하드웨어 검증 및 자율성: Unitree G1 로봇을 통해 최대 3.3 m/s 의 주행 속도를 달성하고, 야외 환경에서 수백 미터를 주행하는 데 성공했습니다. 또한, 실시간 장애물 회피가 가능한 자율 주행 스택에 통합되어 방향 전환 및 충돌 회피가 가능함을 시연했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 애블레이션 연구:
  • 참조 궤적: 동적 최적화 (Dynamic Optimization) 를 거친 인간 데이터가 단순 운동학적 리타게팅이나 인간 데이터 없는 최적화보다 참조 추적 오차가 가장 작았습니다.
  • 보상 함수: CLF-RL 보상이 Mimic 보상보다 참조 추적 및 속도 명령 추적 오차 모두에서 더 낮은 값을 보였습니다.
  • 속도 추적: 목표 조건부 (Goal Conditioning) 와 동적 최적화 참조 라이브러리를 결합한 CLF-RL 이 가장 정확한 속도 추적을 보여주었습니다.
• 하드웨어 성능:
  • Unitree G1 로봇: 실내 트레드밀 및 야외 환경에서 최대 3.3 m/s의 속도로 달리는 데 성공했습니다.
  • 내구성: 야외에서 250 미터 이상 연속 주행이 가능했으며, 완전한 비행 단계 (Flight Phase) 를 포함하는 역동적인 주행을 구현했습니다.
  • 자율 주행: LiDAR 기반의 MPC 와 제어 장벽 함수 (CBF) 를 결합하여, 주행 중 실시간으로 장애물을 회피하며 2 m/s 속도를 유지하는 데 성공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간형 로봇의 달리기 제어에 있어 **이론적 안정성 (CLF)**과 **데이터 기반 학습 (RL)**을 효과적으로 결합한 새로운 패러다임을 제시합니다. 단순히 인간 동작을 모방하는 것을 넘어, 동역학적으로 최적화된 참조 궤적과 제어 가이드 보상을 통해 로봇이 다양한 속도와 환경에서 명령을 정밀하게 따르며 자율적으로 주행할 수 있음을 입증했습니다. 이는 인간형 로봇이 실제 복잡한 환경에서 장시간 자율적으로 이동하는 데 필요한 핵심 기술적 토대를 마련했다는 점에서 큰 의의가 있습니다.