Multi-Gait Learning for Humanoid Robots Using Reinforcement Learning with Selective Adversarial Motion Prior

1. 문제 정의 (Problem)

인간형 로봇이 인간이 설계한 환경에서 작동하기 위해서는 걷기, 달리기, 점프, 계단 오르기, 군도보 (Goose-stepping) 등 다양한 보행 모드를 단일 프레임워크 내에서 적응적으로 학습하고 실행할 수 있어야 합니다. 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

• 상충되는 요구사항: 안정성이 중요한 보행 (걷기, 계단 오르기) 과 역동성이 중요한 보행 (달리기, 점프) 은 제어 시스템에 서로 다른 요구사항을 부과합니다.
• 비효율적인 학습: 기존에는 각 보행 모드마다 별도의 정책 (Policy), 보상 함수, 하이퍼파라미터를 학습시켰습니다.
• 적대적 운동 사전 지식 (AMP) 의 한계: AMP 는 자연스럽고 안정적인 운동을 유도하는 데 유용하지만, 모든 보행에 균일하게 적용될 경우 역동적인 동작 (달리기, 점프) 의 자유도를 제한하고 로봇의 구동기 능력을 충분히 활용하지 못하게 할 수 있습니다.

2. 방법론 (Methodology)

저자들은 통일된 강화학습 (RL) 프레임워크와 선별적 AMP 전략을 결합하여 5 가지 보행 모드를 학습했습니다.

A. 통일된 RL 프레임워크

• 정책 구조: 걷기, 군도보, 달리기, 계단 오르기, 점프 등 5 가지 보행 모두 동일한 정책 아키텍처, 관찰 공간 (Observation Space), 행동 공간 (Action Space), 보상 함수 구조를 공유합니다.
• 차이점: 각 보행은 참조 궤적 (Reference Trajectory) 의 파라미터와 보상 가중치 설정만으로 구분됩니다.
• 상태 공간 (State Space):
  • 로봇의 기저 선속도/각속도, 명령 입력, 보행 위상 인코딩, 중력 벡터, 관절 위치/속도 오차, 이전 행동 등을 포함하는 50 차원 벡터.
  • 시간적 동역학을 포착하기 위해 최근 21 프레임의 관찰 데이터를 스택하여 입력 (1050 차원) 으로 사용합니다.
• 보상 함수: 관절 추적, 기저 균형/자세, 운동 부드러움, 안전 및 보행 특화 보상 (예: 점프 높이, 발 높이 등) 으로 구성되며, 모든 보행에 동일한 수식 구조를 적용합니다.

B. 선별적 적대적 운동 사전 지식 (Selective AMP) 전략

이 논문의 핵심 기여는 AMP 를 보행 특성에 따라 선별적으로 적용하는 것입니다.

• AMP 적용 대상 (주기적/안정성 중심): 걷기, 군도보, 계단 오르기.
  • 이러한 보행은 반복적이고 안정적인 운동 패턴이 필요하므로, AMP 를 통해 인간 모션 참조 데이터를 기반으로 수렴 속도를 높이고 불안정한 행동을 억제합니다.
• AMP 비적용 대상 (고역동성/민첩성 중심): 달리기, 점프.
  • 이러한 보행은 큰 관절 움직임과 폭발적인 동력이 필요하며, 기존 인간 모션 참조 데이터의 범위를 벗어날 수 있습니다. AMP 를 적용하면 로봇이 필요한 운동 극한치 (예: 높은 점프, 빠른 달리기) 를 탐색하는 것이 제한되므로, AMP 를 제거하여 정책이 구동기의 전체 토크 용량을 자유롭게 활용할 수 있도록 합니다.

C. 시뮬레이션 및 실물 전이 (Sim-to-Real)

• 학습 환경: Isaac Gym 에서 4,096 개의 병렬 환경으로 PPO(Proximal Policy Optimization) 알고리즘을 사용하여 학습.
• 도메인 랜덤화 (Domain Randomization): 마찰 계수, 질량, 모멘트 관성, 모터 강도, PD 게인, 지연 시간 등을 무작위화하여 시뮬레이션과 실물의 격차를 해소.
• 실물 배포: 미세 조정 (Fine-tuning) 없이 Zero-shot으로 12 자유도 (DOF) 인간형 로봇 (Lite 11) 에 직접 배포.

3. 주요 기여 (Key Contributions)

1. 통일된 다중 보행 학습 프레임워크: 5 가지 실용적인 보행 모드를 단일 정책 구조와 보상 체계로 학습하는 방법을 제시했습니다.
2. 선별적 AMP 전략: 보행의 특성에 따라 AMP 를 적용하거나 배제하는 전략을 제안했습니다. 이는 주기적 보행의 수렴 속도와 안정성을 높이고, 역동적 보행의 표현력과 민첩성을 유지하는 데 효과적임을 실험적으로 입증했습니다.
3. 실물 로봇 검증: 시뮬레이션에서 학습된 5 가지 보행 모드를 미세 조정 없이 실제 인간형 로봇에서 성공적으로 구현하고, 추적 오차, 수렴 속도, 성공률 등을 정량적으로 비교 분석했습니다.

4. 실험 결과 (Results)

• 성능 비교: 선별적 AMP 전략을 사용한 경우, 균일하게 AMP 를 적용한 경우보다 모든 5 가지 보행에서 더 빠른 수렴, 낮은 추적 오차, 높은 성공률을 보였습니다.
• 구체적 성과:
  • 걷기/군도보/계단 오르기: AMP 적용으로 인해 수렴 속도가 빨라지고 (약 2,500~5,200 스텝), 추락률이 낮아졌습니다.
  • 달리기/점프: AMP 를 제거한 결과, 로봇은 더 큰 관절 각도와 빠른 가속을 통해 폭발적인 동력을 생성할 수 있었습니다. AMP 를强行 적용하면 달리기나 점프가 단순한 빠른 걷기나 약한 점프로 변질될 수 있음이 확인되었습니다.
• 실물 로봇 실험: 걷기, 계단 오르기, 군도보, 달리기, 점프 모두 실제 로봇에서 안정적으로 수행되었으며, 외부 충격이나 시작/정지 전환 시에도 견고한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 인간형 로봇의 보행 제어에 있어 **"하나의 프레임워크로 모든 것을 학습할 수 있다"**는 가능성을 보여주었습니다. 특히, 모든 보행에 동일한 운동 사전 지식 (AMP) 을 적용하는 것이 항상 최선은 아니며, 보행의 동역학적 특성에 따라 사전 지식을 선별적으로 활용해야 최적의 성능을 낼 수 있음을 증명했습니다.

이 연구는 단일 보행 모드를 넘어 다양한 동작을 통합적으로 학습하고 실물 로봇에 배포할 수 있는 재현 가능한 기준 (Baseline) 을 제공하며, 인간형 로봇의 실제 환경 적응성 향상을 위한 중요한 통찰을 제공합니다.