Model-Based Reinforcement Learning Exploits Passive Body Dynamics for High-Performance Biped Robot Locomotion

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 머신러닝 및 embodied AI(구현된 인공지능) 분야에서 로봇의 신체 (Embodiment) 가 운동 제어에 미치는 중요성이 부각되고 있습니다. 특히 인간과 동물의 보행은 신경계, 신체, 환경 간의 역동적인 상호작용으로 생성되는 '끌개 (attractor)', 예를 들어 안정적인 리미트 사이클 (limit cycle) 을 기반으로 합니다.
• 문제: 기존의 로봇 학습은 제로 (zero) 에서부터 보행을 구축하는 경우가 많아 제어 비용이 높고, 학습 시간이 길며, 에너지 효율이 낮거나 제어 토크가 과도하게 큰 문제가 있습니다. 또한, 로봇의 신체 설계 (하드웨어) 와 학습 알고리즘 간의 최적 조합이 명확하지 않습니다.
• 핵심 질문: 로봇의 신체에 수동적 요소 (passive elements, 예: 스프링, 높은 백드라이버빌리티) 를 도입할 때, 모델 기반 강화학습 (Model-Based RL) 을 통해 어떻게 더 효율적이고 강인한 보행이 학습될 수 있는가?

2. 방법론 (Methodology)

2.1 로봇 모델 설계

MuJoCo 시뮬레이터 내에서 두 가지 서로 다른 이족 보행 로봇 모델을 구축하여 비교 실험을 수행했습니다. 두 모델은 하체 구조와 질량은 동일하지만, 구동 방식과 수동적 특성이 다릅니다.

• 수동 모델 (Passive Model):
  • 인간의 하체 근육 (대퇴사두근, 비복근) 을 모방한 선형 액추에이터 (공기압 액추에이터 시뮬레이션) 와 직렬로 연결된 스프링을 사용.
  • 발목과 발 관절에 비틀림 스프링 (torsional springs) 을 추가하여 전경골근 및 족저근의 효과를 모델링.
  • 고백드라이버빌리티 (high backdrivability) 를 가진 BLDC 모터를 고관절에 사용 (외부 힘에 의해 구동축이 움직일 수 있음).
  • 특징: 신체 자체의 탄성과 관성이 보행에 기여.
• 토크 모델 (Torque Model):
  • 일반적인 휴머노이드와 유사하게 모든 관절에 고감속비 (251:1) 의 서보 모터 (Dynamixel) 사용.
  • 수동적 행동을 제거하기 위해 모터 로터 관성을 크게 증가시키고 관절에 높은 점성을 부여하여 저백드라이버빌리티를 구현.
  • 특징: 전통적인 강체 제어에 가까운 모델.

2.2 학습 알고리즘 및 설정

• 알고리즘: DreamerV2 (World Model 기반의 모델 기반 강화학습) 사용.
  • 로봇의 상태는 카메라 이미지 (후방 대각선, 64x64 픽셀) 로 정의하여 고차원 상태 공간의 차원을 축소하고 특징을 추출.
  • 시스템의 역학을 예측하는 '월드 모델'을 학습하여 제어 정책을 도출.
• 행동 공간 (Action Space):
  • 수동 모델: 대퇴사두근/비복근 액추에이터 힘 ($f_{vas}, f_{gas}$) 및 고관절 토크 ($\tau$).
  • 토크 모델: 고관절, 무릎, 발목의 토크 ($\tau_{hip}, \tau_{knee}, \tau_{ankle}$).
  • 두 모델 모두 이산적인 행동 값을 사용하며, 두 다리의 위상을 반대로 설정하여 행동 수를 줄임.
• 보상 함수 (Reward): 전진 속도 ($v_0$) 와 골반 높이 ($z_0$) 를 기반으로 설계. 넘어짐 (height < 0.7m) 시 패널티 부여.
• 실험 조건: 평지 보행 (1.5 m/s) 및 달리기 (2.5 m/s) 목표. 학습 후 다양한 경사도 (-5° ~ +3°) 에서 강인성 테스트 수행.

3. 주요 결과 (Results)

3.1 학습 효율성 및 수렴 특성

• 학습 곡선: 수동 모델은 초기에 넘어짐이 많아 토크 모델보다 보상이 낮고 학습 속도가 느렸습니다. 그러나 학습이 진행됨에 따라 두 모델 모두 최대 보상 수준에 도달했습니다.
• 궤적 수렴 (UMAP 분석):
  • 수동 모델: 학습 초기에 특정 리미트 사이클 (Limit Cycle) 로 빠르게 수렴하는 경향을 보였습니다. 이는 시스템의 역학적 끌개 (attractor) 가 학습을 유도했음을 의미합니다.
  • 토크 모델: 명확한 주기적 궤적으로 수렴하지 않았으며, 플롯이 분산되어 비주기적인 움직임을 보였습니다.

3.2 보행 성능 및 에너지 효율

• 운동 형태:
  • 수동 모델: 관절이 부드럽게 구부러지는 (soft and bending) 자연스러운 움직임을 보였습니다. 걷기 시 다리가 지팡이처럼 뻗고 (역진자), 달리기 시 무릎이 구부러져 에너지를 저장하는 인간과 유사한 패턴을 보였습니다.
  • 토크 모델: 관절이 뻣뻣하고 (stiff) 강직한 움직임을 보였습니다.
• 에너지 소비: 수동 모델이 토크 모델에 비해 압도적으로 낮은 에너지 소비를 기록했습니다.
  • 걷기: 수동 (17.0 kJ) vs 토크 (63.6 kJ)
  • 달리기: 수동 (16.5 kJ) vs 토크 (154.9 kJ)

3.3 강인성 (Robustness) 테스트

• 내리막 경사 (-3°, -5°): 수동 모델은 평지 보행과 유사하게 안정적으로 전진했습니다. 반면, 토크 모델은 역행하거나 전진이 멈추는 등 불안정했습니다. 이는 수동 모델의 탄성 요소가 지형 변화를 흡수했기 때문입니다.
• 오르막 경사 (+3°): 두 모델 모두 평지보다 전진 거리가 감소했으나, 수동 모델은 수동 보행 원리 (passive walking) 에 적합하지 않아 오르막에서 불리했습니다.

4. 핵심 기여 및 의의 (Key Contributions & Significance)

1. 수동적 신체 역학의 학습 활용: 모델 기반 강화학습을 통해 로봇의 수동적 특성 (스프링, 높은 백드라이버빌리티) 이 시스템의 '끌개 (attractor)' 역할을 하여, 복잡한 제어 없이도 안정적이고 에너지 효율적인 리미트 사이클을 자동으로 발견할 수 있음을 증명했습니다.
2. 학습 과정에서의 역학적 상호작용: 수동 모델은 초기 학습 중 빈번한 넘어짐을 겪었으나, 이는 월드 모델이 다양한 역학적 상황 (넘어짐, 충돌 등) 을 학습하는 데 기여하여 더 강인한 제어 정책을 생성하는 계기가 되었습니다.
3. 하드웨어와 AI 의 시너지: 단순히 알고리즘을 개선하는 것을 넘어, 로봇의 물리적 설계 (Embodiment) 가 학습의 효율성과 최종 성능에 결정적인 영향을 미친다는 것을 보여줍니다. 특히, 생체 모방적 수동 특성을 가진 로봇은 모델 기반 RL 과 결합할 때 고성능 보행에 이상적입니다.
4. 미래 지향적 제안: 향후 embodied AI 개발에 있어 수동적 특성 (고백드라이버빌리티, 탄성 요소) 과 모델 기반 강화학습의 결합이 복잡한 보행 및 조작 작업을 구현하는 핵심 열쇠임을 시사합니다.

5. 결론

이 연구는 수동적 요소를 갖춘 이족 보행 로봇이 모델 기반 강화학습을 통해 인간과 유사한 자연스럽고 효율적인 보행 패턴을 획득할 수 있음을 입증했습니다. 비록 초기 학습 속도는 느리고 넘어짐이 많았지만, 시스템 고유의 역학적 끌개를 활용한 학습은 에너지 효율성과 지형 적응력 (강인성) 측면에서 전통적인 토크 기반 로봇을 크게 능가하는 결과를 낳았습니다. 이는 향후 지능형 로봇의 신체 설계와 제어 알고리즘 개발에 중요한 통찰을 제공합니다.