RL-Augmented MPC for Non-Gaited Legged and Hybrid Locomotion

이 논문은 강화학습 (RL) 이 고수준의 보행 및 항법 명령을, 모델 예측 제어 (MPC) 가 저수준의 구동 제어를 담당하는 계층적 아키텍처를 제안하여, 도메인 랜덤화 없이 시뮬레이션과 실제 120kg 휴머노이드 로봇 (Centauro) 에서 비주기적 보행 및 다양한 지형에서의 제로샷 이동을 성공적으로 구현했음을 보여줍니다.

핵심

이 논문은 **"로봇이 어떻게 스스로 걷는 법을 배우고, 복잡한 지형에서도 넘어지지 않고 달릴 수 있게 되는가?"**에 대한 놀라운 해답을 제시합니다.

기존의 로봇 걷기 기술은 마치 엄격한 악보를 따라 연주하는 피아니스트 같았습니다. "왼발 1 초, 오른발 2 초"처럼 미리 정해진 리듬 (보행) 을 따르는데, 만약 갑자기 방향을 바꾸거나 계단을 만나면 이 '악보'가 무너져 로봇이 넘어지기 일쑤였습니다.

이 연구는 그 문제를 해결하기 위해 두 명의 천재 파트너를 팀으로 꾸렸습니다. 바로 **"직관적인 두뇌 (강화학습, RL)"**와 **"정교한 계산기 (모델 예측 제어, MPC)"**입니다.

🤖 두 명의 파트너, 어떻게 일할까요?

이 시스템은 마치 자율주행 자동차의 내비게이션과 엔진이 협력하는 것과 같습니다.

1. 상위 두뇌 (RL - 강화학습): "대략적인 방향과 리듬을 정하는 지휘자"

   • 이 두뇌는 미리 정해진 악보가 없습니다. 대신 **시행착오 (Trial and Error)**를 통해 스스로 배우는 '유아기' 같은 존재입니다.
   • "지금 빨리 달려야 해!", "왼발을 들어야겠어!", "점프할 시간인가?" 같은 큰 그림의 명령만 내립니다.
   • 중요한 점은 이 두뇌가 매우 단순한 보상만 받으면 된다는 것입니다. "잘 걸어라", "에너지 아껴라" 정도면 충분합니다. 복잡한 수학적 계산은 하지 않고, 로봇이 넘어지지 않고 목적지로 가는 '감'을 익힙니다.

2. 하위 계산기 (MPC - 모델 예측 제어): "정밀하게 발을 움직이는 실력자"

   • 이 계산기는 지휘자의 명령을 받으면, 수천 번의 시뮬레이션을 0.01 초 만에 돌려서 "정확히 몇 도 각도로, 몇 뉴턴의 힘으로 발을 내려놓아야 넘어지지 않을까?"를 계산합니다.
   • 로봇의 무게, 마찰력, 지면의 상태 등 모든 물리 법칙을 고려해 실시간으로 최적의 동작을 만들어냅니다.
   • 지휘자가 "점프해!"라고 하면, 계산기는 "좋아, 0.3 초 뒤 땅을 차고 0.5 초 뒤 착지하도록 발을 움직일게"라고 정밀하게 실행합니다.

🌟 이 방식의 마법 같은 점들

이 연구의 가장 큰 성과는 **"예측 불가능한 리듬 (비주기적 보행)"**을 만들어냈다는 것입니다.

• 기존 방식: "1-2-1-2"처럼 딱딱 끊어지는 리듬을 고수합니다.
• 이 연구의 방식: 로봇은 상황에 따라 달리다가 갑자기 뛰고, 다시 걷고, 한 발로 멈추고를 자유롭게 섞습니다. 마치 인간이 계단을 오를 때 발을 어떻게 옮겨야 가장 편한지 순간순간 결정하는 것처럼요.
  • 비유: 마치 재즈 연주자처럼, 기본 리듬은 있지만 즉흥적으로 리듬을 바꾸며 상황에 맞춰 연주합니다.

🚀 놀라운 결과: "한 번 배운 걸 그대로 적용하다"

이 시스템은 **시뮬레이션 (가상 세계)**에서 배운 것을 실제 로봇에 그대로 적용했습니다. 보통 로봇 공학에서는 가상과 현실의 차이 (빛, 마찰력, 센서 오차 등) 를 맞추기 위해 엄청난 노력이 필요하지만, 이 연구는 아무런 추가 조정 (Zero-shot) 없이 바로 성공했습니다.

• 다양한 로봇: 50kg 짜리 작은 개형 로봇부터 120kg 짜리 거대한 인간형 로봇 (Centauro) 까지, 몸무게와 생김새가 달라도 같은 두뇌로 작동했습니다.
• 복합 이동: 바퀴로 달릴 때는 바퀴를 쓰고, 계단이나 장애물을 만나면 다리를 써서 걷는 '하이브리드' 모드를 스스로 선택했습니다.
• 비탈길과 계단: 평지뿐만 아니라, 계단처럼 생겼거나 울퉁불퉁한 지형에서도 로봇이 스스로 발을 어디에 놓을지 결정하며 올라갔습니다.

💡 요약하자면

이 논문은 로봇에게 **"완벽한 지도 (악보)"**를 주는 대신, **"방향 감각 (지휘자)"**과 **"신체 조절 능력 (계산기)"**을 함께 가르쳤습니다.

그 결과 로봇은 더 이상 기계처럼 딱딱하게 걷는 것이 아니라, 생물처럼 유연하고 똑똑하게 환경을 적응하며 이동할 수 있게 되었습니다. 이는 앞으로 재난 현장, 우주 탐사, 혹은 우리 집 안에서도 로봇이 넘어지지 않고 자유롭게 돌아다니는 시대를 앞당기는 중요한 한 걸음입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 접근법의 한계:
  • 모델 기반 (MPC): 모델 예측 제어 (MPC) 는 해석 가능성과 명시적 제약 조건 처리로 유명하지만, 접촉 타이밍 (Contact Timing) 을 최적화하는 문제는 혼합 정수 비선형 계획법 (MINLP) 문제로, 온라인 실시간 해결이 매우 어렵습니다. 따라서 기존 MPC 는 주로 사전 정의된 보행 패턴 (Gait) 이나 휴리스틱에 의존합니다.
  • 모델 프리 (RL): 강화학습 (RL) 은 환경과 상호작용하며 정책을 학습하지만, 접촉 스케줄링의 조합적 복잡성을 우회하기 위해 접촉을 암시적으로 처리하는 경우가 많습니다. 또한, 시뮬레이션에서 실제 로봇으로의 전이 (Sim-to-Real) 를 위해 방대한 도메인 랜덤화 (Domain Randomization) 와 reward shaping 이 필요하여 샘플 효율성이 낮고 과적합 우려가 있습니다.
• 핵심 문제: 다양한 로봇 형태 (다족, 바퀴 달린 다족) 와 지형 조건에서 사전 정의된 보행 패턴 없이, 환경에 적응하는 비주기적 (Acyclic) 접촉 패턴을 실시간으로 생성하고, 이를 안정적으로 제어할 수 있는 효율적인 아키텍처가 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 계층적 아키텍처를 제안하여 RL 과 MPC 의 장점을 결합합니다.

A. 계층적 구조 (Hierarchical Architecture)

• 고수준 RL 에이전트:
  • 역할: 보행 패턴 (접촉 스케줄링) 과 항법 명령 (Base Twist) 을 생성합니다.
  • 학습: 시뮬레이션 내에서 시행착오 (Trial-and-Error) 를 통해 비주기적 접촉 패턴을 직접 학습합니다.
  • 입력: 로봇의 관성 측정 장치 (IMU), 조인트 인코더, MPC 상태 추정치, 목표 위치 등을 관측합니다.
  • 출력: MPC 에 대한 항법 명령 ($\xi_{MPC}$) 과 각 발의 비행 단계 (Flight Phase) 주입을 제어하는 이진/스칼라 액션 ($\chi_{MPC}$).
• 저수준 MPC 제어기:
  • 역할: RL 이 생성한 접촉 스케줄과 명령을 기반으로 전체 로봇의 운동 (Whole-Body Motion) 을 실행합니다.
  • 특징: 완전한 강체 동역학 (Full Rigid-Body Dynamics) 모델을 사용하며, 접촉 힘과 비접촉 (비행) 단계를 명시적으로 모델링합니다.
  • 접촉 스케줄링: RL 의 지시에 따라 비행 단계 (Flight Phase) 를 동적으로 주입하거나 접촉 단계를 연장/단축하여 비주기적 보행을 구현합니다.

B. 핵심 기술적 요소

• 접촉 명시적 (Contact-Explicit) 설계: MPC 는 현재 최적화 구간 내의 접촉 순서를 가정하고 문제를 풀며, RL 이 이 순서를 실시간으로 변경합니다. 이는 MPC 의 계산 부하를 줄이면서 유연성을 확보합니다.
• Soft Actor-Critic (SAC): 샘플 효율성을 높이기 위해 엔트로피 정규화를 적용한 SAC 알고리즘을 사용합니다.
• 도메인 랜덤화 불필요: 학습된 정책이 다양한 로봇 (50kg~120kg) 과 시뮬레이터 간에 **Zero-shot (제로 샷)**으로 전이 가능하도록 설계되었습니다.
• 확장성 있는 소프트웨어 프레임워크: CPU 에서 수천 개의 MPC 인스턴스를 병렬 실행하고 GPU 기반 RL 학습과 동기화하는 모듈러 아키텍처를 개발했습니다.

3. 주요 기여 (Key Contributions)

1. 비주기적 보행의 자동 생성: 사전 정의된 보행 (Trot, Walk 등) 없이 RL 을 통해 환경과 작업 요구사항에 맞춰 적응적인 비주기적 접촉 패턴이 자연스럽게 등장 (Emergence) 함을 증명했습니다.
2. Zero-shot Sim-to-Real 전이: 도메인 랜덤화나 미세 조정 (Fine-tuning) 없이, 시뮬레이션에서 학습된 정책을 120kg 규모의 인간형 로봇 (Centauro) 에 직접 적용하여 성공적인 이동을 실현했습니다.
3. 하이브리드 이동 (Hybrid Locomotion) 지원: 바퀴와 다리가 결합된 로봇 (Wheeled-legged) 에서 바퀴 주행과 보행 (Stepping) 간의 자연스러운 전환 및 적응을 가능하게 했습니다.
4. 효율적인 병렬 학습 프레임워크: CPU 기반 MPC 클러스터와 GPU 기반 RL 학습을 통합하여 실시간성 (Real-time factor up to 50) 과 학습 효율성을 동시에 달성했습니다.

4. 실험 결과 (Results)

• 평가 플랫폼: 50kg 의 개조된 4 족 로봇, 80kg 의 Unitree B2-W, 120kg 의 인간형 로봇 Centauro.
• 성능:
  • 평탄 지형: 다양한 플랫폼에서 방향 전환 및 속도 변화 시 적응적인 비주기적 보행 패턴 (단일/이중 비행 단계 교차 등) 을 성공적으로 생성했습니다.
  • 에너지 효율성: 하이브리드 이동 (바퀴 + 다리) 정책이 순수 보행 정책보다 에너지 효율 (Cost of Transport, CoT) 이 약 3 배 높았습니다 (0.12 vs 0.35).
  • 전이 성능:
    • Sim-to-Sim: IsaacSim 에서 학습된 정책을 MuJoCo 시뮬레이터에 그대로 적용하여 성공.
    • Sim-to-Real: Centauro 실물 로봇에서 도메인 랜덤화 없이 성공적인 이동 및 보행 수행.
  • 비정형 지형: 계단 형태의 피라미드 지형에서 높이 맵 (Heightmap) 데이터를 입력으로 받아 계단 오르기 수행 가능함을 시연했습니다.

5. 의의 및 결론 (Significance)

• 접근법의 혁신: 기존의 "고정된 보행 패턴 + MPC" 또는 "완전 End-to-End RL"의 이분법을 넘어, RL 이 고수준 의사결정 (접촉 타이밍) 을, MPC 가 저수준 동역학 제어를 담당하는 최적의 분업 구조를 제시했습니다.
• 실용성: 복잡한 보행 제어를 위한 수동 튜닝과 방대한 데이터 수집 (도메인 랜덤화) 의 필요성을 줄여, 실제 로봇 적용의 장벽을 낮췄습니다.
• 미래 전망: 이 아키텍처는 조작 (Manipulation) 작업이나 더 복잡한 비정형 환경으로 확장 가능하며, 다양한 로봇 형태에 대한 범용 제어 정책 학습의 기초를 제공합니다.

이 논문은 강화학습과 최적 제어의 강점을 결합하여, 복잡한 다족 및 하이브리드 로봇의 이동 제어 문제를 해결하는 새로운 패러다임을 제시한 중요한 연구로 평가됩니다.