Whole-Body Model-Predictive Control of Legged Robots with MuJoCo

이 논문은 MuJoCo 기반의 반복적 LQR(iLQR) 알고리즘을 사용하여 사족보행 및 인간형 로봇의 전신 모델 예측 제어 (MPC) 를 시뮬레이션에서 실세계로 성공적으로 확장하여, 복잡한 보행 및 조작 작업을 실시간으로 수행할 수 있음을 입증했습니다.

핵심

1. "현실과 가상 세계의 벽을 허무는 마법" (시뮬레이션과 실물의 연결)

보통 로봇을 개발할 때는 두 가지 큰 문제가 있습니다.

1. 가상 세계 (시뮬레이션) 에서만 잘 작동한다: 컴퓨터 안에서만完美的하게 걷다가, 실제 로봇에 적용하면 넘어집니다.
2. 복잡한 수학은 너무 어렵다: 로봇의 모든 관절과 충돌을 계산하려면 엄청난 수학적 지식이 필요해서, 연구자들만 접근할 수 있었습니다.

이 논문은 **"MuJoCo(무죠코)"**라는 유명한 물리 엔진을 이용해, 컴퓨터 안에서의 시뮬레이션과 실제 로봇의 움직임이 거의 똑같아지도록 만들었습니다.

• 비유: 마치 비행기 조종 시뮬레이터가 실제 비행기 조종과 똑같은 느낌을 주듯이, 이 연구는 로봇이 컴퓨터 안에서 연습한 걸 그대로 실제 세상에서도 잘 수행하게 했습니다. 연구자들은 "우리가 쓴 코드가 너무 간단해서 놀랍다"고 말할 정도로, 복잡한 수학적 모델링 없이도 로봇이 현실에서 잘 걷는다는 것을 증명했습니다.

2. "스스로 길을 찾는 똑똑한 내비게이션" (MPC 와 iLQR)

로봇이 걸을 때 단순히 "발 앞으로 내딛어"라고 명령하는 게 아니라, **"앞으로 1 초 뒤의 상황을 예측해서 가장 좋은 발걸음을 고른다"**는 방식입니다. 이를 **모델 예측 제어 (MPC)**라고 합니다.

이 연구에서 사용한 iLQR(반복 선형 2 차 조절기) 알고리즘은 로봇의 뇌 역할을 합니다.

• 비유: 로봇이 길을 걷는다고 상상해 보세요.
  • 기존 방식: "앞으로 10 걸음만 걸어"라고 정해두고, 넘어지면 다시 시작합니다. (개방 루프)
  • 이 연구의 방식: 로봇은 내비게이션처럼 매순간 "지금 발을 어디에 두면 넘어지지 않을까?", "바람이 불면 어떻게 균형을 잡을까?"를 수천 번 시뮬레이션하며 최적의 경로를 찾습니다.
  • 특히 이 로봇은 발이 미끄러지거나 넘어질 위험을 미리 계산해서, 발을 어디에 얼마나 세게 디밀지 결정합니다. 마치 빙판 위에서 균형을 잡는 아이스 스케이터가 넘어지지 않기 위해 끊임없이 몸의 무게 중심을 조절하는 것과 같습니다.

3. "실시간으로 로봇을 조종하는 리모컨" (인터랙티브 GUI)

가장 재미있는 점은 연구자들이 **직관적인 그래픽 인터페이스 (GUI)**를 만들었다는 것입니다.

• 비유: 로봇을 조종하는 사람이 게임 컨트롤러를 들고 있는 상황입니다.
  • 화면에 **초록색 공 (목표 지점)**을 드래그하면, 로봇이 그쪽으로 바로 걸어갑니다.
  • 로봇이 넘어질 것 같으면, 사용자가 화면에서 보정 파라미터를 살짝만 바꿔주면 로봇이 다시 균형을 잡습니다.
  • 심지어 네 발로 걷던 로봇이 갑자기 두 발로 서서 걷거나, 손발로 서서 역기를 들듯이 (Handstand) 움직이는 것도 실시간으로 시킬 수 있습니다.

---

🤖 실제로 어떤 일이 일어났나요?

이 연구팀은 이 기술로 놀라운 실험들을 성공시켰습니다:

1. 네 발 로봇이 두 발로 걷기: 개 모양 로봇이 앞다리를 공중에 들고 뒷다리로만 걷거나, 심지어 손발로 서서 역기를 들듯이 (Handstand) 자세를 취하는 것도 가능했습니다.
2. 거인 로봇 (Humanoid) 의 trotting: 사람 크기의 로봇 (Unitree H1) 이 제자리에서 말처럼 뛰는 (trotting) 동작을 실시간으로 수행했습니다.
3. 충돌 감지: 로봇이 벽이나 다른 물체에 부딪히지 않도록, 물리 엔진이 자동으로 계산해서 피했습니다.

💡 왜 이 연구가 중요한가요?

이전에는 로봇을 잘 움직이게 하려면 수학 박사급의 전문가만 접근할 수 있는 복잡한 코드를 직접 짜야 했습니다. 하지만 이 연구는 **"누구나 쉽게 접근할 수 있는 오픈소스 도구"**를 제공했습니다.

• 결론: 이제 로봇 연구자들은 복잡한 수식을 직접 구현할 필요 없이, 이 간단하고 강력한 도구를 이용해 더 똑똑한 로봇을 만들 수 있게 되었습니다. 마치 스마트폰 앱이 개발을 쉽게 만든 것처럼, 이 연구는 로봇 제어의 장벽을 낮춰 미래의 로봇이 우리 일상에서 더 자연스럽게 활동할 수 있는 길을 열었습니다.

한 줄 요약:

"복잡한 수학 없이, 컴퓨터 시뮬레이션과 실제 로봇을 완벽하게 연결하여, 네 발 로봇이 두 발로 걷고 넘어지지 않게 만드는 간단하지만 강력한 로봇 제어 기술을 개발했습니다."

기술 요약

1. 문제 정의 (Problem)

보행 로봇 ( quadruped, humanoid) 의 민첩한 운동을 위한 제어는 수십 년간의 난제였습니다. 기존의 모델 기반 제어 (Model-Based Control) 연구는 다음과 같은 한계를 가졌습니다:

• 복잡한 커스텀 구현: 실시간 모델 예측 제어 (MPC) 를 수행하기 위해 로봇 동역학 모델과 최적화 솔버를 직접 구현해야 했으며, 이는 재현이 어렵고 커뮤니티의 접근성을 낮췄습니다.
• 접촉 (Contact) 모델링의 어려움: 로봇이 지면과 접촉할 때 발생하는 비연속적이고 비선형적인 동역학을 정확하게 모델링하고 미분 가능하게 만드는 것은 계산적으로 매우 까다로웠습니다.
• 시뮬레이션과 현실의 괴리 (Sim-to-Real Gap): 많은 기존 방법들이 시뮬레이션에서는 작동하지만, 실제 하드웨어로 이전할 때 모델 불일치로 인해 실패하거나 추가적인 보정이 필요했습니다.

이 논문은 이러한 장벽을 낮추기 위해, MuJoCo라는 표준 오픈소스 물리 엔진을 기반으로 한 간단하면서도 효과적인 전신 (Whole-Body) MPC를 제안합니다.

2. 방법론 (Methodology)

A. 핵심 알고리즘: MuJoCo 기반 iLQR

• 알고리즘: 반복적 선형 -2 차 제어기 (Iterative Linear-Quadratic Regulator, iLQR) 를 사용합니다. 이는 비선형 궤적 최적화 문제를 국소적으로 선형화하여 2 차 비용 함수와 선형 제약 조건을 가진 하위 문제로 변환한 후, 동적 프로그래밍을 통해 해결합니다.
• 동역학 및 미분: MuJoCo 의 소프트 컨택트 (Soft Contact) 모델을 사용합니다. 이 모델은 비볼록하고 불연속적인 접촉을 볼록한 근사로 처리하여 계산 효율성을 높이고 해의 존재를 보장합니다.
• 미분 근사: MuJoCo 가 제공하는 해석적 미분 (Analytical Derivatives) 이 아직 완벽하지 않거나 복잡할 수 있으므로, 유한 차분 (Finite-Difference) 방법을 사용하여 비용 함수와 동역학의 자코비안 (Jacobian) 및 헤세안 (Hessian) 을 근사합니다. 이는 MuJoCo 의 C++ 백엔드를 활용하여 매우 효율적으로 계산됩니다.

B. 시스템 아키텍처

• 제어 루프:
  • 50 Hz: iLQR 알고리즘이 전체 궤적과 시간 가변 LQR (TV-LQR) 피드백 게인을 생성합니다.
  • 300 Hz: 생성된 TV-LQR 피드백 정책이 실제 로봇의 관절 수준 PD 제어기에 적용되어 안정성을 확보합니다.
  • 상태 추정: 모션 캡처 (MoCap) 데이터와 관절 엔코더 데이터를 융합하여 로봇의 상태를 추정합니다.
• 인터랙티브 GUI: 사용자가 실시간으로 목표 위치, 비용 함수 가중치, iLQR 하이퍼파라미터 등을 수정하고, 시뮬레이션된 로봇과 실제 로봇의 행동을 동시에 관찰할 수 있는 GUI 를 제공합니다.

C. 하드웨어 구현 세부 사항

• 접촉 모델 조정: MuJoCo 의 기본 접촉 파라미터는 미끄러짐 (slipping) 을 유발할 수 있어, impratio 값을 1 에서 100 으로 증가시켜 마찰력 제약을 강화하고 제어의 급격한 변동을 방지했습니다.
• 상태 표현: 부유 베이스 (floating base) 의 위치/자세, 관절 각도 및 속도를 포함하는 표준 상태 벡터를 사용하며, 저수준의 관절 공간 PD 제어기를 동역학 모델에 포함시켜 iLQR 이 관절 각도 참조값을 직접 최적화하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 간단하지만 효과적인 베이스라인 알고리즘: 복잡한 커스텀 솔버 없이, 오프더셸 (off-the-shelf) 시뮬레이터 (MuJoCo) 와 유한 차분 미분을 결합한 iLQR 이 실제 하드웨어에서 전신 제어 및 충돌 감지를 포함한 복잡한 작업을 해결할 수 있음을 증명했습니다.
2. 오픈소스 인터랙티브 GUI 시스템: 실제 로봇 하드웨어에서 실시간으로 예측 제어를 수행하고 파라미터를 조정할 수 있는 사용자 친화적인 GUI 를 공개했습니다.
3. 다양한 하드웨어 실험: 4 발 보행 로봇 (Unitree Go1, Go2) 과 인간형 로봇 (Unitree H1) 에서 다양한 작업 (보행, 두 발로 걷기, 손발로 서기 등) 을 성공적으로 수행하여 알고리즘의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 4 발 보행 로봇 (Quadruped):
  • Unitree Go1/Go2 에서 목표 지점으로의 보행, 두 발로만 걷기 (hind-leg walking), 손발로 서기 (handstand) 등 역동적인 동작을 성공적으로 수행했습니다.
  • 기존 MPPI 와 같은 샘플링 기반 방법은 불안정한 동역학 (두 발 보행 등) 에서 실패하는 반면, 제안된 iLQR 은 이러한 불안정 작업에서도 성공했습니다.
• 인간형 로봇 (Humanoid):
  • 전체 크기의 Unitree H1 로봇에서 제자리 트로팅 (trotting) 보행을 수행했습니다.
  • TV-LQR 피드백의 효과: 명목 (nominal) 오픈루프 제어만 사용하는 경우보다 TV-LQR 피드백을 적용했을 때 추적 성능이 약 30.1% 향상되었습니다.
• 실시간 성능:
  • 데스크탑 CPU (Intel i9) 에서 iLQR 반복 계산은 약 10~20ms 소요되어 50Hz 의 제어 주기를 만족했습니다.
  • 충돌 감지 (Collision Detection) 를 포함한 전신 동역학 모델링이 실시간 제어에서 가능함을 보였습니다.

5. 의의 및 의의 (Significance)

• 접근성 향상: 연구자들이 복잡한 수학적 유도나 커스텀 솔버 구현 없이도 MuJoCo 와 같은 표준 도구를 통해 모델 기반 제어 연구를 수행할 수 있는 진입 장벽을 낮췄습니다.
• 재현성 확보: 오픈소스 코드와 명확한 구현 세부 사항을 제공하여 커뮤니티의 재현과 확장을 촉진합니다.
• 시뮬레이션 - 현실 전이 (Sim-to-Real): 모델 불일치가 있음에도 불구하고, MuJoCo 의 부드러운 접촉 모델과 유한 차분 미분 조합이 실제 로봇 제어에 매우 효과적임을 보여주었습니다.
• 미래 연구 방향: 현재 시스템은 모션 캡처에 의존하고 있어 실험실 환경에 제한되지만, 이 작업은 온보드 센서만으로도 작동하는 완전한 상태 추정 도구 개발 및 더 복잡한 접촉 - 조작 (loco-manipulation) 작업으로의 확장을 위한 강력한 베이스라인을 제공합니다.

결론적으로, 이 논문은 복잡한 로봇 제어 문제를 해결하기 위해 "복잡한 것"이 반드시 "더 좋은 것"은 아님을 보여주며, 잘 만들어진 표준 시뮬레이션 엔진과 간단한 최적화 알고리즘의 조합으로도 고성능의 실제 로봇 제어가 가능함을 입증했습니다.