RK-MPC: Residual Koopman Model Predictive Control for Quadruped Locomotion in Offroad Environments

1. 문제 정의 (Problem Statement)

사족 보행 로봇이 오프로드 및 비구조화된 환경에서 이동할 때는 다음과 같은 주요 도전 과제에 직면합니다:

• 모델 불확실성: 지면의 접촉 불확실성, 마찰 계수 변화, 미모델링된 지형 상호작용 등으로 인해 물리 기반의 단순화된 모델 (예: 단일 강체 모델, SRB) 은 예측 오차가 발생합니다.
• 실시간 제약: 복잡한 비선형 모델 기반의 MPC(Model Predictive Control) 는 계산 부하가 커서 실시간 제어 (500Hz 이상) 에 적합하지 않을 수 있습니다.
• 학습 기반 방법의 한계: 순수한 강화학습 (RL) 은 데이터 효율성이 낮고, 제약 조건을 명시적으로 처리하거나 안전 보장을 제공하기 어렵습니다. 또한, 기존 데이터 기반 Koopman 방법론 (EDMD 등) 은 관측자 (observable) 선택에 민감하거나, 다단계 예측 시 회전 오차가 누적되어 불안정해지는 문제가 있습니다.

이러한 문제들을 해결하기 위해, 물리 기반 모델의 구조를 유지하면서 데이터 기반의 보정 기능을 통합하여 예측 정밀도를 높이고 실시간 계산을 가능하게 하는 방법론이 필요합니다.

2. 방법론 (Methodology)

저자들은 잔차 Koopman 모델 예측 제어 (Residual Koopman MPC, RK-MPC) 프레임워크를 제안합니다.

A. 핵심 아이디어: 잔차 학습 (Residual Learning)

• 명목 모델 (Nominal Model): 물리 법칙에 기반한 단일 강체 (SRB) 모델을 사용합니다. 이는 로봇의 주된 동역학 구조를 포착하지만, 복잡한 지형이나 접촉 조건에서는 오차가 발생합니다.
• 잔차 Koopman 모델: 명목 모델과 실제 시스템 간의 오차 (잔차, $e_k = x_k - x^{nom}_k$) 를 학습합니다.
  • 이 잔차는 Koopman 연산자 이론을 기반으로 **리프트된 좌표계 (lifted coordinates)**에서 선형 동역학으로 근사됩니다.
  • 즉, $z_{k+1} = A_{res}z_k + B_{res}u_k$ 형태의 선형 예측기를 데이터로부터 학습하여, 명목 모델의 오차를 보정합니다.
• 예측기 구조: 최종 예측은 $x_{k+1} = x^{nom}_{k+1} + \hat{e}_{k+1}$로 구성되며, 이는 선형 MPC 와 호환되는 구조를 유지합니다.

B. 수학적 형식화 및 안정성 보장

• EDMD with Control (EDMDc): 제어 입력이 포함된 Koopman 연산자를 근사하기 위해 EDMD(Extended Dynamic Mode Decomposition) 를 사용하여 행렬 $A_{res}, B_{res}, C_{res}$를 학습합니다.
• 오차 경계 증명 (Theorem 2): Lipschitz 연속성과 잔차 근사 오차의 유계성을 가정하여, 다단계 예측 오차가 발산하지 않고 유계 (bounded) 에 머무른다는 것을 수학적으로 증명했습니다. 이는 명목 모델이 주된 동역학을 잘 포착할 때 잔차 보정이 안정적으로 작동함을 의미합니다.

C. 볼록 MPC 형식화 (Convex MPC Formulation)

• 학습된 잔차 모델을 MPC 의 예측 모델에 통합합니다.
• 비용 함수는 2 차 (Quadratic) 이고, 제약 조건 (접촉력, 마찰 피라미드 등) 은 선형이므로, 전체 문제는 **볼록 2 차 계획법 (Convex QP)**으로 변환됩니다.
• 이를 통해 500Hz의 높은 주파수로 onboard(온보드) 에서 실시간 최적화를 수행할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 잔차 Koopman 모델링: 명목 SRB 모델 위에 컴팩트한 선형 잔차 보정기를 학습하는 데이터 기반 프레임워크를 제시하며, 다단계 예측 오차에 대한 이론적 보장을 제공합니다.
2. 볼록 RK-MPC 형식화: 학습된 잔차 예측기를 재귀적 최적 제어기에 통합하여, 500Hz 에서 실시간으로 작동하는 볼록 QP 기반 제어기를 구현했습니다.
3. 시뮬레이션 및 하드웨어 검증: Gazebo 시뮬레이션과 Unitree Go1 로봇을 이용한 실험을 통해, 다양한 보행 패턴 (트롯, 크롤) 과 오프로드 환경 (잔디, 자갈, 눈, 얼음) 에서 신뢰성 있는 맹보행 (blind locomotion) 을 입증했습니다.

4. 실험 결과 (Results)

• 예측 정확도 비교:
  • 단일 다항식 EDMD: 다단계 예측 시 불안정해지고 예측이 발산하는 경향을 보였습니다.
  • SE(3) 기반 EDMD: 회전 행렬을 포함하여 정확도는 향상되었으나, 다단계 예측 시 회전 오차가 누적되어 (SO(3) drift) 폐루프 제어 시 불안정해졌습니다.
  • RK-MPC: 명목 모델의 구조를 유지하면서 잔차 보정을 통해 가장 정확한 예측을 보였으며, 회전 오차 누적 없이 안정적으로 작동했습니다.
• 제어 성능 (Simulation & Hardware):
  • 속도 추적: 원형 경로 및 다양한 속도 명령에 대해 RK-MPC 는 비선형 SRB-MPC 와 유사한 추적 성능을 보였으며, SE(3)-KMPC 보다 월등히 안정적이었습니다.
  • 실시간 성능: RK-MPC 는 평균 0.89ms 의 해산 시간 (solve time) 을 기록하여 500Hz 제어 주기에 적합함을 입증했습니다.
  • 강인성:
    • 외부 충격: 로봇을 밀거나 충격을 주었을 때 빠르게 균형을 회복했습니다.
    • 지형 일반화: 잔디, 자갈, 눈, 얼음 등 다양한 미모델링된 지형에서도 안정적으로 보행했습니다.
    • 보행 패턴 일반화: 학습 데이터 (트롯) 와 다른 보행 패턴 (크롤) 에서도 성공적으로 적용되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 물리 기반 모델의 해석 가능성과 구조적 이점과 데이터 기반 학습의 적응성을 효과적으로 결합한 새로운 패러다임을 제시합니다.

• 실용성: 복잡한 비선형 학습을 피하면서도, 물리 모델이 놓치는 접촉 불확실성과 지형 효과를 정밀하게 보정하여 오프로드 환경에서의 로봇 신뢰성을 크게 향상시켰습니다.
• 실시간성: 학습된 모델을 볼록 최적화 문제 (QP) 에 자연스럽게 통합하여, 고성능 하드웨어 (Jetson Xavier NX) 에서 실시간으로 실행 가능한 솔루션을 제공했습니다.
• 미래 전망: 잔차 모델을 온라인으로 업데이트하거나, 불확실성 집합을 고려한 강인 MPC 로 확장할 수 있는 기반을 마련했습니다.

결론적으로, RK-MPC 는 구조화된 학습 메커니즘을 통해 사족 보행 로봇의 예측 제어 성능을 획기적으로 개선한 실용적이고 하드웨어 검증이 완료된 방법론입니다.