HybridMimic: Hybrid RL-Centroidal Control for Humanoid Motion Mimicking

이 논문은 예측된 접촉 상태와 원심력 기반 제어기를 결합하여 인간 모션 모방의 물리적 실현 가능성을 높이고, 부스터 T1 휴머노이드 로봇 실험을 통해 기존 강화학습 대비 13% 의 위치 추적 오차 감소를 입증한 'HybridMimic' 프레임워크를 제안합니다.

핵심

🤖 1. 문제점: "무작정 따라 하는 로봇" vs "이해하는 로봇"

기존의 강화학습 (RL) 기반 로봇 제어 기술은 마치 **"악보 없이 귀로 듣고 따라 부르는 가수"**와 같습니다.

• 장점: 연습을 많이 하면 노래 (움직임) 를 아주 빠르고 유연하게 따라 부릅니다.
• 단점: 만약 무대 (현실 세계) 에서 갑자기 조명이 바뀌거나, 마이크가 고장 나거나 (예상치 못한 환경), 노래 가사가 조금만 달라져도 당황해서 소리를 지르거나 넘어질 수 있습니다. 로봇이 물리 법칙을 '이해'하지 않고 단순히 데이터 패턴만 외웠기 때문입니다.

반면, 기존의 모델 기반 제어는 "악보와 이론을 완벽하게 아는 음악 이론가" 같습니다.

• 장점: 물리 법칙을 정확히 따르기 때문에 넘어지지 않습니다.
• 단점: 악보에 적힌 대로만 움직입니다. 만약 악보에 "발은 1 초에 한 번씩 땅에 닿아라"라고 적혀 있는데, 실제 바닥이 미끄러워 발이 1.2 초에 닿아야 한다면? 이론가는 당황해서 멈추거나 넘어집니다. 즉, 미리 정해진 규칙 (발 닿는 타이밍) 에 너무 의존합니다.

💡 2. 해결책: "하이브리드 마미크 (HybridMimic)"

이 논문이 제안한 하이브리드 마미크는 이 두 가지의 장점을 합친 **"현명한 지휘자"**와 같습니다.

• 지휘자 (학습된 정책): 로봇이 어떤 상황에서 어떻게 움직여야 할지 '감 (Intuition)'을 잡습니다.
• 악기 (물리 모델): 로봇의 몸이 물리 법칙에 따라 어떻게 움직일지 계산합니다.

이 시스템은 로봇에게 **"발이 언제 땅에 닿을지 미리 정해두지 말고, 네가 보고 판단해!"**라고 가르칩니다. 로봇이 걷거나 뛰는 동안, 발이 땅에 닿았는지 (접촉 상태) 를 스스로 감지하고, 그 정보를 바탕으로 몸의 중심을 어떻게 움직여야 넘어지지 않을지 계산합니다.

🎯 3. 핵심 기술 3 가지 (비유로 설명)

① "스마트한 발바닥 감지기" (접촉 상태 예측)

기존 로봇은 "발이 1 초에 닿아, 2 초에 떨어진다"라고 정해져 있었습니다. 하지만 하이브리드 마미크는 **"지금 발바닥이 땅에 닿았니? 안 닿았니?"**를 실시간으로 감지합니다.

• 비유: 눈이 가리거나 어두운 밤에 걷는 사람처럼, 발이 땅에 닿는 순간을 '느껴'서 다음 발걸음을 자연스럽게 내딛는 것입니다.

② "물리 법칙을 따르는 지시" (중심 동역학 기반 제어)

로봇의 몸통 (중심) 이 어떻게 움직여야 균형을 잡을지 계산합니다.

• 비유: 줄타기 예술가가 줄 위에서 균형을 잡을 때, 팔을 흔들어서 중심을 맞추는 것처럼, 로봇도 몸의 중심을 계산해서 넘어지지 않게 힘을 조절합니다.

③ "현실과 훈련의 차이 줄이기" (물리 기반 보상)

로봇을 훈련시킬 때, "너는 물리 법칙을 어기지 않고 움직여야 점수를 받아!"라고 가르칩니다.

• 비유: 수영을 배울 때, 물속에서 발을 어떻게 움직여야 물살을 가르며 나아가는지 (물리 법칙) 를 이해해야 실제 바다에서도 헤엄칠 수 있는 것과 같습니다.

🏆 4. 실제 성과: "부스터 T1" 로봇의 실전

연구진은 실제 로봇 (부스터 T1) 에 이 기술을 적용해 보았습니다.

• 결과: 기존 최고의 기술 (BeyondMimic) 보다 로봇이 걷는 경로에서 벗어나는 오차가 13% 줄어든 것입니다.
• 의미: 로봇이 더 똑바로, 더 안정적으로 걷고, 발차기나 뒤로 걷기 같은 복잡한 동작도 넘어지지 않고 성공했습니다. 마치 초보 운전자가 숙련된 운전자처럼 차를 부드럽게 조종하는 것과 같습니다.

🚀 5. 결론: 왜 이것이 중요한가?

이 기술은 로봇이 **"가상 세계 (시뮬레이션) 에서 배운 것을 현실 세계에서도 똑같이 잘 수행"**하게 만들어줍니다.

• 이유: 로봇이 물리 법칙을 '이해'하고 있기 때문에, 예상치 못한 충격이나 미끄러운 바닥에서도 스스로 균형을 잡을 수 있습니다.
• 미래: 앞으로 로봇은 공장뿐만 아니라 우리 집에서도 더 안전하고 자연스럽게 움직이며, 인간과 함께 춤추거나 물건을 들어주는 등 더 다양한 일을 할 수 있게 될 것입니다.

한 줄 요약:

"이 논문은 로봇이 단순히 움직임을 '외우는' 것을 넘어, 물리 법칙을 '이해'하고 상황에 맞춰 스스로 판단하게 만들어, 현실 세계에서 더 똑똑하고 안전하게 움직이게 하는 새로운 기술을 개발했습니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 강화학습 (RL) 을 이용한 인간형 로봇의 모션 모방 (Motion Mimicking) 은 복잡한 작업 학습에 효과적이지만, 배포 시 로봇의 역학을 명시적으로 고려하지 않는 경우가 많습니다.
• 주요 문제점:
  • 물리적 비현실성: 표준 RL 프레임워크는 훈련 분포에서 벗어난 환경 (Out-of-Distribution) 에 직면했을 때 물리적으로 실행 불가능한 명령을 생성하여 시뮬레이션 - 현실 (Sim-to-Real) 전이 성능이 저하됩니다.
  • 기존 모델 기반 제어의 한계: 기존 모델 기반 제어 (예: Centroidal 모델) 는 물리적 타당성을 보장하지만, 복잡한 인간형 모션을 구현하기 위해 **수동으로 정의된 접촉 스케줄 (Predefined Contact Schedules)**에 의존합니다. 이는 자연스러운 모션 (예: 쪼그려 앉기, 점프) 에서 접촉 타이밍이 비주기적이거나 예측하기 어려운 경우 적용 범위를 제한합니다.
• 목표: RL 의 유연성과 모델 기반 제어의 물리적 타당성을 결합하여, 사전 정의된 접촉 스케줄 없이도 다양한 인간 모션을 물리적으로 안정적으로 모방할 수 있는 제어 아키텍처를 개발하는 것입니다.

2. 방법론 (Methodology)

논문은 HybridMimic이라는 하이브리드 제어 프레임워크를 제안합니다. 이는 RL 정책 (Policy) 과 모델 기반 Centroidal 제어기를 결합한 구조입니다.

• 제어 구조:

  • 모터 토크 ($u$) 는 **피드포워드 토크 ($u_{FF}$)**와 **PD 제어 토크 ($u_{PD}$)**의 합으로 구성됩니다.
  • PD 토크: 표준 RL 과 유사하게 정책 네트워크가 출력하는 명령 관절 위치 ($q_{cmd}$) 를 기반으로 생성됩니다.
  • 피드포워드 토크 ($u_{FF}$): Centroidal 모델 기반 제어기를 통해 생성됩니다. 이는 지면 반력 (Ground Reaction Force, GRF) 과 중력 편향을 보상하기 위해 계산됩니다.

• 핵심 메커니즘:

  1. 연속 접촉 상태 추정 (Continuous Contact State Estimation):
     • 기존 방법과 달리, 정책 네트워크가 직접 각 접촉면 (발바닥 등) 의 **연속적인 접촉 상태 ($w_i$)**를 예측합니다.
     • 이를 통해 수동으로 정의된 접촉 스케줄이 불필요해지며, 자연스러운 접촉 전환이 가능해집니다.
  2. 제약 조건 최적화 (QP Problem):
     • Centroidal 역학 방정식을 만족하면서, 정책이 출력한 참조 토크 ($u_{ref}$) 와 접촉 상태 ($w_i$) 를 기반으로 지면 반력 ($F^*$) 을 구하는 2 차 계획법 (QP) 문제를 풉니다.
     • 비용 함수 (Cost Function) 는 참조 토크 오차와 끝단 (End-effector) 접촉 비용을 포함하며, 이를 통해 마찰 원뿔 (Friction Cone) 및 토크 한계를 간접적으로 준수하도록 유도합니다.
  3. 물리 기반 보상 함수 (Physics-informed Rewards):
     • 정책이 Centroidal 제어기를 올바르게 활용하도록 유도하기 위해 새로운 보상 항을 도입했습니다.
     • GRF 보상: 시뮬레이션의 실제 지면 반력과 정책이 예측한 지면 반력 간의 오차 최소화.
     • 접촉 상태 보상: 예측된 접촉 상태와 실제 접촉 상태의 일치도 향상.
     • 토크 한계 보상: 피드포워드 토크가 모터 한계를 초과하지 않도록 패널티 부여.
     • Centroidal 가속도 보상: 명령된 가속도와 시뮬레이션 내 실제 가속도 간의 일치도 향상.

3. 주요 기여 (Key Contributions)

1. 접촉 스케줄이 없는 공식화 (Contact-schedule-free Formulation):
   • 정책 관찰을 기반으로 연속적인 접촉 상태를 추정하여, 수동으로 정의된 접촉 타이밍에 대한 의존성을 제거했습니다. 이는 복잡한 모션 전환 (예: 걷기에서 뛰기, 발차기 등) 에 유연하게 대응할 수 있게 합니다.
2. 물리 기반 보상 설계:
   • Centroidal 제어기의 입력/출력 (가속도, 접촉 상태, 지면 반력) 을 기반으로 한 새로운 보상 항을 도입하여, 정책이 제어기를 물리적으로 타당하게 사용하도록 학습시켰습니다. 이는 배포 시 해석 가능성과 투명성을 높입니다.
3. 실제 로봇 배포 및 검증:
   • Booster T1 인간형 로봇을 이용한 하드웨어 실험을 통해, 기존 최첨단 RL 베이스라인 (BeyondMimic) 대비 기반 위치 추적 오차 (Base Position Tracking Error) 를 13% 감소시켰음을 입증했습니다. 이는 Sim-to-Real 격차를 줄이는 데 모델 기반 요소 통합이 효과적임을 보여줍니다.

4. 실험 결과 (Results)

• 실험 환경: IsaacLab 시뮬레이션 및 실제 Booster T1 로봇.
• 비교 대상:
  • BeyondMimic (기존 PD 기반 RL 베이스라인)
  • HybridMimic (제안 방법)
  • HybridMimic+FCS (고정 접촉 스케줄 사용)
  • HybridMimic+FCS-RTC (참조 토크 비용 제거)
• 성능 지표:
  • Sim-to-Sim: 걷기, 원형 달리기, 점프 등 다양한 모션에서 HybridMimic 이 선형/각속도 및 위치 추적 오차에서 가장 낮은 오차를 보였습니다. 특히 접촉 타이밍이 복잡한 '원형 달리기'에서 고정 접촉 스케줄을 사용한 변형체보다 월등히 우수한 성능을 발휘했습니다.
  • Sim-to-Real (실제 로봇): 걷기, 옆걸음, 뒤걸음, 발차기 등 4 가지 동적 작업에서 HybridMimic 이 베이스라인 대비 평균 13% 의 기반 위치 추적 오차 감소를 달성했습니다.
  • 시각적 분석: HybridMimic 은 더 매끄러운 모션을 보이며 훈련된 궤적에 더 가깝게 추적하는 반면, 베이스라인은 진동 (Jitter) 이 크고 궤적에서 벗어나는 경향이 있었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 물리적 타당성과 학습의 조화: HybridMimic 은 RL 이 학습하는 유연성과 Centroidal 모델이 제공하는 물리적 안정성을 성공적으로 결합했습니다. 이는 로봇이 예측 불가능한 환경에서도 물리적으로 실행 가능한 명령을 생성할 수 있게 합니다.
• 배포의 용이성: 모델 기반 제어기의 투명한 특성 덕분에, 파라미터 튜닝 (예: 속도 추적 게인 조정) 이 직관적이고 용이하여 실제 로봇 배포 과정을 간소화했습니다.
• 안전성: 제안된 방법은 관절 강성 (Stiffness) 을 낮추어 더 순응적 (Compliant) 인 동작을 가능하게 하므로, 하드웨어 운영 시 안전성을 높입니다.
• 향후 과제: 현재는 지지기 (Stance phase) 의 지면 반력 제어에 집중되어 있으나, 향후에는 스윙 다리 (Swing leg) 궤적 최적화를 모델 기반으로 통합하여 발착 (Foot placement) 정밀도를 더욱 높일 계획입니다.

이 논문은 인간형 로봇의 복잡한 동적 모션 학습에 있어, 순수 RL 의 한계를 모델 기반 제어의 물리적 통찰로 보완하는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.