Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

1. 문제 정의 (Problem Definition)

현재 휴머노이드 로봇 개발의 주요 난제는 다양한 전신 동작을 지시하기 위한 통합된 인터페이스의 부재입니다.

• 기존 접근법의 한계: 기존의 방식은 서기, 걷기, 조작 (Manipulation), 모방 (Mimicry) 등 각기 다른 작업마다 별도의 컨트롤러를 수동으로 설계하거나, 서로 다른 입력 모드 (속도 명령, 엔드 이펙터 목표, 모션 캡처 데이터 등) 를 처리하기 위해 별도의 파이프라인을 사용합니다.
• 발생하는 문제: 이러한 분산화는 응용 프로그램 개발을 지연시키고, 작업 간 상호 운용성을 제한하며, 시뮬레이션에서 실제 하드웨어로 정책을 전이 (Sim-to-Real) 하는 것을 복잡하게 만듭니다.
• 목표: 하나의 통합된 컨트롤러가 다양한 입력 모드 (최적화된 궤적, 모션 캡처, 재타겟팅된 비디오, 조이스틱 신호 등) 를 수용할 수 있으며, 부분적으로만 지정된 동작 지시 (예: 상체만 지정하고 하체는 자율 생성) 에도 안정적으로 대응할 수 있어야 합니다.

2. 방법론 (Methodology)

저자들은 **마스크된 휴머노이드 컨트롤러 (Masked Humanoid Controller, MHC)**를 제안했습니다. 이는 강화 학습 (RL) 을 통해 훈련된 전신 컨트롤러로, 로봇의 상태 변수 중 일부만 선택된 "마스크된 목표 궤적"을 입력으로 받아 전신 동작을 생성합니다.

가. 핵심 아키텍처 및 입력

• 입력 표현: 동작 지시 (Motion Directive) 는 d = (q̂, I)로 정의됩니다. 여기서 q̂는 마스크된 모션 시퀀스이고, I는 어떤 차원이 제약 조건으로 선택되었는지를 나타내는 이진 마스크 시퀀스입니다. 마스크된 차원은 0 으로 설정됩니다.
• 네트워크 구조: LSTM(Long Short-Term Memory) 기반의 순환 신경망입니다.
  • 현재 로봇의 고유 상태 (Proprioceptive state) 와 다음 단계의 지시 (Directive) 를 입력받습니다.
  • 지시 데이터를 160 차원의 임베딩으로 인코딩한 후, 2 개의 64 유닛 LSTM 레이어를 통해 시계열 정보를 처리합니다.
  • 최종 출력은 각 구동 관절에 대한 PD 설정값 (Setpoints) 의 오프셋입니다.
• 출력: 모든 로봇 모터에 대한 PD 설정값을 50Hz 로 생성하여, 2kHz 로 작동하는 PD 컨트롤러에 전달합니다.

나. 훈련 커리큘럼 (Curriculum Learning)

시뮬레이션 (MuJoCo, Digit V3 모델) 에서 PPO 알고리즘을 사용하여 3 단계 커리큘럼으로 훈련합니다.

1. Stage 1 (Locomotion): 기본 균형 및 보행 제어 학습. 무작위 보행 지시 (상체/하체 마스크) 만 사용하며, 간헐적인 torso 충격 (80-800N) 을 가합니다.
2. Stage 2 (Stability): 보행 중 안정성 강화. 20-50 스텝 동안 지속적인 torso 충격 (20-150N) 을 가하고 에피소드 길이를 늘려 회복 능력을 학습시킵니다.
3. Stage 3 (Whole-Body Directives): 완전 지정 및 부분 지정 지시 모두 학습.
   • 조이스틱 입력 (보행 명령만).
   • VR/비디오 입력 (상체 모방 + 제자리 서기).
   • 복합 입력 (상체 모방 + 보행 명령).
   • 이 단계에서 MHC 는 마스크되지 않은 부분의 제약 조건을 만족하면서 나머지 관절을 자율적으로 생성하는 법을 배웁니다.

다. 도메인 랜덤화 (Domain Randomization)

시뮬레이션에서 실제 로봇으로의 전이를 위해 훈련 내내 물리 파라미터 (관절 감쇠, 링크 질량, 질량 중심, 인코더 노이즈, 마찰 계수 등) 를 무작위화하여, 정확한 시스템 식별 없이도 실제 환경의 동역학에 일반화되도록 합니다.

라. 보상 함수 (Reward Function)

• 안정성 및 보행: 기존 SOTA 컨트롤러의 보상 함수 (작업 보상, 스타일 보상, 정규화 보상) 를 기반으로 합니다.
• 추적 보상 (Tracking Reward): 마스크되지 않은 관절의 현재 값과 목표 값 사이의 오차를 지수 함수 형태로 보상합니다.
• 조건부 보상: 하체가 마스크된 경우 (보행 등) 는 스타일 보상을 포함하지만, 하체가 마스크되지 않은 경우 (전신 모방) 는 목표 지시와 충돌할 수 있는 스타일 보상을 제거하고 추적 보상에 집중합니다.

3. 주요 기여 (Key Contributions)

1. 통합된 다중 모드 인터페이스: 하나의 학습된 컨트롤러가 속도 명령, 모션 캡처, 비디오, 조이스틱 등 다양한 입력 모드를 "마스크된 궤적"이라는 통일된 표현으로 처리할 수 있게 했습니다.
2. 부분 지정 동작의 처리: 상체나 하체 등 일부 관절만 지정된 경우, 컨트롤러가 나머지 관절을 안정적이고 자연스러운 동작으로 "채워 넣는 (Fill-in-the-blanks)" 능력을 입증했습니다.
3. 강건한 Sim-to-Real 전이: Digit V3 휴머노이드 로봇을 사용하여 시뮬레이션에서 학습된 정책을 실제 환경에서 성공적으로 적용했습니다.
4. 커리큘럼 학습의 효과: 단계별 훈련 커리큘럼이 복잡한 전신 동작의 학습과 강건성 확보에 필수적임을 실험을 통해 입증했습니다.

4. 실험 결과 (Experimental Results)

가. 시뮬레이션 평가

• 기존 방법 대비 성능:
  • 보행/서기: SOTA 인 SaW (Stand-and-Walk) 컨트롤러와 비교했을 때, 보행 시 루트 드리프트 (Root Drift) 와 외부 힘에 대한 서기 안정성에서 경쟁력 있는 성능을 보였습니다.
  • 모방 (Mimicry): OffsetBlind, OffsetAware 등 베이스라인 모델 대비 실패율 (Failure Rate) 이 0.45% 로 극히 낮았으며, 엔드 이펙터 위치 오차 (EMEPE) 와 루트 드리프트에서도 가장 우수한 성능을 기록했습니다.
• 일반화 능력: 훈련 데이터셋의 크기가 커질수록 (Set A → Set B → Set C) 성능이 향상되었으며, 훈련되지 않은 새로운 동작에도 잘 일반화되었습니다.
• 커리큘럼의 중요성: 커리큘럼 없이 전체 데이터로 훈련한 모델 (MHCNC) 보다 커리큘럼을 적용한 MHC 가 보행과 모방 작업에서 훨씬 뛰어난 성능을 보였습니다.

나. 실제 환경 (Real-World) 평가

• 플랫폼: Oregon State University 의 Digit V3 휴머노이드 로봇 사용.
• 작업: 조이스틱 보행, 복싱 (Boxing) 동작, 박스 운반 및 조작 (Loco-manipulation) 등 다양한 작업 수행.
• 결과: 시뮬레이션 대비 실패율 (5%) 과 관절 오차는 다소 높았으나, 복잡한 동작 (상체 모방과 하체 보행의 동시 수행 등) 을 성공적으로 수행하여 고도의 Sim-to-Real 전이 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 휴머노이드 로봇 제어 분야에서 단일 통합 컨트롤러가 다양한 작업과 입력 모드를 유연하게 처리할 수 있음을 보여줍니다.

• 기술적 의의: 수동으로 설계된 여러 컨트롤러를 교체하거나 전환할 필요 없이, 사용자가 상황에 따라 원하는 입력 (비디오, 조이스틱, 궤적 등) 만 제공하면 로봇이 자율적으로 전신 동작을 생성하고 균형을 유지합니다.
• 미래 영향: 이는 로봇이 복잡한 실세계 환경에서 인간과 자연스럽게 상호작용하고, 새로운 동작을 학습할 때 재훈련 없이도 확장 가능한 유연한 제어 체계를 구축하는 데 중요한 기반이 됩니다.
• 한계 및 향후 과제: 시뮬레이션과 실제 환경 간의 차이 (Sim-to-Real Gap), 특히 넓은 발걸음이나 긴 단일 발 균형 자세에서의 안정성 개선, 그리고 Isaac Sim 등 더 높은 처리량의 시뮬레이터 지원 확대가 향후 과제로 제시되었습니다.

요약하자면, 이 논문은 마스크된 목표 궤적을 기반으로 한 **학습 기반 전신 컨트롤러 (MHC)**를 통해 휴머노이드 로봇의 제어 유연성과 강건성을 획기적으로 향상시킨 획기적인 연구입니다.