기술 요약: 지각형 휴머노이드 파쿠르 (PHP)

문제 정의

최근의 발전으로 휴머노이드 로봇이 다양한 지형에서 안정적인 보행이 가능해졌지만, 매우 역동적인 인간의 움직임과 같은 민첩성, 적응성, 표현력을 재현하는 것은 여전히 중요한 과제로 남아 있습니다. 특히 복잡한 환경에서 파쿠르를 수행하려면 다음이 필요합니다:

1. 저수준 강건성: 벽 오르기, 바르기 등 접촉이 많은 기동 (maneuvers) 을 수백 분의 1 초 내에 수행하기 위해 고차원 행동 공간을 제어하는 것.
2. 지각 기반 의사결정: 환경 변화와 예기치 않은 교란에 적응하기 위해 외부 지각 (시각) 과 제어를 긴밀하게 결합하는 것.
3. 장기적 기술 구성: 다양한 고역동성 기술을 단일 시각 - 운동 정책으로 통합하여 복잡한 장애물 코스 전반에 걸쳐 매끄러운 전환을 가능하게 하는 것.

주요 병목 현상은 매우 역동적인 인간 움직임 데이터의 부족입니다. 빠르고 접촉이 많은 기동을 포착하면 일반적으로 희소 데이터셋 (종종 기술당 한두 개의 시연만 포함) 이 생성되어, 접근 거리, 타이밍, 이질적인 기술 간의 매끄러운 전환 등에서 풍부한 변이가 필요한 장기적 작업을 학습하기에 부족합니다.

방법론

저자들은 인간 운동 사전 지식, 장기적 기술 구성, 지각적 제어를 통합한 모듈식 프레임워크인 **지각형 휴머노이드 파쿠르 (PHP)**를 제시합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 모션 매칭을 통한 적응형 기술 구성

데이터 부족과 다양한 전환의 필요성을 해결하기 위해 저자들은 오프라인 합성 모듈로서 **모션 매칭 (motion matching)**을 사용합니다.

• 원자 기술: 인간 운동 데이터를 OmniRetarget을 사용하여 로봇 (Unitree G1) 에 맞게 재타겟팅하여 바르기, 오르기 등 원자 파쿠르 기술 라이브러리를 생성합니다.
• 구성: 모든 기술 쌍 간의 전환을 수동으로 제작하는 대신, 시스템은 Locomotion → Skill → Locomotion 구조로 보행 세그먼트를 원자 기술과 연결하여 장기적 운동학적 궤적을 구성합니다.
• 메커니즘: 모션 매칭은 미래 궤적, 발 위치, 루트 속도 등을 포함한 특징 공간에서 최근접 이웃 검색을 수행하여 운동 조각을 이어붙입니다. 이는 희소한 운동 라이브러리를 "밀도 있게" 만들어 다양한 접근 거리, 방향, 타이밍에 걸친 다양한 전환을 생성합니다.
• 무작위화: 장애물 기하학과 포즈를 합성된 궤적 주변에서 무작위화하여 정책이 기본 참조 운동을 무효화하지 않으면서도 변이에 노출되도록 합니다.

2. 교사 - 학생 훈련 파이프라인

이 프레임워크는 시뮬레이션에서 현실로 기술을 이전하기 위해 2 단계 훈련 프로세스를 활용합니다:

• 교사 훈련 (특권 RL): 단일 기술 전문가 정책은 모션 추적 보상을 사용한 강화 학습 (RL) 으로 시뮬레이션에서 훈련됩니다. 이러한 전문가들은 회복 행동을 학습하고 드리프트를 수정하기 위해 특권 관찰 (privileged observations)(예: 전역 골반 위치/속도) 을 받으며, 이는 작은 오류가 빠르게 누적되는 접촉이 많은 작업에 중요합니다.
• 학생 증류 (DAgger + RL): 단일 깊이 기반 학생 정책이 여러 교사로부터 증류됩니다. 저자들은 순수 모방 학습 (DAgger) 이 성공에 필요한 고토크 돌발 (예: 오르기 시 '풀업' 단계) 을 명시적으로 선호하지 않기 때문에 고역동성 기술에는 부적합하다고 주장합니다.
  • 하이브리드 목적 함수: 학생은 결합된 손실 함수 $L = \lambda_{PPO} L_{PPO} + \lambda_{D} L_{D}$를 사용하여 훈련됩니다.
  • RL 의 역할: PPO 구성 요소는 장애물을 넘기 위해 필요한 고토크 행동을 활용하도록 장려하는 성공 기반 신호를 제공하는 반면, DAgger는 비자연스러운 행동을 방지하기 위한 정규화를 제공합니다.
  • 커리큘럼: 훈련을 안정화하기 위해 DAgger에서 PPO 로 가중치를 점진적으로 이동시키는 워밍업 커리큘럼이 적용됩니다.

3. 제로샷 시뮬 - 리얼 전이

학생 정책은 온보드 깊이 센싱 (Nvidia WARP 를 통해 시뮬레이션됨) 과 고유감각을 사용하여 훈련됩니다. 이는 이산적인 2 차원 속도 명령과 깊이 이미지만 수신하여 추론 중 명시적인 기술 레이블 없이 기술 (걸음, 오르기, 바르기, 구르기) 을 자율적으로 선택하고 실행할 수 있게 합니다.

주요 기여

1. 효율적인 운동학적 기술 구성: 모션 매칭을 통해 재타겟팅된 인간 움직임을 다양한 장기 궤적으로 연결하는 파이프라인으로, 역동적 운동 데이터의 부족을 극복합니다.
2. 확장 가능한 훈련 프레임워크: 여러 특권 전문가를 단일 깊이 기반 정책으로 증류하는 교사 - 학생 아키텍처로, 동적 기술의 고토크 요구 사항을 처리하기 위해 하이브리드 DAgger 및 RL 목적 함수를 사용합니다.
3. 성공적인 제로샷 시뮬 - 리얼 전이: 물리적 Unitree G1 로봇에서 고역동성 파쿠르를 시연했으며, 여기에는 로봇 높이의 96% 인 1.25m 벽 오르기 및 폐루프 적응을 통한 복잡한 다중 장애물 코스 주행이 포함됩니다.

실험 결과

이 프레임워크는 시뮬레이션과 현실 세계 모두에서 1.3m 높이, 29 자유도 (DoF) 의 Unitree G1 휴머노이드에서 검증되었습니다.

• 인간 수준의 민첩성: 로봇은 1.25m 벽을 3.63 초에 성공적으로 올라가 동일한 기동을 수행하는 인간 파쿠르 선수와 비교 가능한 속도를 보였습니다. 또한 0.4m 장애물을 3.41m/s 의 속도로 고양이 바르기 (cat-vault) 로 넘었고, 1.25m 에서의 낙하 착지를 수행했습니다.
• 장기적 주행: 로봇은 훈련 중 명시적인 다중 장애물 감독 없이도 여러 장애물과 기술 전환 (걸음, 오르기, 바르기) 이 포함된 60 초 연속 파쿠르 코스를 자율적으로 주행했습니다.
• 적응성: 시스템은 실시간 장애물 교란 (약 0.5m 의 무작위 변위) 에 대한 폐루프 적응을 보여주어, 주행을 완료하기 위해 접근 타이밍과 기동 선택을 조정했습니다.
• Ablation 연구:
  • 모션 매칭 밀도: 접근 거리의 고밀도 커버리지가 중요했으며, 희소 데이터 (예: 극단적인 거리만 포함) 는 중간 시나리오에서 실패로 이어졌습니다.
  • 증류 내 RL: RL 구성 요소를 제거하고 DAgger 만 사용하면 성능이 크게 저하되었으며, 특히 풀업 단계에 필요한 토크 돌발을 생성하지 못해 높은 장애물에서 실패했습니다.
  • 베이스라인: 제안된 방법은 순수 보상 형성 (속도 추적), 미구성 운동 데이터, 증류 없는 엔드 - 투 - 엔드 깊이 훈련을 사용하는 베이스라인보다 훨씬 우수한 성능을 보였습니다.

중요성 및 주장

이 논문은 PHP 가 현실 세계에서 민첩하고 적응적이며 전신 파쿠르를 위한 최첨단 접근법이라고 주장합니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 계단 오르기나 희소 지형 보행과 같은 저역동성 작업에 주로 국한되었던 이전 연구와 달리, 고역동적이고 접촉이 많은 인간 기술을 휴머노이드에 성공적으로 이전합니다.
• 데이터 효율성: 모션 매칭이 희소한 인간 데이터에서 장기 참조를 효과적으로 합성하여 거대한 데이터셋 없이도 복잡한 기술 체인을 학습할 수 있음을 시연합니다.
• 강건성: 단일 시각 - 운동 정책이 온보드 지각을 기반으로 다양한 기술을 자율적으로 선택하고 전환하며 정적 및 동적 환경 변화 모두를 처리할 수 있음을 입증합니다.

저자들은 현재 의미 있는 장면 이해의 부재 (기하학적 깊이에만 의존) 와 하드웨어 제약 (극단적인 오르기나 매달리기 기동을 위한 제한된 손 힘) 을 포함하여 한계를 지적합니다. 향후 연구는 고속에서의 지각적 모호성을 줄이기 위해 더 풍부한 조건부 신호 (예: 언어) 와 개선된 센싱을 통합할 수 있다고 제안합니다.