기술 요약: Kine2Go

문제 정의

Unitree Go2와 같은 저렴한 하드웨어와 함께 로보틱스, 특히 강화 학습(RL) 및 행동 복제(behavioral cloning)를 이용한 보행 제어에 대한 관심이 급증하고 있습니다. 그러나 중요한 병목 현상이 존재합니다: 고품질의 데모 데이터를 확보하는 것이 매우 어렵다는 점입니다. 머신러닝 방법론은 견고한 정책을 학습시키기 위해 흔히 운동학적 궤적(kinematic trajectories)과 그에 대응하는 모터 수준의 동작(motor-level actions)을 필요로 하지만, 이러한 데이터를 생성하는 과정은 일반적으로 복잡한 파이프라인과 상당한 시간을 요구합니다.

또한, 인간형 로봇(Humanoid)을 위한 대규모 모션 캡처(MoCap) 데이터셋(예: Human3.6M, AMASS)과 일부 동물 종에 대한 데이터는 존재하지만, 사족 보행 로봇을 위한 이와 비교할 만한 오픈 소스 리소스는 부족한 실정입니다. 기존의 사족 보려 데이터셋은 저수준 제어(low-level control) 학습에 필요한 상태-동작 롤아웃(state-action rollouts)이 결여된 경우가 많습니다. 또한, RL 기반 제어는 광범위한 보상 형성(reward shaping) 없이는 자연스럽고 대칭적인 보행을 생성하는 데 어려움을 겪으며, 이는 보상 해킹(reward hacking)을 유발하기 쉽고 지루한 시행착오를 필요로 합니다. 현재의 동작 모방 접근 방식은 대개 단일 동작을 위한 단일 정책에 의존하며, 이는 다양한 보행을 수행할 수 있는 일반적이고 기초적인 정책을 만드는 능력을 제한합니다.

방법론

저자들은 Genesis 물리 엔진(고성능 GPU 가속 시뮬레이터) 내에서 구현된 세 가지 주요 단계를 통해, 원시 모션 데이터와 Unitree Go2 로봇을 위한 실행 가능한 RL 정책 사이의 간극을 메우기 위해 설계된 데이터셋 및 파이프라인인 Kine2Go를 제시합니다.

1. 운동학적 리타겟팅 (Kinematic Retargeting):

   • 파이프라인은 다양한 소스 형태(개, 말 및 기타 로봇)로부터의 모션 캡처 데이터를 입력받습니다.
   • 모듈형 리타겟팅 프로세스는 이러한 소스 모션을 Unitree Go2의 특정 12-DoF 운동학적 구조에 매핑합니다.
   • 역운동학(IK) 솔버는 리타겟팅된 발 위치를 작업 공간(task-space) 목표로 처리하여 모션이 로봇의 도달 가능한 작업 공간 내에 머물도록 보장하면서, 프레임 단위로 관절 구성을 해결합니다.
   • 출력값은 포즈 정보를 포함하지만 동작(action) 데이터는 없는 연속적이고 로봇 친화적인 참조 궤적입니다.

2. 강화 학습 모션 모방 (Reinforcement Learning Motion Imitation):

   • 각 리타겟팅된 참조 궤적에 대해, 목표 조건부 마르코프 결정 과정(goal-conditioned MDP)을 사용하여 전용 제어 정책을 학습시킵니다.
   • 목표는 시뮬레이션된 로봇의 상태와 참조 모션 사이의 추적 오차를 최소화하는 것입니다.
   • 관측 공간 (Observation Space): 고유 수용 감각 상태(관절 위치/속도, 베이스 방향)와 $t+1, t+2, t+10, t+30$ 시점에서 샘플링된 미래 참조 상태를 포함합니다.
   • 보상 함수 (Reward Function): 루트 위치, 선속도/각속도, 관절 구성 및 말단 장치(end-effector) 위치의 편차를 벌금형으로 처리하는 가중치 합산 항들로 구성됩니다.
   • 학습: PPO(Proximal Policy Optimization) 알고리즘이 Genesis 엔진 내에서 사용되며, 대규모 병렬성(8,192개의 환경)을 활용하여 각 정책을 약 10,000회 반복, 20억 단계(2 billion steps) 동안 학습시킵니다.

3. 궤적 수집 및 필터링 (Trajectory Gathering and Filtering):

   • 정책이 수렴하면, 최종 데이터셋을 생성하기 위해 확률적 롤아웃(stochastic rollouts)을 실행합니다.
   • 상태 공간의 다양성을 극대화하기 위해 각 롤아웃은 무작위화된 헤딩 방향(heading orientations)으로 초기화됩니다.
   • 기록되는 데이터에는 관절 구성, 베이스 운동학(쿼터니언 방향, 각속도), 제어 동작(정규화된 모터 명령), 그리고 글로벌 상태가 포함됩니다.
   • 품질 관리: 궤적을 고해상도 비디오로 렌더링하고 수동으로 검사하여 불안정한 동작(충돌, 낙하, 추적 발산)을 필터링합니다. 정책이 참조와 동기화되는 "웜업(warmup)" 프레임을 제거하기 위해 각 궤적의 처음 0.5초를 잘라냅니다.

주요 기여

• Kine2Go 데이터셋: Unitree Go2 로봇을 위한 800개의 다양한 모션 궤적으로 구성된 포괄적인 데이터셋입니다. 이 데이터는 고유한 참조 모션에 최적화된 40개의 별도 RL 정책으로부터 도출되었습니다.
• 다양한 소스 형태: 데이터셋은 다음 네 가지의 뚜렷한 소스를 통합합니다:
  • AI4Animation: 개 모션 캡처 데이터 (걷기, 달리기, 회전).
  • VHDC: 말 모션 캡처 데이터 (트로트, 걷기).
  • Solo8: 다른 사족 보행 로봇 형태(8-DoF)의 데이터로, 기어가기(crawling) 및 점프와 같은 도전적인 동작을 제공합니다.
  • AI4Animation Interactive Demo: 복잡한 경로(타원, 루프, 사각형)를 생성하는 사용자 제어 늑대 시뮬레이션.
• 상태-동작 롤아웃 (State-Action Rollouts): 순수 운동학적 데이터셋과 달리, Kine2Go는 모션을 재현하는 데 필요한 모터 수준의 동작을 제공하므로 행동 복제 및 오프라인 제어에 직접 적용 가능합니다.
• 확장 가능한 파이프라인: 저자들은 새로운 소스를 쉽게 추가하거나 다른 사족 보행 형태에 접근 방식을 적응시킬 수 있도록 Genesis 엔진을 기반으로 구축된 파이프라인을 공개합니다. 이 파이프라인은 소비자급 GPU에 최적화되어 있어, 로봇 데이터 생성을 민주화합니다.

결과

결과물인 데이터셋은 걷기, 달리기, 트로트, 회전, 스핀 및 복잡한 경로 추적(원, 사각형, 타원)을 포함한 넓은 범위의 이동 동작을 다룹니다.

• 규모: 40개의 정책으로부터 생성된 800개의 궤적을 포함하며, 각 정책은 무작위화된 초기 헤딩을 특징으로 하는 20개의 독립적인 궤적을 생성합니다.
• 커버리지: 데이터셋은 5초에서 20초 길이의 동작을 포함하며, 각 보행의 최소 한 주기(full cycle)를 포착합니다.
• 데이터 구조: 각 프레임은 관절 위치/속도, 베이스 방향/속도 및 정규화된 모터 명령을 포함합니다.
• 한계점: 저자들은 점프(모든 다리가 지면에서 떨어지는 경우)가 포함된 동작은 모방 품질이 낮아 제외되었음을 언급했습니다. 앉기(sitting) 동작 또한 형태적 부적합성(팔꿈치가 지면 아래로 내려감)으로 인해 수동적인 프레임별 수정이 필요하여 제외되었습니다. 모든 데이터는 평탄한 지형에서 수집되었으며, 발 압력 센서 데이터는 시뮬레이션되지 않았습니다.

의의 및 주장

본 논문은 Kine2Go를 인간형 연구에 AMASS나 MoCapAct가 역할을 하는 것과 유사하게, 사족 보행 로보틱스 커뮤니티를 위한 기초적인 자원으로 포지셔닝합니다.

• 장벽 완화: 고충실도의 운동학적 및 동작 데이터를 "기성품(off-the-shelf)" 솔루션으로 제공함으로써, 연구자들이 복잡한 데이터 수집 파이프라인을 구축할 필요 없이 고급 모션 연구에 대한 진입 장벽을 낮춥니다.
• 기초 모델(Foundational Models) 지원: 주요 의도된 용도는 **행동 기초 모델(behavioral foundational models)**을 학습시키고 정규화하는 것입니다. 저자들은 단순한 행동 복제가 MSE(평균 제곱 오차)를 통해 평가될 수 있는 반면, 기초 모델은 특정 궤적을 단순히 흉내 내는 것이 아니라 모션의 일반적인 특성을 학습하기 위해 다양한 데이터셋이 필요하다고 주장합니다. Kine2Go는 단일 모션 정책을 넘어 명령에 따라 보행을 전환할 수 있는 정책 개발을 지원하는 것을 목표로 합니다.
• 시뮬레이션에서 현실로 (Sim-to-Real): 이 데이터셋은 Kine2Go로 정규화되어 궁극적으로 실제 세계에 배포되어 견고성을 평가할 수 있는 시뮬레이션 내 모델 학습을 용이하게 하도록 설계되었습니다.
• 민주화: Genesis 엔진과 소비자급 하드웨어에서의 효율적인 파이프라인 사용은 로봇 데이터 생성을 민주화하여, 더 작은 규모의 연구 그룹도 슈퍼컴퓨팅 클러스터 없이 다양한 보행과 형태를 실험할 수 있도록 하는 것을 목표로 합니다.

저자들은 Kine2Go가 사족 보행 연구의 중요한 공백을 메우고 있지만, 복잡한 기초 모델에 대한 평가는 여전히 열린 영역이며, 향후 작업은 곡예 동작(acrobatic maneuvers)과 거친 지형 탐색을 포함하도록 데이터셋을 확장하는 데 집중할 것이라고 겸허히 밝히고 있습니다.