Humanoid-GPT: Scaling Data and Structure for Zero-Shot Motion Tracking

기술 요약: Humanoid-GPT

문제 정의

휴머노이드 동작 추적(motion tracking)은 역사적으로 민첩성(highly dynamic, complex motions 추적 능력)과 일반화(unseen styles 또는 tasks 추적 능력) 사이의 근본적인 트레이드오프 문제에 직면해 왔습니다. 현재의 최첨단 추적기들은 대개 상대적으로 작은 규모의 모션 코퍼스(약 $10^4$개의 궤적, 약 720만 프레임)로 학습된 얕은 다층 퍼셉트론(MLP)에 의존합니다. 이러한 규모의 불일치는 지속적인 실패 모드를 초래합니다. 즉, 도메인 내(in-domain) 성능이 뛰어난 추적기는 보지 못한 스타일(unseen styles)에서 실패하고, 일반화 능력이 좋은 추적기는 복잡한 역학(dynamics)을 다루는 데 어려움을 겪습니다. 본 논문은 이것이 근본적인 한계가 아니라, 불충분한 데이터 규모와 부적절한 학습 설계에서 기인한 증상이라고 주장합니다.

방법론

저자들은 "스케일링의 과학(science of scaling)"을 기반으로 구축된 범용 온라인 휴머노이드 모션 추적기인 Humanoid-GPT를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 데이터 큐레이션 및 스케일링

• 코퍼스 구축: 저자들은 널리 사용되는 모캡(mocap) 데이터셋(AMASS, LAFAN1, MotionMillion, PHUMA)을 수집하고 대규모 자체 기록 데이터를 추가했습니다.
• 프로세싱: 엄격한 필터링(앉기나 수영과 같은 물체 상호작용 제거)을 거친 후, 29-DoF Unitree-G1 휴머노이드 관절 공간으로 리타겟팅하였으며, 시간 왜곡 증강(time-warping augmentation)을 적용했습니다.
• 규모: 최종 큐레이션된 코퍼스는 20억 프레임을 포함하며, 이는 이전 추적기 학습 세트보다 200배 이상 큰 규모입니다.
• 조화 운동 임베딩 (Harmonic Motion Embedding, HME): 이 규모를 관리하고 다양성을 확보하기 위해 저자들은 HME를 도입했습니다. 이 표현 방식은 관절별 주기적 진폭과 주파수를 추출하여 동작을 클러스터링합니다. 이를 통해 **다양성 인지형 분포 균형 샘플링(diversity-aware, distribution-balanced sampling)**이 가능해지며, 모델이 흔한 동작 모드에 과적합되는 것을 방지하는 동시에 드물지만 중요한 동작들도 표현될 수 있도록 보장합니다.

2. 확장 가능한 아키텍처

• 인과적 트랜스포머 (Causal Transformer): 비인과적(non-causal) 또는 MLP 기반 방식과 달리, Humanoid-GPT는 인과적 어텐션(causal attention)을 사용하는 GPT 스타일의 트랜스포머를 활용합니다.
• 온라인 제약 조건: 모델은 과거와 현재의 관측값만을 사용하여 관절별 비례-미분(PD) 목표치를 예측하며, 이는 실시간 배포 제약 조건과 일치합니다.
• 증류 파이프라인 (Distillation Pipeline):
  1. 전문가 학습 (Expert Training): HME 클러스터링에서 파생된 특정 모션 클러스터에 대해 수백 개의 PPO 기반 모션 전문가를 학습시킵니다. 이 전문가들은 키포인트 수준의 보상(위치, 속도, 회전 일관성)을 통해 물리적으로 근거 있는 추적을 학습합니다.
  2. 범용 모델 증류 (Generalist Distillation): 단일 트랜스포머 정책이 DAgger(Dataset Aggregation)를 통해 모든 전문가의 지식을 증류하도록 학습됩니다. 모델은 고유 수용 감각 상태(proprioceptive states)와 참조 포즈(reference poses)의 이력을 입력으로 받아 동작을 예측함으로써, 추적을 시퀀스 모델링 문제로 취급합니다.

3. 엔지니어링 최적화

대규모 모델 크기에도 불구하고 실시간 제어 요구 사항을 충족하기 위해, 저자들은 ONNX, TensorRT 및 C++ 스트리밍 아키텍처를 사용하여 배포 파이프라인을 최적화했습니다. 이를 통해 NVIDIA RTX 4090 GPU에서 1.5ms 미만의 엔드 투 엔드 추론 레이턴시를 달-성했습니다.

주요 기여

1. 전례 없는 규모: 20억 프레임의 리타겟팅된 코퍼스로 학습된 최초의 휴머노이드 추적기로서, 데이터와 모델 용량을 스케일링하는 것이 얕은 MLP로는 도달할 수 없었던 능력을 해제함을 입증했습니다.
2. 제로샷 일반화 (Zero-Shot Generalization): 본 시스템은 특정 작업에 대한 파인튜닝 없이도 매우 역동적이고 보지 못한 동작(예: 복잡한 댄스, 무술, 구르기 등)에 대해 견고한 제로샷 추적을 달성합니다.
3. 조화 운동 임베딩 (HME): 동작의 다양성을 정량화하고 균형 잡힌 샘플링을 가능하게 하여, 대규모 데이터셋에서의 "롱테일(long-tail)" 문제를 해결하는 새로운 표현 학습 도구입니다.
4. 스케일링 법칙 (Scaling Laws): 본 논문은 휴머노이드 추적에 대한 스케일링 법칙에 대한 경험적 증거를 제공하며, 데이터와 모델 용량이 증가함에 따라 성능(안정성 및 정확도)이 예측 가능하게 향상되는 반면, MLP는 조기에 포화 상태에 도달함을 보여줍니다.

결과

• 시뮬레이션: MuJoCo 상의 Unitree-G1에서 Humanoid-GPT(2B 토큰, 80M 파라미터)는 GMT, TWIST, Any2Track과 같은 베이스라인 모델보다 훨씬 낮은 평균 관절 위치 오차(MPJPE)와 **92.58%의 추적 성공률(SR)**을 달성했습니다.
• 실제 환경 배포: 모델은 실제 Unitree-G1 로봇에 배포되었습니다. 이 로봇은 보지 못한 다양한 동작(예: "Can Do Can Go!", "Gokuraku Joudo", "PokerFace" 댄스 등)을 실시간으로 성공적으로 추적했습니다.
• 제로샷 능력: 로봇은 훈련 과정에서 보지 못한 복잡한 행동들, 즉 농구하기, 복싱하기, 상자 옮기기 돕기, 그리고 일어나기 위해 구르기 등을 수행했습니다.
• 비교: 베이스라인(MLP/TCN) 모델들은 데이터를 스케일링할 때 수익 체감(diminishing returns)이나 과적합 현상을 보인 반면, Humanoid-GPT는 지속적인 개선을 보여주었습니다. 트랜스포머 아키텍처는 더 큰 MLP와 비교했을 때 작은 데이터 서브셋에서도 우수한 정밀도와 안정성을 유지했습니다.

의의 및 주장

본 논문은 Humanoid-GPT가 전신 제어(whole-body control)의 **새로운 성능 경계(performance frontier)**를 설정한다고 주장합니다. 동작 추적을 데이터와 아키텍처에 의해 스케일링되는 생성적 시퀀스 모델링 문제로 다룸으로써, 저자들은 민첩성-일반화 트레이드오프를 극복할 수 있음을 입서했습니다.

본 연구는 다음을 시사합니다:

• 규모가 곧 레시피다: 더 큰 데이터와 모델, 그리고 적절한 학습 목적 함수(인과적 어텐션, 다양성 균형)의 결리는 Embodied AI에서 새로운 능력을 끌어냅니다.
• 일반화는 가능하다: 단일 모델이 광범위한 인간의 역학을 처리할 수 있으며, 이는 특화된 소규모 추적기의 제약을 넘어섭니다.
• AGI를 위한 토대: 이 접근 방식은 언어 및 비전 모델에서 나타난 스케일링 트렌드를 반영하며, 보지 못한 작업, 스타일, 환경에서도 견고한 동작을 실행할 수 있는 범용 임바디드 에이전트를 향한 단계적 진전을 의미합니다.

저자들은 Humanoid-GPT를 단순한 더 나은 추적기가 아니라, 수작업으로 설계된 휴리스틱이 아닌 '규모'를 통해 일반화를 달성하는, 임바디드 에이전트를 위한 **인공 일반 지능(AGI)**을 향한 기초적인 단계로 규정합니다.