기술 요약: PHUMA - 물리적으로 신뢰할 수 있는 휴머노이드 보행 데이터셋

1. 문제 정의

휴머노이드 로봇이 범용적인 embodied AI로서 기능하기 위해서는 신뢰할 수 있고 자연스러운 보행 능력이 필요합니다. 작업 지향적 보상(task-oriented rewards)을 이용한 강화 학습(RL)은 사족 보행 로봇에서는 성공을 거두었으나, 이를 휴머노이드에 적용할 경우 효과적이기는 해도 인간다운 협응력이 부족한 보행 패턴이 나타나는 경우가 많습니다. 인간의 움직임을 복제하도록 정책(policy)을 학습시키는 모션 모방(motion imitation)은 유망한 해결책으로 떠오르고 있습니다. 그러나 이 패러다임은 가용한 인간 동작 데이터의 규모, 다양성 및 물리적 타당성에 의해 근본적으로 제약을 받습니다.

기존 데이터셋은 다음과 같은 트레이드오프를 겪습니다:

• 고품질 모션 캡처 (예: AMASS, LaFAN1): 물리적으로 타당한 동작을 제공하지만, 규모와 다양성이 제한적이며 주로 걷기나 손 뻗기 같은 단순한 동작에 치중되어 있습니다.
• 대규모 인터넷 비디오 (예: Humanoid-X): 최근 방식들은 방대한 양의 인터넷 영상을 모션 데이터로 변환하여 규모를 키웁니다. 그러나 이러한 파이프라인은 다음과 같은 심각한 물리적 아티팩트(artifacts) 문제를 겪습니다:
  • 전역 이동 오류 (Global translation errors): 발이 지면 위에 떠 있거나(floating) 지면을 뚫고 들어가는(penetration) 현상을 유발합니다.
  • 리타겟팅 실패 (Retargeting failures): 관절의 정렬보다 물리적 타당성을 우선시하지 못해 관절 한계 위반 및 발 미끄러짐(foot skating)이 발생합니다.
  • 불안정성 (Instability): 루트 지터(root jitter)나 존재하지 않는 외부 객체(예: 의자에 앉기)를 필요로 하는 동작과 같은 아티팩트가 발생합니다.

이러한 아티팩트는 안정적인 모션 모방 학습을 저해합니다. 물리적으로 유효하지 않은 데이터로 학습된 정책은 실제 하드웨어로 전이될 때 어려움을 겪기 때문입니다.

2. 방법론

저자들은 물리적 제약을 강제하면서 인터넷 비디오의 규모를 확장하도록 설계된 2단계 파이프라인을 통해 구축된 PHUMA(Physically Reliable HUMAnoid locomotion dataset)를 제안합니다.

2.1 물리 인지형 모션 큐레이션 (Physics-Aware Motion Curation)

리타겟팅 전, 원시 모션 데이터(Humanoid-X 및 기타 소스에서 추출)는 물리적으로 유효하지 않은 시퀀스를 제거하기 위한 필터링 과정을 거칩니다:

• 지터 및 불안정성 제거: 저역 통과 버터워스 필터(low-pass Butterworth filter)를 사용하여 고주파 지터를 부드럽게 처리합니다. 과도한 저크(jerk)가 발생하거나 질량 중심(CoM)이 지지 기저면(base of support) 밖으로 벗어나는 시퀀스(예: 존재하지 않는 의자에 앉아 있는 상태 등 불안정성)는 폐기됩니다.
• 지면 접촉 교정: 비디오 기반 모션은 고정된 지면 기준점이 없는 경우가 많으므로, 파이프라인은 발 메쉬 정점 높이에 대한 **다수결 투표(majority voting)**를 사용하여 전역 지면 평면을 추정합니다.
• 클립 단위 세그멘테이션: 전체 시퀀스를 통째로 버리는 대신, 데이터를 4초 단위 클립으로 분할합니다. 과도한 저크, CoM 불안정성 또는 불충분한 발-지면 접촉(floating)을 보이는 클립은 제거하여, 결함이 있는 시퀀스 내에서도 유효한 부분만을 보존합니다.
• 데이터 증강: 큐레이션된 비디오 데이터는 LaFAN1, LocoMuçoCo 및 자체 제작된 비디오 캡처와 같은 고품질 모션 캡처 데이터와 결합됩니다.

2.2 물리 제약형 모션 리타겟팅 (PhySINK)

인간의 움직임을 로봇의 형태(morphology)에 매핑하는 과정에서 발생하는 아티팩트를 해결하기 위해, 저자들은 PhySINK(Physically constrained Shape-adaptive Inverse Kinematics)를 도입합니다. 이 방법은 표준 형태 적응형 역기구학(SINK)에 네 가지 특정 손실 항(loss term)을 결합하여 공동 최적화합니다:

1. 모션 충실도 손실 ($\mathcal{L}_{Fidelity}$): 소스 모션의 스타일을 보존하기 위해 관절별 위치 및 링크별 방향 오차를 최소화합니다.
2. 관절 타당성 손실 ($\mathcal{L}_{Feasibility}$): 관절 각도와 속도가 로봇의 기계적 한계를 초과하는 것에 페널티를 부여하여 과도한 확장을 방지합니다.
3. 접지 손실 ($\mathcal{L}_{Ground}$): 접촉 프레임 동안 발의 높이를 추정된 지면 평면과 일치시켜, 공중 부양 및 지면 침투를 제거합니다.
4. 스케이팅 손실 ($\mathcal{L}_{Skate}$): 접촉 프레임 동안 수평 방향의 발 속도를 억제하여 발 미끄러짐을 방지합니다.

전체 목적 함수는 다음과 같습니다:
$$\mathcal{L}_{PhySINK} = \mathcal{L}_{Fidelity} + w_{Feasibility}\mathcal{L}_{Feasibility} + w_{Ground}\mathcal{L}_{Ground} + w_{Skate}\mathcal{L}_{Skate}$$

3. 주요 기여

• PHUMA 데이터셋: 모션 캡처와 큐레이션된 인터넷 비디오를 집계한 73시간 분량의 물리적으로 신뢰할 수 있는 휴머노이드 보행 코퍼스입니다. 이는 AMASS보다 3.5배 더 큰 규모이며, 물리적 타당성 측면에서 Humanoid-X의 사용 가능한 지속 시간(231.4시간 중 69.1시간)을 상회합니다.
• PhySINK 알고리즘: 관절 한계, 지면 접촉 및 안티-스케이팅 제약을 명시적으로 강제하여, 표준 IK, GMR, SINK 방식에 비해 물리적 아티팩트를 현저히 줄이는 새로운 리타겟팅 방법입니다.
• 물리 인지형 큐레이션 파이프라인: 비디오 유래 모션을 필터링하고 교정하는 체계적인 접근 방식을 제시하며, 데이터의 양보다 품질(큐레이션)이 중요하다는 것을 입증했습니다.

4. 실험 결과

저자들은 시뮬레이션(Masked-Mimic 활용) 및 실제 배포(BeyondMimic 활용) 환경에서 Unitree G1 및 H1-2 휴머노이드를 사용하여 네 가지 축에 걸쳐 PHUMA를 평가했습니다.

• 큐레이션의 영향: 절제 연구(Ablation studies) 결과, Humanoid-X 데이터에 물리 인지 필터를 적용하면 데이터 크기가 약 75% 감소하더라도 다운스트림 모션 추적 성공률이 크게 향상됨을 보여주었습니다.
• 리타겟팅 성능: PhySINK는 다섯 가지 물리적 신뢰성 지표(모션 충실도, 관절 타당성, 비부유, 비침투, 비스케이팅) 모두에서 IK, GMR, SINK를 능가했습니다. 특히, PhySINK는 충실도와 물리적 제약을 동시에 높은 점수로 달성한 유일한 방법이었습니다.
• 데이터셋 비교: PHUMA로 학습된 정책은 LaFAN1, AMASS, Humanoid-X로 학습된 정책에 비해 모든 모션 카테고리(정지, 회전, 수직, 수평)에서 가장 높은 성공률을 기록했습니다.
  • 미학습 모션(unseen motions)에 대해, PHUMA 학습 정책은 시뮬레이션에서 **92.7%**의 성공률을 달了한 반면, AMASS는 76.2%, Humanoid-X는 50.6%를 기록했습니다.
• 실제 세계 전이: 실제 Unitree G1에 대한 제로샷 배포(zero-shot deployment)에서, PHUMA 학습 정책은 AMASS 학습 정책에 비해 16.3% 낮은 추적 오차(MPJPE)를 보였습니다. 정성적 결과는 더 충실한 모션 추적과 물리적 위반의 감소를 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 휴머노이드 모션 모방의 주요 병목 현상이 단순히 데이터의 양이 아니라, 그 물리적 신뢰성에 있다고 주장합니다. 기존의 대규모 데이터셋(Humanoid-X 등)은 안정적인 학습을 방해하는 아티팩트로 인해 문제가 있고, 고품질 데이터셋(AMASS 등)은 다양성이 부족한 반면, PHUMA는 이 간극을 성공적으로 메웁니다.

저자들의 결론은 다음과 같습니다:

1. 데이터 품질이 최우선이다: 훈련 데이터의 물리적 위반 사항을 필터링하고 교정하는 것이 단순히 데이터 볼륨을 늘리는 것보다 더 나은 정책 성능을 가져옵니다.
2. 리타겟팅이 중요하다: 리타겟팅 단계에서 물리적 제약(PhySINK를 통해)을 강제하는 것은 안정적인 실세계 보행을 유도하는 훈련 데이터를 생성하는 데 필수적입니다.
3. 신뢰성을 동반한 확장 가능성: 엄격한 큐레이션 및 제약 기반 리타겟팅 파이프라인이 뒷받침된다면, 물리적 타당성을 희생하지 않고도 인터넷 비디오를 사용하여 휴머노이드 모션 데이터셋의 규모를 확장할 수 있습니다.

이 연구는 휴머노이드 모션 추적의 발전이 물리적으로 신뢰할 수 있는 데이터를 보유하는 데 달려 있음을 입증하였으며, PHUMA는 미래의 embodied AI 연구를 위한 표준을 제시하고자 합니다.