VENOM: Versatile Embodied Network for Omni-bodied Motion tracking

기술 요약: VENOM - 다각적 신체 구조를 위한 범용적 체화 네트워크 모션 트래킹 (Versatile Embodied Network for Omni-bodied Motion Tracking)

문제 정의

전문가 수준의 표현력이 풍부한 전신 모션 트래킹을 여러 휴머노이드 로봇에 걸쳐 오직 데모 데이터만을 사용하여 달성하는 것은 로봇 학습 분야에서 여전히 큰 과제로 남아 있다. 현재의 교차 체형(cross-embodiment) 접근 방식은 제어를 상체와 하체 세그먼트로 분리하거나, 특권 정보(privileged information)를 필요로 하는 비대칭 액터-크리틱(asymmetric actor-critic) 구조의 강화 학습(RL)에 의존하는 경우가 많다. 또한, 다양한 휴머노이드를 위한 대규모 저수준 제어 데이터셋이 부족하여 다재다능한 파운데이션 모델을 훈련하는 데 한계가 있다. 기존 모델들은 주로 보행(locomotion) 작업에 국한되어 있거나, 관측 및 행동 공간의 수동 정렬 없이 서로 다른 체형 간에 효과적으로 일반화하는 데 실패한다.

방법론

VENOM 데이터셋

저자들은 대규모 저수준 제어 데이터의 부족을 해결하기 위해 새로운 다중 휴머노이드 모션 트래킹 데이터셋인 VENOM 데이터셋을 큐레이션하였다.

• 소스 데이터: 이 데이터셋은 TWIST2 훈련 프레임워크(RL 기반 모션 트래킹 파이프라인)를 사용하여 다섯 가지 서로 다른 휴머노이드(Unitree G1, Unitree H1, Unitree H1 v2, Fourier N1, Booster T1 (29 DoF))에 대한 전문가 트래커를 훈련함으로써 생성되었다.
• 데이터 생성: 전문가들은 AMASS 데이터셋 전체를 사용하여 전문가를 훈련시켰다. 각 모션에 대해 전문가는 하나의 깨끗한 롤아웃(clean rollout)과 8개의 노이즈가 섞인 롤아웃(noisy rollouts)을 생성했다. 노이즈는 관측 공간(루트 위치, 방향, 속도 및 관절 위치)의 참조 모션에 적용되었다.
• 규모: VENOM 데이터셋은 상태(states), 행동(actions), 보상(rewards)을 포함하며, 6초 길이의 클립으로 구성된 약 7,705시간의 데이터를 포함한다.

모델 아키텍처 (VENOM)

VENOM은 다중 휴มน노이드에 대한 전신 제어를 위해 설계된 GPT 기반(Transformer) 모션 트래커이다.

• 아키텍처: 핵심 컨트롤러는 8개의 어텐션 헤드와 768의 임베딩 차원을 가진 8개의 트랜스포머 레이어로 구성된다. 상체와 하체 제어를 분리하지 않는 통합된 아키텍처를 사용한다.
• 입력 처리: 모델은 참조 모션을 처리하기 위해 특정 인코더를 사용한다:
  • 모션 인코더(Motion Encoder): 1단계 참조 모션을 인코딩한다.
  • 히스토리 인코더(History Encoder): 1차원 컨볼루션을 사용하여 10단계의 참조 모션 히스토리를 인코딩한다.
  • 퓨처 인코더(Future Encoder): MLP를 사용하여 1단계 미래 참조 모션을 인코딩한다.
• 다중 체형 처리(Multi-Embodiment Handling): 모델은 각 휴머노이드에 대해 별도의 토큰 임베딩 레이어와 액션 헤드를 사용한다. 훈련 중에는 모든 휴머노이드의 입력을 배치 차원을 따라 결합(concatenate)하여 공유 트랜스포머 디코더에 입력한다. 추론 시에는 대상 휴머노이드에 해당하는 특정 입력 모듈과 액션 헤드만 활성화된다.
• 훈련 목표: 모델은 예측된 행동과 전문가 행동 사이의 평균 제곱 오차(MSE)를 최소화하는 지도 학습(supervised learning)을 통해 훈련된다. 견고성을 높이기 위해 깨끗한 롤아웃과 노이즈가 섞인 롤아웃 모두에서 훈련된다.

베이스라인

본 연구는 VENOM을 다음 모델들과 비교한다:

1. TWIST2 베이스라인: 동일한 지도 학습 프레임워크를 사용하여 VENOM 데이터셋 상에서 (단일 로봇 또는 다중 로봇으로) 훈련된 MLP 기반 모델들.
2. RL 전문가(RL Experts): TWIST2 프레임워크 내에서 직접 훈련된 비대칭 액터-크리틱 모델로, 성능의 상한선(upper bound) 역할을 한다.

주요 결과

스케일링 및 아키텍처

• 다중 로봇 일반화: 여러 로봇에 대해 훈련되었을 때, MLP 기반의 TWIST2 베이스라인은 부정적 전이(negative transfer)를 겪으며 참조 모션을 추적하는 동안 로봇을 안정화하는 데 실패했다. 반면, 트랜스포머 기반의 VENOM은 서로 다른 체형 간에 성공적으로 일반화되었다.
• 노이즈 견고성: VENOM-noisy 모델(노이즈가 섞인 롤아웃으로 훈련됨)은 깨끗한 데이터로만 훈련된 모델보다 우수한 모션 트래킹 능력을 보여주었다. 노이즈의 포함은 정책을 미개척된 관측 영역에 노출시켜 견고성을 향상시켰다.
• 성능 지표: Unitree G1에서 VENOM-noisy는 0.1052 라디안의 RMS 관절 트래킹 오차를 달성하여, 다중 로봇 MLP 베이스라인(0.1686)을 능가하고 단일 로봇 MLP 베이스라인(0.1067)과 대등한 성능을 보였다.

모션 트래킹 및 안정성

• 관절 트래킹: VENOM 모델은 다양한 행동 카테고리(운동적 동작, 웅크리기, 댄싱, 호핑, 보행)에서 일관되게 다중 로봇 MLP 베이스라인보다 높은 관절 트래킹 정확도를 보였다.
• 안정성 vs. 지도 학습: VENOM-noisy가 높은 성공률(92–100%)과 낮은 드리프트(drift)를 달-성하여 다른 지도 학습 모델보다 우수했지만, RL 전문가의 모션 안정성에는 완전히 미치지 못했다. RL 전문가는 더 높은 성공률과 더 낮은 루트 에러율을 달성하였는데, 이는 보상 피드백 없이 지도 학습에만 의존할 때 발생하는 모션 충실도(fidelity)와 안정성 사이의 트레이드오프를 시사한다.
• 한계점: 모든 모델(RL 전문가 포함)은 비행 단계(flight phase)가 포함된 매우 역동적인 동작(예: 점프, 스프린트)에서 어려움을 겪었으며, 안정성을 확보하기 위해 지면 접촉을 유지하는 행동을 학습하는 경향이 있었다.

의의 및 주장

본 논문은 VENOM을 상체와 하체 제어를 분리하지 않고 작동하는 최초의 다중 휴머노이드 전신 모션 트래킹 모델로 규정한다. 주요 기여는 다음과 같다:

1. 데이터셋 큐레이션: 전문가 모방을 통해 생성된 대규모 다중 체형 데이터셋인 VENOM 데이터셋을 구축하여, 다재다능한 모션 트래커를 훈련하기 위한 기반을 마련했다.
2. 파운데이션 모델의 생존 가능성: 다양한 노이즈 데이터 기반의 지도 학습을 통해 훈련된 GPT 기반 파운데이션 모델이 전통적인 MLP 베이스라인을 능가하는 교차 체형 전신 모션 트래킹 능력을 달성할 수 있음을 입증했다.
3. 지도 학습 vs. RL 간극: 지도 학습과 RL 전문가 사이의 격차를 정량화했다. 저자들은 지도 학습이 전문가의 능력을 상당 부분 회복할 수 있지만, 현재로서 특히 매우 역동적인 작업에서 모션 안정성을 희생해야 하는 타협이 존재함을 보여준다.

저자들은 VENOM이 일반화 가능한 저수준 제어를 향한 중요한 진전이지만, 향후 연구에서는 모션 트래킹을 위한 직접적인 RL 훈련, 임의의 형태(morphology)를 처리하기 위한 온라인 리타겟팅 정책, 그리고 역동적인 비행 단계 동작을 위한 개선된 예측 지평(prediction horizons)에 대한 탐구가 필요하다고 결론지었다.