기술 요약: MotionWAM

문제 정의

현재의 자율 휴머노이드 로코-매니퓰레이션(loco-manipulation) 시스템은 주로 상체와 하체를 분리하는 계층적 패러다임에 의존하고 있습니다. 이러한 설정에서 고수준 매니퓰레이션 정책은 팔을 위한 세밀한 관절 목표를 생성하는 반면, 저수준 컨트롤러는 다리를 위한 거친 베이스 명령(속도, 높이, 방향)을 추적합니다. 이러한 아키텍처는 로봇의 액션 공간을 불일치하게 만들어, 다리를 수동적인 균형 유지에만 국한시키고 태스크 중심의 발 상호작용(예: 페달을 밟거나 공을 차는 동작)을 방해합니다.

**월드 액션 모델(World Action Models, WAMs)**은 비디오 역학 사전 지식(priors)을 정책에 결합함으로써 테이블탑 매니퓰레이션에서 가능성을 보여주었으나, 기존 구현체들은 실시간 제어를 하기에는 너무 느립니다. 이들은 고차원 비디오-액션 잠재 공간(latents)에 대해 반복적인 디노이징(denoising) 과정을 거치는데, 이는 동적인 균형 잡기 수행 중인 휴머노이드에 폐쇄 루프(closed-loop) 배포를 가로막는 계산 병목 현상을 생성합니다. 핵심 과제는 실시간 추론 속도를 유지하면서도, 통합된 잠재 공간(unified latent space) 내에서 WAM의 풍부한 역학 사전 지식을 휴머노이드 전신 제어에 배포하는 것입니다.

방법론: MotionWAM

MotionWAM은 단일 1인칭 시점(egocentric) 카메라로부터 자율 휴머노이드 로코-매니퓰레이션을 구동하기 위해 설계된 엔드 투 엔드 월드 액션 모델입니다. 이 모델은 상하체 분리 구조를 대신하여, 보행, 몸통 움직임, 높이 조절, 발 상호작용 및 손 매니퓰레이션을 동시에 다루는 전신 움직임을 예측하는 **통합 모션 잠재 공간(unified motion latent)**을 사용합니다.

1. 모델 아키텍처

MotionWAM은 이중 DiT(Diffusion Transformer) 프레임워크를 채택합니다:

• 비디오 DiT (Video DiT): Cosmos-Predict2.5-2B로부터 초기화된 이 브랜치는 1인칭 시점의 조건부 프레임과 미래 프레임을 잠재 공간으로 압축합니다. 결정적으로, 모델은 전체 디노이징 과정을 기다리는 대신, 순수 노이즈 근처의 고정된 플로우 타임스텝($\tau_f \approx 1$)에서 속도 네트워크의 은닉 상태($h^{\tau_f}_t$)를 가로챕니다. 이 "원샷 이매지네이션(one-shot imagination)" 방식은 반복적인 디노이징의 계산 비용 없이 장면이 어디로 향하고 있는지를 인코딩합니다.
• 모션 DiT (Motion DiT): 이 브랜치는 중간 단계의 비디오 DiT 특징과 고유 수용 감각(proprioceptive) 상태, 그리고 노이즈가 섞인 모션 토큰을 입력받아 모션 잠재 공간의 속도장을 예측합니다.
• 통합 잠재 공간 ($m_t$): 출력값은 다음과 같이 구성된 통합 모션 잠재 공간입니다:
  • 정교한 손/그리퍼 명령을 위한 연속 벡터 ($m^{cont}_t$).
  • 보행, 몸통, 높이 및 발 상호작용 의도를 요약하는 스칼라 슬롯($\tilde{k}_t$)에서 유도된 이산 토큰 인덱스 ($k_t$). 이 토큰은 전신 컨트롤러인 SONIC에 의해 관절 명령으로 디코딩됩니다.

2. 3단계 학습 프레임워크

비디오 월드 모델을 1인칭 시점의 역학 및 특정 휴머노이드 형태(embodiment)에 적응시키기 위해, 저자들은 점진적인 학습 레시피를 제안합니다:

• 1단계: 1인칭 시점 비디오 사전 학습: 비디오 DiT를 약 2,136시간의 1인칭 시점 인간 및 휴머노이드 로봇 비디오 데이터로 단독 학습시킵니다. 이는 액션 라벨이 있는 데이터의 부족함에 구애받지 않고, 월드 모델의 분포를 1인칭 시점의 시각적 역학으로 이동시킵니다.
• 2단계: 교차 형태(Cross-Embodiment) 액션 사후 학습: 모션 DiT를 부착하고 다양한 엔드 이펙터와 주석 형식을 가진 Unitree G1 데이터를 혼합하여 공동 학습시킵니다. 이때 비디오 목적 함수를 유지하여 역학 사전 지식이 덮어씌워지는 것을 방지함으로써, 서로 다른 형태 간에 액션 신호를 접지(grounding)합니다.
• 3단계: 전신 미세 조정(Whole-Body Fine-Tuning): 대상 모델인 Unitree G1에서 수집된 텔레오퍼레이션(원격 제어) 전신 데모를 통해 전체 모델을 미세 조정합니다. 액션 출력은 통합 전신 모션 토큰으로 전환되어 엔드 투 엔드 제어를 가능하게 합니다.

주요 기여

1. MotionWAM 아키텍처: 비디오 월드 모델의 중간 디노이징 특징에 정책을 조건화하여, 단일 액션 공간 내에서 전신 제어를 가능하게 하는 실시간 WAM을 구현했습니다.
2. 통합 모션 잠재 공간: 분리된 상하체 정책을 통합 모션 토큰으로 대체함으로써, 하체가 단순히 베이스를 안정화하는 것을 넘어 태스크에 능동적으로 참여(예: 발로 차기, 밟기)할 수 있도록 했습니다.
3. 3단계 학습: 일반적인 1인칭 시점 역학에서 특정 형태의 액션 접지로, 그리고 다시 태스크 특화 미세 조정으로 이어지는 점진적 학습 프레임워크를 제시했습니다.
4. 실시간 전신 제어: 발 상호작용을 포함한 태스크 중심의 발 행동까지 수행할 수 있는, 최초의 폐쇄 루프 엔드 투 엔드 WAM 기반 휴머노이드 로코-매니퓰레이션 정책입니다.

실험 결과

저자들은 허리 제어, 높이 조절, 스쿼트 보행, 발 상호작용 및 신체-손 협응이 필요한 9가지 실제 환경의 Unitree G1 태스크에서 MotionWAM을 평가했습니다.

• 베이스라인 대비 성능: MotionWAM은 최신 시각-언어-액션(VLA) 모델(GR00T-N1.7, $\pi_0.5$) 및 커스텀 절제 실험 모델을 포함한 5개의 베이스라인과 비교되었습니다. MotionWAM은 76.1%의 전체 성공률을 기록하며, 가장 강력한 베이스라인(76.1% 대 43.9%로 GR00T-N1.7)을 크게 앞질러 30% 이상의 절대적 이득을 보여주었습니다.
• 태스크별 이득: 성능 격차는 전신 협응이 필요한 태스크, 예를 들어 Kick Soccer (+40%), Load Cart (+40%), Wipe Board (+45%) 등에서 가장 두드러졌습니다. VLA 전용 베이스라인은 보행 비중이 높은 태스크에서 성능이 무너졌으며, 이는 의미론적 사전 지식만으로는 폐쇄 루프 물리 제어가 불충분함을 나타냅니다.
• 절제 연구: 1단계(1인칭 시점 사전 학습) 또는 2단계(교차 형태 접지)를 제거했을 때 성능이 각각 11%와 28% 유의미하게 하락하여, 점진적 학습 전략의 필요성을 입증했습니다.
• 실시간 추론: MotionWAM은 NVIDIA A100에서 4.9 Hz로 실행됩니다. 이는 반복적인 디노이징을 피함으로써 다른 월드 모델 기반 정책(예: Cosmos Policy의 0.7 Hz)보다 훨씬 빠르며, 휴머노이드의 균형 제어를 위한 폐쇄 루프 제어에 적합합니다.

의의 및 주장

본 논문은 비디오로 사전 학습된 WAM이 테이블탑 매니폴레이션에서 조화롭고 인간과 유사한 전신 휴머노이드 제어로 확장될 수 있음을 입증한다고 주장합니다. 중간 디노이징 특징을 활용함으로써, 모델은 대규모 비디오 모델의 풍부한 역학 사전 지식과 균형 잡는 휴머노이드의 실시간적이고 안전이 중요한 요구 사항 사이의 간극을 성공적으로 메웠습니다. 이 연구는 통합된 액션 공간이 비디오 월드 역학에 조건화될 때, 로봇이 단순히 상체 조작에 국한되지 않고 환경과 상호작용하기 위해 신체 전체(발 포함)를 능동적으로 사용할 수 있는 경로가 될 수 있음을 시사합니다.

한계점

저자들은 3단계 미세 조정이 Unitree G1 형태에 대해서만 검증되었으며, 이 레시피의 다른 하드웨어 플랫폼으로의 전이 가능성은 아직 확인되지 않았음을 인정합니다. 또한, 훈련 및 테스트 객체가 시각적 유사성을 공유했기 때문에 새로운 객체 일반화에 대한 통제된 연구가 포함되지 않았습니다. 또한, 시스템이 단일 1인칭 시점 카메라에 의존하므로, 조작 중인 물체가 시야를 벗어나거나 뷰포인트가 훈련 분포에서 크게 벗어날 경우 실패 모드가 발생할 수 있습니다.