기술 요약: Wh0 - 확장 가능한 에고센트릭(Egocentric) 인간 손 조작 데이터의 원천으로서의 생성적 월드 모델

1. 문제 정의

로봇 공학에서 숙련된 조작(dexterous manipulation)을 확장하기 위해서는 다양한 객체, 장면, 작업에 걸친 일반화가 필요합니다. 그러나 기존의 데이터 소스는 다음과 같은 **규모(scale)**와 정렬(alignment) 사이의 근본적인 트레이드오프 문제에 직면해 있습니다:

• 원격 조작(Teleoperation) 데이터: 로봇 배포 환경(장면 및 형태/embodiment)과 잘 정렬되어 있지만, 수집 비용이 많이 들고 규모를 키우는 데 한계가 있습니다.
• 시뮬레이션(Simulation): 매우 확장 가능하지만, 심한 심투리얼(sim-to-real) 간극 문제를 겪습니다.
• 실제 에고센트릭 비디오: 규모 확장이 용이하고 풍부한 인간-객체 상호작용 사전 지식(prior)을 제공하지만, 장면 간극(인간의 환경과 로봇의 작업 공간이 다름) 및 형태 간극(인간의 손과 숙련된 로봇 손이 다름) 문제를 겪습니다.

대규모 인간 비디오로 사전 학습된 경우가 많은 기존의 시각-언어-행동(VLA) 모델은 이러한 불일치로 인해 숙련된 로 로봇 배포로 사전 지식을 전이하는 데 어려움을 겪습니다. 본 논문은 이상적인 데이터 소스가 확장 가능하면서도 배포 환경에 정렬되어야 하며, 비용이 많이 드는 인간 데이터 수집에 대한 의존도를 최소화해야 한다고 주장합니다.

2. 방법론: Wh0 프레임워크

저자들은 생성적 비디오 월드 모델을 제어 가능하고 확장 가능한 에고센트릭 인간 손 조작 데이터 합성 소스로 활용하는 Wh0 프레임워크를 제안합니다. Wh0는 월드 모델을 로봇 역학을 시뮬레이션하거나 미래 상태를 예측하는 데 사용하는 대신, 언어, 객체, 장면에 따라 조건화된 다양한 인간-객체 상호작용 비디오를 생성하는 데 사용합니다.

A. WM-H 데이터셋 구축

Wh0는 50,000개의 에피소드로 구성된 에고센트릭 인간-객체 상호작용 비디오 데이터셋인 WM-H를 구축합니다. 합성 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 지시문 생성(Instruction Generation): 이중 에이전트 시스템이 다양성과 빈도의 균형을 맞춥니다. 한 에이전트는 객체 명사와 속성 형용사를 발견하고, 두 번째 에이전트는 미흡하게 표현된 단어들을 샘플링하여 자연어 명령(예: "빨간색 머그컵을 집으세요")을 조합합니다. 이를 통해 (객체, 속성) 조합의 폭넓은 커버리지를 보장합니다.
2. 장면 및 형태 정렬 비디오 합성:
   • 장면 정렬(Scene Alignment): 대상 로봇 작업 공간의 배포 카메라를 사용하여 배경 이미지를 캡처함으로써 시점, 해상도 및 미터법 척도를 일치시킵니다. 스케일 앵커로서 인간의 손을 배치합니다. 이미지 편집 모델(Qwen-Image-Edit)을 사용하여 이 장면들에 객체를 삽입합니다.
   • 비디오 생성(Video Generation): 이미지-투-비디오 모델(Wan-I2V-A14B)이 언어 지시에 따라 편집된 장면을 애니메이션화합니다. 동작의 정확성을 높이기 위해, 시각-언어 모델(Qwen3-VL)이 프롬프트에 추가할 예상 상태 변화에 대한 설명을 생성합니다.
   • 형태 정렬(Embodiment Alignment): 인간과 로봇 손 사이의 간극을 메우기 위해, 선택된 프레임의 인간 손을 실제적인 로봇 손으로 교체하는 동시에 원래의 포즈, 위치 및 객체의 움직임을 유지합니다. 이는 정책이 실행기의 정체성이 아닌 동작의 의미론(semantics)을 학습하도록 유도합니다.
3. 손 동작 추출(Hand Motion Extraction): 인간 손 재구성이 로봇 손 재구성보다 성숙하기 때문에, 시스템은 합성된 인간 손 비디오에서 3D 손 포즈를 추출합니다. HaWoR를 사용하여 시스템은 카메라 공간에서의 MANO 파라미터와 손목 포즈를 재구성하여 명시적인 동작 감독(supervision) 역할을 수행하게 합니다.
4. 데이터셋 출력: 결과물인 WM-H는 언어 지시문, 3D 손 포즈 주석, 정렬된 시각 데이터를 포함하는 50,000개의 에피소드를 담고 있습니다. 생성 비용은 비디오 1,000개당 약 5.44 GPU-시간입니다.

B. 정책 학습 전략

Wh0는 사전 학습된 VLA 모델을 적응시키기 위해 공동 학습(co-training) 전략을 사용합니다:

• 아키텍처: 정책은 시각-언어 인코딩을 위한 PaliGemma 백본과 확산 기반(diffusion-based) 동작 디코더를 사용하는 VITRA 스타일의 아키텍처를 따릅니다. 동작 공간은 통합된 MANO 공간(102 차원)으로 정의되어, 로봇 관절을 인간 손 파라미터로 리타겟팅할 수 있게 합니다.
• 학습 혼합(Training Mixture): 모델은 대규모 인간 비디오(Ego4D, Epic-Kitchens 등)로 사전 학습된 VITRA 백본으로 초기화됩니다. 그 후 다음의 혼합 데이터로 미세 조정됩니다:
  • 제한된 실제 원격 조작 데이터: 배포 특정 제약 조건을 제공하기 위한 400개의 전문가 궤적 (배치의 28%).
  • WM-H 데이터: 시각적 및 의미적 다양성을 제공하기 위한 50,000개의 합성 샘플 (배치의 68%).
  • 형태가 정렬된 프레임: 로봇 손이 편집되어 들어간 WM-H 프레임의 하위 집합 (배치의 4%).
• 목표: 이 접근 방식은 통합된 동작 공간을 통해 인간의 조작 사전 지식과 로봇 실행 제약을 연결하는 것을 목표로 합니다.

3. 주요 기여

1. 데이터 엔진으로서의 생성적 월드 모델: 본 논문은 생성적 비디오 월드 모델을 단순한 역학 시뮬레이터가 아니라, 장면, 객체, 형태가 설계 변수로 작용하는 확장 가능하고 제어 가능한 인간 손 조작 데이터의 생성기로 재정의합니다.
2. WM-H 데이터셋: 규모와 낮은 장면 및 형태 간극을 독특하게 결합하여, 다양한 객체, 레이아웃 및 손-객체 상호작용을 특징으로 하는 5만 개의 샘플 데이터셋을 구축했습니다.
3. 공동 학습 프레임워크: 제한된 실제 로봇 데이터와 대규모 합성 인간 손 데이터를 함께 학습시키는 새로운 전략을 제시하며, 이 조합이 로봇 데이터만으로는 도달할 수 없는 사전 학습된 조작 능력을 끌어낼 수 있음을 입증했습니다.
4. 정렬 기술: 로봇 작업 공간(배경 캡처를 통한 장면 정렬)과 로봇 형태(로봇 손 편집을 통한 형태 정렬)에 생성된 비디오를 정렬하여 심투리얼(sim-to-real) 간극을 최소화하는 구체적인 방법을 제시합니다.

4. 실험 결과

본 프레임워크는 18가지의 실제 세계 숙련 조작 작업(예: 잡기, 놓기, 도구 사용)에 대해 미지의 객체와 환경을 대상으로 Unitree G1 휴머노이드 및 Inspire 데크스터러스 핸드에서 평가되었습니다.

• 성능 향상: 로봇 원격 조작 데이터만으로 사후 학습된 강력한 VLA 베이스라인(VITRA, 제로샷 성공률 8.3%)과 비교했을 때, Wh0 프레임워크는 성공률을 **38.9%**로 향상시켰습니다 (4.7배 증가).
• 어블레이션 연구(Ablation Studies):
  • 정렬(Alignment): 장면 정렬 또는 형태 정렬을 제거하면 성능이 크게 저하되었으며, 이는 두 요소 모두 성공의 핵심 동력임을 확인시켜 줍니다.
  • 규모(Scale): WM-H 데이터셋의 크기를 늘림에 따라(5k에서 50k로), 그라운딩 지표와 작업 성공률이 일관되게 향상되었습니다.
  • 사전 학습된 사전 지식(Pretraining Priors): 분석 결과, 인간 비디오 사전 학습이 필수적임을 보여주었습니다. 사전 학습 없이는 원격 조작과 WM-H를 사용하더라도 성공률이 거의 제로에 머물렀습니다. 이는 WM-H가 숙련된 기술을 처음부터 가르치는 것이 아니라, 이미 획득한 인간의 조작 사전 지식을 활성화하고 정렬하는 역할을 한다는 것을 나타냅니다.
• 비교: Wh0는 공동 학습을 위해 실제 에고센트릭 인간 비디오(HOI4D)를 사용한 베이스라인보다 우수한 성능을 보였으며, 이는 월드 모델으로 생성된 데이터가 로봇 실행에 더 적합한 감독(supervision)을 제공함을 시사합니다.

5. 의의 및 주장

본 논문은 생성적 월드 모델을 활용하여 숙련된 조작을 확장하는 실행 가능한 경로를 보여준다고 주장합니다. 핵심적인 의의는 확장 가능한 생성과 배포 정렬의 결 combination이 로봇 공학의 데이터 부족 병목 현상을 극복할 수 있음을 보여준 데 있습니다.

저자들은 다음과 같이 단언합니다:

• 생성적 월드 모델은 대규모의 인간 노동 수집을 대체하는 "컴퓨팅 기반" 데이터 소스로 기능할 수 있습니다.
• WM-H의 주요 가치는 새로운 기술을 처음부터 배우는 것이 아니라, VLA 모델이 대규모 인간 비디오 사전 학습 중에 이미 습득한 조작 사전 지식을 활성화하고 정렬하는 데 있습니다.
• 이 접근 방식은 로봇이 실제 세계에서 미지의 작업, 환경 및 지시에 대해 제로샷 일반화를 수행할 수 있도록 합니다.

인정된 한계점:
본 논문은 비디오 생성 품질(물리적 불가능성 가능성), 손 재구성 정확도(폐쇄/occlusion), 인간-로봇 형태 불일치, 그리고 강력한 인간 비디오 사전 학습에 대한 의존도에 의해 접근 방식이 제한될 수 있음을 언급합니다. 현재 범위는 단일 팔의 pick-and-place 작업에 국한되어 있으며, 양팔 및 긴 호흡의 작업(long-horizon tasks)을 향후 과제로 식별하였습니다.