기술 요약: AnyWorld: 교차 체형 일반화를 위한 인수형 에고센트릭 월드 모델 (Factorized Egocentric World Models for Cross-Embodiment Generalization)

1. 문제 정의

일반화 가능한 로봇 조작의 핵심적인 병목 현상은 대규모의 접촉이 풍부한(contact-rich) 로봇 경험의 부족입니다. 현대의 로봇 학습은 대규모 시각-행동 데이터셋으로부터 이득을 얻지만, 이러한 데이터를 물리적 로봇에서 수집하는 것은 비용이 많이 들고, 하드웨어에 종속적이며, 다양한 장면과 체형(embodiment)에 걸쳐 확장하기 어렵습니다. 인간의 에고센트릭(egocentric) 비디오는 풍부한 물리적 상호작용을 제공하지만, 이는 특정 신체, 카메라 궤적, 환경에 묶여 있어 매우 좁은 범위의 경험만을 나타냅니다.

본 연구가 다루는 핵심 과제는 **제로샷 경험 재구성(zero-shot experience recomposition)**입니다. 즉, 단일한 인간 에고센트릭 상호작용 비디오를 쌍을 이루는 인간-로봇 데모 없이도 다양한 로봇 네이티브 시각 경험으로 변환하는 것입니다. 목표는 기록된 인간의 상호작용을 재사용 가능한 '시드(seed)'로 취급하여, 근본적인 상호작용 역학(dynamics)은 유지하면서 행동하는 신체, 시점, 장면 맥락을 변화시킴으로써 여러 로봇 도메인의 롤아웃(rollout)으로 확장하는 것입니다.

2. 방법론: AnyWorld

AnyWorld는 상호작용을 행동(Action), 카메라(Camera), **체형(Embodiment)**이라는 세 가지 독립적인 요소로 분해하는 교차 체형 월드 모델링 프레임워크입니다.

2.1 분해 전략 (Factorization Strategy)

모델은 생성 과정을 세 가지 제어 가능한 요소로 분해합니다:

• 행동 제어 ($A_{1:T}$): 픽셀 공간에서의 렌더링된 스켈레톤 제어 비디오로 표현됩니다. 이는 이미지 평면 내에서 움직임이 발생하는 위치를 지정하며, 관절 명령이나 특정 행동 벡터보다 인간과 로봇 신체 간에 공유하기 쉬운 체형 불가지론적(embodiment-agnostic) 인터페이스를 제공합니다.
• 카메라 제어 ($C_{1:T}$): 카메라 내적 및 외적 파라미터로부터 구축되어 **플뤼커 광선 임베딩(Plücker ray embeddings)**으로 변환됩니다. 이를 통해 모델은 행위자의 움직임과 카메라의 움직임을 분리할 수 있으며, 행동과 독립적인 시점 진화를 가능하게 합니다.
• 체형 맥락 (Embodiment Context): 초기 프레임($\tilde{I}^e_0$)과 텍스트 태그($\tau_e$)로 지정됩니다. 초기 프레임은 롤아웃 시작 시점의 대상 신체의 외형, 장면 레이아웃, 객체 구성 및 상호작용 기하 구조를 정의합니다. 텍스트 태그는 특정 체형(예: 인간, RoboCasa GR1, IRON)을 식별합니다.

2.2 모델 아키텍처

AnyWorld는 잠재 확산 비디오 모델(latent diffusion video model)(DiT 블록 기반)로 구현되었습니다.

• 입력 컨디셔닝 (Input Conditioning):
  • 행동 제어 비디오는 인코딩되어 노이즈가 섞인 비디오 잠재 변수와 채널 차원에서 결합됩니다.
  • 카메라 제어는 경량 어댑터를 통과하여 가산적 기하 신호(additive geometric signal)로서 패치 임베딩에 더해집니다.
  • 체형 태그와 캡션은 텍스트 임베딩으로 인코딩되어 **교차 주의 집중(cross-attention)**을 통해 트랜스포머 블록에 주입됩니다.
• 학습 체계 (Training Regime):
  1. 1단계 (사전 학습): 모델은 강력한 행동-카메라 조건부 사전 지식을 학습하기 위해 대규모 에고센트릭 인간 상호작용 데이터(EgoDex)로 사전 학습됩니다.
  2. 2단계 (미세 조정): 모델은 인간, RoboCasa GR1, IRON 로봇으로부터 얻은 비쌍(unpaired) 데이터를 사용하여 혼합 체형 미세 조정을 거칩니다. 결정적으로, 쌍을 이루는 인간-로봇 클립은 사용되지 않습니다. 모델은 공유된 분해 인터페이스를 통해 서로 다른 체형의 외형을 호환 가능한 상호작용 역학과 연관시키는 법을 배웁니다.

2.3 추론 및 재구성

추론 시, AnyWorld는 제로샷 재구성을 지원합니다. 소스 인간 비디오가 주어지면 행동 및 카메라 제어가 추출됩니다. 초기 프레임은 새로운 대상 시각적 맥락(신체, 장면 또는 둘 다 변경)을 지정하도록 편집되며, 체형 태그도 업데이트됩니다. 그 후 모델은 원래의 상호작용 구조를 유지하면서 새로운 체형과 시점에 적응하는 대상 도메인 롤아웃($\hat{V}^e_{1:T}$)을 생성합니다.

다운스트림 정책 학습을 위해, 시스템은 **결합 시각-행동 경험 재구성(Joint Visual–Action Experience Recomposition)**을 수행합니다. 이는 시각적 관찰을 재구축할 뿐만 아니라, 행동 교정 모듈을 사용하여 인간의 손목 궤적을 대상 로봇의 상대적 말단 장치(end-effector) 행동 공간으로 매핑함으로써 쌍을 이루는 $(\text{observation}, \text{action})$ 데이터를 생성합니다.

3. 주요 기여

1. 정식화: 본 논문은 교차 체형 경험 재구성을 월드 모델링 문제로 정식화하여, 쌍을 이루는 데모 없이도 단일 인간 상호작용을 여러 로봇 네이티브 롤아웃으로 확장할 수 있게 했습니다.
2. 모델 아키텍처: 제어 가능한 롤아웃 생성을 위해 행동 제어, 카메라 제어, 대상 체형-맥락 컨디셔닝을 결합한 분해된 비디오 확산 모델인 AnyWorld를 도입했습니다.
3. 실증적 검증: 생성된 로봇 도메인 롤아웃이 시뮬레이션(RoboCasa GR1)과 실제 환경(IRON) 모두에서 다운스트림 시각-언어-행동(VLA) 적응 성능을 향상시킨다는 것을 입증했습니다. 또한, 통제된 개입을 통해 생성된 데이터가 특정 정책 실패(예: 허구적 완료 사전 확률)를 수정하고 언어 기반 공간 타겟 선택을 전이할 수 있음을 보여주었습니다.

4. 실험 결과

저자들은 월드 모델링 제어 가능성과 다운스트림 VLA 적응이라는 두 가지 관점에서 AnyWorld를 평가합니다.

4.1 제어 가능성 및 품질

• 제어 가능성: 60개의 비디오 벤치마크에서 AnyWorld는 ActionAlign, CameraAlign, EmbodAcc(체형 정확도) 측면에서 베이스라인(Cosmos-Predict2.5 및 WAN Fun-Control)보다 우수한 성능을 보였습니다. 분해된 접근 방식은 평균 점수 0.778을 달성하여 베이스라인보다 현저히 높았으며, 이는 행동, 시점 및 신체에 대한 탁월한 제어 능력을 입증합니다.
• 비디오 품질: VBench 메트릭을 사용했을 때, AnyWorld는 강력한 피사체 일관성, 배경 일관성 및 움직임 부드러움을 유지하며 평균 점수 0.971을 기록하여 베이스라인과 대등하거나 약간 더 나은 성능을 보였습니다.

4.2 다운스트림 VLA 적응

• 시뮬레이션 (RobicoCasa GR1): AnyWorld 생성 데이터를 UniT 베이스라인에 추가했을 때, 18개 pick-and-place 작업의 성공률이 49.8%에서 54.6%로 향상되었습니다.
• 실제 로봇 (IRON): 다양한 배경에서의 20회 바나나 잡기 실험에서 성공률이 20.0%에서 55.0%로 향상되었습니다.
• 데이터 비율에 대한 절제 실험 (Ablation on Data Ratio): 미세 조정 중 인간 대 로봇 데이터의 2:1 혼합 비율이 행동 다양성과 로봇 도메인 접지(grounding) 사이의 최적의 균형을 제공했습니다.

4.3 타겟 능력 전이

본 논문은 재구성된 데이터가 특정 정책의 격차를 해결할 수 있음을 보여줍니다.

• 상태 조건부 수리 (State-Conditional Repair): 베이스라인 정책은 "부분 완료"(객체가 이미 배치된 상태) 상태에서 멈췄습니다. 이러한 누락된 상태로 인간 데모를 재장면화(re-scening)하고 이를 교정된 행동과 쌍을 이루게 함으로써, 정책이 작업을 재개하고 완료할 수 있도록 했습니다.
• 역사실적 접지 (Counterfactual Grounding): 언어 기반 공간 선택을 테스트하기 위해, 저자들은 상반된 지침을 가진 이중 타겟 관찰을 생성했습니다. "행동 전용" 개입(행동은 변경하되 원래의 단방향 관찰은 유지)은 안정적인 지시 이행을 학습하는 데 실패했습니다. 오직 결합 시각-행동 재구성(시각적 상태와 행동을 모두 변경)만이 언어에 따라 타겟을 안정적으로 전환할 수 있게 했습니다.

5. 의의 및 주장

본 논문은 AnyWorld가 로봇 학습을 위한 확장 가능한 경험 엔진 역할을 한다고 주장합니다. 주요 의의는 값비싼 쌍을 이루는 인간-로봇 데모 없이도 풍부하고 비쌍인 인간 상호작용 비디오를 유용한 로봇 네이티브 훈련 데이터로 변환한다는 점에 있습니다.

저자들은 다음을 강조합니다:

• 시각적 재구성이 필수적임: 행동 전용 역사실적 개입의 실패는 단순히 행동을 재라벨링하는 것만으로는 불sufficient하며, 로봇이 행동 및 지시와 일치하는 로봇 네이티브 시각 상태에 접지되어야 함을 증명합니다.
• 일반화: 이 프레임워크를 통해 단일 모델이 신체, 시점, 장면 전반에 걸쳐 제어 가능한 재구성을 지원할 수 있으며, 결과적으로 인간 비디오를 다양한 로봇 경험을 위한 재사용 가능한 시드로 바꿀 수 있습니다.
• 실질적 영향: 생성된 데이터는 실제 로봇 정책의 강건성과 능력을 직접적으로 향상시켜, 접촉이 풍려한 조작 분야의 데이터 부족 병목 현상을 해결합니다.

6. 한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 촉각 피드백: 시각적 롤아웃은 정밀한 제어에 필요한 촉각 피드백이나 접촉력을 완전히 포착할 수 없습니다.
• 추출 신뢰성: 이 방법은 신뢰할 수 있는 행동-카메라 추출에 의존합니다. 심한 폐쇄(occlusion), 빠른 움직임, 추적 오류 또는 카메라 흔들림은 제어 가능성을 저하시킬 수 있습니다.
• 범위: 현재의 평가는 세 가지 체형(Human, GR1, IRON)만을 다루고 있어, 다른 형태학(morphologies) 및 장기 실행(long-horizon) 작업에 대한 더 넓은 일반화는 향후 과제로 남겨두었습니다.