RoboDream: Compositional World Models for Scalable Robot Data Synthesis

기술 요약: RoboDream

문제 정의

로봇 학습의 스케일링은 현재 고품질의 다양한 상호작용 데이터의 부족으로 인해 병목 현상을 겪고 있습니다. 모방 학습은 원격 조종 데모에 크게 의존하지만, 이러한 데이터를 대규모로 수집하는 것은 비용이 매우 많이 들고 노동 집약적이며, 다양한 환경과 물체에 걸쳐 다양성을 확보하기 어렵습니다. 데이터 합성을 위한 기존의 생성 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 시각적 증강(Visual Augmentation): 질감이나 배경만을 다양화하는 방식은 새로운 물리적 상호작용을 생성하지 못합니다.
• 엠보디먼트 환각(Embodiment Hallucinations): 텍스트로부터 전체 비디오를 생성하는 방식은 물리적으로 불가능한 움직임을 생성하거나 일관되지 않은 로봇 형태를 만들어내어, 실제 하드웨어에서의 정책 실패를 초래합니다.
• 일반화 능력 부족: 기존의 모션 조건부 방식(예: AnchorDream)은 물리적 타당성을 보장하지만, 유효한 상호작용을 생성하기 위해 도메인 내 데이터에 대한 태스크별 미세 조정(fine-tuning)이 필요하며, 이는 새로운 시나리오마다 새로운 데이터 수집이 선행되어야 하는 의존성을 만듭니다. 또한, 생성된 장면이나 물체에 대한 명시적인 제어 능력이 제한적입니다.

방법론

RoboDream은 로봇의 움직임 생성과 컨텍스트 생성을 분리하도록 설계된, 일반화 가능하고 엠보디먼트 중심적인 월드 모델입니다. 핵심 통찰은 동작(actions), 물체(objects), 그리고 장면(scenes)이 서로 구별되며 재조합 가능한 요소라는 점입니다.

아키텍처

이 모델은 다중 모달 비디오 확산 트랜스포머(multi-modal video diffusion transformer)로, 조건부 분포 $p_\theta(o_{1:T} | v_{rob}, I_s, I_o, \ell, \tau)$를 근사합니다. 모델은 다음 세 가지 명시적 입력에 따라 생성을 조건화합니다:

1. 렌더링된 로봇 전용 궤적 ($v_{rob}$): 특정 시점에서 렌더링된, 물체나 배경 없이 움직이는 로봇의 비디오로서, 물리적 타당성을 보장하는 운동학적 앵커(kinematic anchor) 역할을 합니다.
2. 장면 사전 정보 ($I_s$): 배경 환경을 나타내는 정지 이미지입니다.
3. 물체 사전 정보 ($I_o$): 태스크 관련 물체의 시각적 외형을 포함하는 이미지입니다.

주요 아키텍처 혁신:

• 다중 모달 채널 확장: 확산 백본(diffusion backbone)은 결합된 잠재 비디오 프레임, 인코딩된 로봇 모션, 그리고 (비디오 길이에 맞춰 시간적으로 확장된) 인코딩된 장면 사전 정보를 입력으로 받습니다.
• 다중 뷰 토큰화(Multi-View Tokenization): 프레임을 공간적으로 결합하는 대신, 각 뷰에 대한 입력을 독립적으로 토큰화하고 이를 쌓는 방식을 사용하여, 기하학적 관점을 보존하면서 효율적인 다중 뷰 생성을 가능하게 합니다.
• 셀프 어텐션을 통한 물체 사전 정보 주입: 물체 사전 정보를 잠재 토큰으로 인코딩하여 트랜스포머의 셀프 어텐션 메커니즘에 직접 주입함으로써, 모델이 장면 내 위치와 상관없이 물체의 세부 사항에 주목할 수 있도록 합니다.
• 교차 어텐션 조건화(Cross-Attention Conditioning): 태스크 지시문(T5를 통해 인코딩됨)과 전역 궤적 상태(MLP를 통해 인코딩됨)를 교차 어텐션을 통해 주입하여 의미론적 및 운동학적 일관성을 확보합니다.

데이터 처리

데이터 쌍은 대규모 데이터셋(예: DROID)으로부터 수동 주석 없이 자동으로 구축됩니다:

• 물체 식별: 시각-언어 모델(GPT-5-nano)이 첫 번째 프레임과 지시문을 바탕으로 태스크 관련 물체를 식별합니다.
• 물체 사전 정보 구축: 식별된 물체를 세그멘테이션(Grounded-SAM)하고 크롭하여 깨끗한 캔버스 위에 무작위로 배치함으로써, 원래 위치에 대한 과적합을 방지합니다.
• 장면 사전 정보 구축: 첫 번째 프레임에서 태스크 관련 물체를 제거하고, 결과적으로 생긴 빈 공간을 인페인팅 모델(OmniPaint)을 사용하여 채움으로써 깨끗한 배경을 생성합니다.

배포 모드

RoboDream은 두 가지 확장 가능한 데이터 생성 패러다임을 지원합니다:

1. 검색 및 재생(Retrieval and Rebirth): 새로운 태스크와 의미론적 유사성이 높은 기존 궤적을 데이터셋에서 검색합니다. 이 궤적들을 로봇 전용 모션 비디오로 렌더링한 후, 새로운 장면 및 물체 사전 정보와 결합하여 새로운 컨텍스트에서 "재생(rebirth)"합니다. 이는 새로운 모션 수집 없이 기존 데이터를 재활용하게 해줍니다.
2. 소품 없는 원격 조립(Prop-Free Teleoperation): 작업자는 실제 세계나 시뮬레이터에서 빈 공기를 조작(판토마임)합니다. 이후 모델이 목표 물체와 장면 상호작용을 환각(hallucinate)하여 생성합니다. 이는 데이터 수집 시 물리적인 리셋과 정밀한 물체 조작의 필요성을 제거합니다.

주요 결과

Franka Panda 로봇을 대상으로 네 가지 조작 태스크(예: 마커를 그릇에 넣기, 테이블 닦기)에 대해 실험을 진행했습니다.

• 정책 성능: 50개의 실제 데모와 100개의 생성된 데모를 결합한 "Gen-Mix" 방식은 평균 성공률 **62.5%**를 달s성하였으며, 이는 50개의 실제 데모만 사용했을 때(36.3%)와 가공되지 않은 추출 데이터를 그대로 사용했을 때(0%)를 크게 상회하는 수치입니다. 가공되지 않은 추출 데이터의 실패는 도메인 차이를 극려하기 위한 "재생(rebirth)" 과정의 필요성을 강조합니다.
• 소품 없는 원격 조립의 효율성: 50개의 소품 없는 궤적을 수집하는 데는 표준적인 실제 원격 조종(리셋 시간으로 인해 2시간 소요)에 비해 55분이 소요되었습니다. 소품 없는 데이터로 학습된 정책은 실제 데이터 베이스라인(36.3%)과 경쟁 가능한 수준의 성공률(평균 32.5%)을 보였으며, 이는 시각적 생성 품질이 학습에 충분함을 입증합니다.
• 스케일링: 생성된 데이터가 추가됨에 따라 성능이 지속적으로 향향되었으며, 실제 데이터 대비 생성 데이터 비율이 1:4(Mix-200)일 때 포화 상태에 도달했습니다. 이는 생성된 데이터가 제한된 실제 데이터셋을 효과적으로 보강함을 나타냅니다.
• 제로샷 일반화: 모델은 태스크별 미세 조정 없이도 새로운 물체, 새로운 장면, 새로운 시점에서의 데모를 성공적으로 합성하였으며, 운동학(kinematics)과 시각적 컨텍스트를 효과적으로 분리해냈습니다.

의의 및 주장

본 논문은 RoboDream이 로보틱스의 "데이터 엔진" 병목 현상을 해결함으로써 확장 가능한 모방 학습을 향한 실질적인 경로를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 움직임과 컨텍스트의 분리: 동작, 물체, 장면을 별개의 입력으로 취급함으로써, 텍스트-투-비디오 모델의 엠보디먼트 환각 문제와 기존 모션 조건부 모델의 미세 조정 의존성 문제를 회피합니다.
2. 제로샷 확장성: 새로운 데이터 수집이나 모델 적응 없이도 보이지 않는 환경과 보이지 않는 물체에 대해 유효한 물리적 상호작용을 합성할 수 있게 합니다.
3. 운영 효율성: "소품 없는 원격 조립" 모드는 물리적인 장면 리셋의 물류적 병목을 제거하여 데이터 수집 워크플로우를 근본적으로 변화시키며, 빠르고 연속적인 데이터 생성을 가능하게 합니다.

저자들은 렌더링된 로봇 궤적이 요구되는 운동학을 충실히 반영한다고 가정한다는 점과, 현재의 생성 품질이 기반이 되는 비디오 확산 백본의 해상도 및 시간적 제한에 묶여 있다는 점을 언급하며 한계점을 인정했습니다. 이들은 향후 인간 비디오 데이터를 통한 스케일링이 견고성을 더욱 향상시킬 수 있을 것이라고 제안했습니다.