기술 요약: µ0: 확장 가능한 3D 상호작용 트레이스 세계 모델 (A Scalable 3D Interaction-Trace World Model)

1. 문제 정의

로봇 학습은 근본적인 "데이터 역설"에 직면해 있습니다. 비디오는 물리적 행동 데이터를 제공하는 확장 가능하고 풍부한 소스이지만, 제어를 위한 가장 효과적인 감독 신호인 '액션 레이블이 포함된 로봇 데이터'는 희소하며, 비용이 많이 들고, 하드웨어 특정적이며, 서로 다른 로봇 형태(embodiment) 간에 호환되지 않습니다.

기존의 세계 모델들은 이 간극을 메우는 데 어려움을 겪고 있습니다:

• 픽셀 공간 비디오 모델: 확장성은 높지만, 모델 용량을 밀도 높은 외형 및 배경 재구성에 소모하여, 조작에 필수적인 메트릭 기하학, 접촉 구조, 폐쇄(occlusion) 패턴을 포착하는 데 실패하는 경우가 많습니다.
• 직접 액션 모델 (예: Vision-Language-Action 모델): 레이블링된 데모의 희소성과 형태 특정성으로 인해 여전히 한계가 있습니다.
• 기존 모션 중심 방법론: 이전의 3D 플로우(flow) 또는 궤적(trajectory) 모델들은 도구 끝단과 같은 중요한 미세 영역을 충분히 샘플링하지 못하거나, 로나/2D 좌표계에서 작동하여 객체의 움직임과 카메라의 움직임을 혼동하거나, 긴 데모를 이벤트 수준의 의도가 아닌 거친 에피소드 수준의 캡션과 결합합니다.

본 논문은 확장 가능한 솔루션을 위해서는 특정 로봇이 '어떻게' 움직이는지와 무관하게 '무엇이' 움직여야 하는지(상호작용 지점)를 설명하면서, 전역 3D 구조를 보존하고 언어와 정렬되는 표현이 필요하다고 상정합니다.

2. 방법론

제안된 솔루션인 µ0는 쿼리 조건부 3D 트레이스 공간 세계 모델입니다. 이는 밀도 높은 픽셀이나 로봇 특유의 액션을 직접 예측하지 않습니다. 대신, 의미론적으로 선택된 상호작용 지점(객체, 도구, 손, 접촉 영역)에 대한 매끄러운 3D 궤적을 예측합니다. 시스템은 두 가지 주요 구성 요소, 즉 TraceExtract(데이터 엔진)와 µ0(세계 모델)로 이루어져 있습니다.

2.1 TraceExtract: 확장 가능한 데이터 파이프라인

TraceExtract는 이질적인 인간 및 로봇 비디오를 이벤트 캡션이 포함된 3D 트레이스 감독 신호로 변환합니다. 이는 세 가지 단계를 통해 기존의 고정 그리드 방식의 한계를 해결합니다:

1. 의미론적 키포인트 샘플링: 균일한 그리드 대신, DINOv2 특징을 사용하여 패치를 엔티티 레벨 그룹으로 클러스터링합니다. 엔티티당 고정된 키포인트 예산을 할당하고, 가시성이 높은 프레임에서 공간적으로 다양한 점들을 선택합니다. 움직임 필터를 통해 정적이거나 배경에 치우친 트랙을 제거하여 상호작용 신호에 집중합니다.
2. 3D 트레이스 구축: 카메라 움직임이 있는 긴 비디오 전반에 걸쳐 전역 3D 일관성을 유지하기 위해, 시스템은 **전역-지역 재구성(global-local reconstruction)**을 채택합니다. 희소한 앵커 프레임을 사용하여 공유된 전역 좌표계를 설정하고, 밀도 높은 로컬 청크를 재구성한 뒤 이를 전역 프레임에 정렬합니다. 트랙은 마지막 유효한 월드 스페이스 위치를 사용하여 청크 경계를 가로질러 전파됩니다. 결과물인 트레이스는 이미지 정렬은 유지하면서 카메라 움직임을 제거하기 위해 각 청크의 참조 카메라로 재투영됩니다.
3. 이벤트 중심 캡셔닝: 긴 데모는 트레이스 가속도를 기준으로 움직임 중심의 이벤트로 분할됩니다. 두드러진 가속도 피크는 액션 앵커를 정의하고, 밸리는 청크 경계를 정의합니다. 시각-언어 모델(VLM)은 이 청크들에 대한 캡션(시작, 중간, 끝)을 생성하며, 이는 텍스트 전용 LLM에 의해 병합되어 미세 조정된 및 거친 작업 요약본을 생성합니다.

2.2 µ0 세계 모델

µ0는 관측값, 언어 지시문, 그리고 선택적 키포인트 히스토리를 기반으로 미래의 3D 트레이스를 예측하도록 설계된 모듈형 아키텍처입니다.

• 멀티모달 컨디셔닝 백본: 사전 학습된 SmolVLM2-2.2B를 사용하여 RGB 관측값과 언어 지시문을 인코딩합니다. 깊이(depth, 선택 사항) 정보는 별도의 학습 가능한 패치 스템을 통해 전달되며, 사전 학습된 통계치를 해치지 않으면서 기하학적 단서를 활용하기 위해 RGB 토큰과 SigLIP 레이어를 공유합니다.
• 순열 불변(Permutation-Equivariant) 트레이스 전문가: 이 컴포넌트는 각 키포인트를 교환 가능한 쿼리로 취급합니다. 미래의 움직임을 밀집된 웨이포인트가 아닌 **큐빅 B-스플라인 제어점(cubic B-spline control points)**으로 표현하여 압축성과 매끄러움을 보장합니다. 각 쿼리 토큰은 로컬 DINO 특징, 픽셀 위치를 위한 푸리에 임베딩, 그리고 히스토리 대 미래를 구분하는 세그먼트 임베딩에 의해 접지(grounded)됩니다.
• 의미론적 플로우 매칭(Semantic Flow Matching): 이 모델은 B-스플라인 제어점에 대한 조건부 플로우 모델로서 학습됩니다. 노이즈가 있는 제어점을 깨끗한 미래 트레이스로 디노이징하는 법을 배웁니다. 목적 함수에는 다음이 포함됩니다:
  • 플로우 손실(Flow loss): 제어점의 속도장을 일치시킴.
  • 유효성 예측(Validity prediction): 궤적이 종료되어야 하는 시점(예: 폐쇄 발생 시)을 식별함.
  • 의미론적 강성(Semantic rigidity): 동일한 DINO 클러스터 내의 키포인트들이 국부적 기하 구조를 유지하도록 장려함.
• 트레이스 조건부 액션 전문가: 다운스트림 로봇 제어를 위해, 사전 학습된 µ0(VLM 백본 + 트레이스 전문가)는 **동결(frozen)**됩니다. 액션 전문가는 µ0의 트레이스 디노이징 특징 위에 학습됩니다. 이 정책은 단일 부분 디노이징 단계에서 특징을 읽어와 게이트 크로스 어텐션을 통해 VLM 특징에 주입하며, 고유 수용 감각(proprioception) 및 그리퍼 이미지를 조건으로 연속적인 액션 청크를 예측합니다.

3. 주요 기여

1. TraceExtract: 이질적인 비디오로부터 의미론적 키포인트 선택, 전역적으로 정렬된 3D 리프팅, 계층적 언어 캡셔닝을 통해 이벤트 캡션이 포함된 3D 트레이스 감독 신호를 추출하는 확장 가능한 데이터 엔진입니다. 이는 기존 3D 트레이스 데이터셋 대비 약 8배의 트레이스 큐레이션 확장을 가능하게 합니다.
2. µ0: VLM 백본, 순열 불변 트레이스 전문가, B-스플라인 트레이스 타겟, 그리고 의미론적 플로우 매칭 학습을 특징으로 하는 쿼리 조건부 3D 트레이스 공간 세계 모델입니다.
3. 트레이스 조건부 액션 적응: 사전 학습된 µ0가 재사용 가능한 모션 프라이어(motion prior) 역할을 하는 프레임워크입니다. 이를 통해 액션 없이 비디오 프리트레이닝을 수행하여, 타겟 로봇 인터페이스에 대해서만 액션 감독이 필요한 효과적인 로봇 정책으로 전이할 수 있습니다.

4. 실험 결과

4.1 트레이스 예측 성능

µ0는 토큰화된 VLM(예: Gemini, GPT), 2D 플로우 모델, 3D 트레이스 모델(예: TraceGen, Dream2Flow)을 포함한 베이스라인들과 2D 및 3D 트레이스 예측 작업에서 비교 평가되었습니다.

• 정확도: µ0는 2D 및 3D 설정 모두에서 모든 시간 지평(time horizon)에 대해 최상의 Top-5 평균 변위 오차(ADE), 최종 변위 오차(FDE) 및 동적 시간 워핑(DTW) 점수를 달성했습니다.
• 효율성: µ0는 0.29초의 예측 지연 시간을 보여주었으며, 이는 차순위 빠른 2D 베이스라인인 Track2Act(0.85초)보다 2.9배 빠르며 대규모 VLM API보다 훨씬 빠릅니다.
• 정성적 결과: µ0는 일관되고 목표 지향적인 트레이스를 생성하여, 기존 방식에서 관찰되는 노이즈와 불일치를 피했습니다.

4.2 다운스트림 로봇 제어

저자들은 시뮬레이션(RoboCasa365) 및 실제 환경(UR3 로봇)에서 동결된 µ0와 액션 전문가를 결합하여 평가했습니다.

• 시뮬레이션 (RoboCasa365): 8가지 조작 작업에서 µ0 + 액션 전문가는 **30.25%**의 평균 성공률을 기록했습니다. 이는 µ0가 프리트레이닝 중 액션 감독을 전혀 사용하지 않았음에도 불구하고, 액션 레이블이 있는 VLA인 π0(25.25%)를 능가했습니다. 또한 이전의 비디오 전용 베이스라인인 TraceGen(23%)보다도 크게 앞섰습니다.
• 실제 환경 (UR3): 세 가지 작업(Pick & Place, Pour, Unfold Towel)에서 µ0 + 액션 전문가는 **91.7%**의 평균 성공률을 달성했습니다. 이는 다음을 상회합니다:
  • VLM + 액션 전문가 (트레이스 특징 없이 사용 시) 대비 18.4 퍼센트 포인트 향상.
  • 액션 레이블이 있는 VLA인 π0 및 π0.5 대비 각각 20.0 및 11.7 퍼센트 포인트 향상.
  • TraceGen + 액션 전문가 대비 10.0 퍼센트 포인트 향상.
• 스케일링: 모델 크기와 프리트레이닝 데이터가 커질수록 성능이 향 향상되었습니다. 스케일링 분석은 트레이스 표현이 정책 용량만으로는 회복할 수 없는 결정적인 모션 구조를 제공한다는 것을 나타냈습니다.

5. 의의 및 주장

본 논문은 3D 상호작용 트레이스가 교차 형태(cross-embodiment) 조작을 위한 확장 가능하고 전이 가능한 표현 역할을 한다고 주장합니다. 움직임의 '무엇'(트레이스)을 예측하는 것과 '어떻게'(액션) 움직이는 것을 분리함으로써, µ0는 값비싼 형태 특정적 액션 레이블에 의존하지 않고도 풍부한 비디오 데이터를 활용할 수 있는 로봇 학습의 경로를 제시합니다.

저자들은 µ0가 "재사용 가능한 모션 프라이어" 역할을 한다는 점을 강조합니다. 비디오로 사전 학습된 후, 모델은 동결되어 다양한 로봇 형태를 위한 서로 다른 액션 전문가와 결합될 수 있습니다. 결과에 따르면 이 접근 방식은 액션 전용 대규모 데이터셋으로 사전 학습된 최첨단 모델들과 경쟁하거나 그보다 우수한 성능을 달면서도, 비디오 전용 프리트레이닝의 확장성을 유지할 수 있습니다.

저자가 언급한 한계점:

• µ0는 인지 스택(클러스터링, 3D 재구성, 트래킹, 캡셔닝)으로부터 발생하는 오류를 물려받습니다.
• 이 표현은 기하학 및 움직임은 포착하지만, 힘(force), 촉각 피드백, 또는 접촉 모드를 명시적으로 모델링하지는 않습니다.
• 현재 평가는 테이블탑 조작 및 특정 형태에 국 {한되어 있으며, 이동형 매니퓰레이터나 정교한 손(dexterous hands)에 대한 광범적인 검증은 향후 과제로 남겨두었습니다.