기술 요약: DreamDojo

문제 정의

범용 로봇 에이전트의 개발은 행동에 기반하여 미래 상태를 시뮬레이션할 수 있는 **월드 모델(world models)**에 크게 의존합니다. 최근 비디오 생성 기술의 발전으로 이산 제어 도메인(예: 게임, 주행)을 위한 월드 모델이 가능해졌으나, 이는 접촉이 빈번하고 고차원적인 로봇 작업에는 어려움을 겪고 있습니다. 기존 방식은 다음과 같은 세 가지 주요 한계점에 직면해 있습니다:

1. 데이터 부족 및 분포: 로봇 데이터는 하드웨어 비용과 가변성으로 인해 제한적이며, 실제 환경과 사물의 무한한 다양성을 포괄하지 못하는 경우가 많습니다.
2. 확률적 요소의 부재: 기존 데이터셋은 주로 전문가의 시연으로 구성되어 있어, 강건한 행동 제어 능력을 학습하는 데 필요한 의도의 확률적 변동성(stochasticity)이 부족합니다.
3. 레이블 부족: 대규모 비디오 데이터셋에서 미세한 행동 레이블을 확보하기는 어렵습니다. 단순히 수동적인 비디오로 학습하는 것은 관측과 행동 사이의 인과관계를 무시하며, 이는 행동 조건부 시뮬레이션을 위한 지식 전이 성능을 저하시킵니다.

결과적으로, 현재의 비디오 월드 모델은 관찰된 설정(setup)을 시뮬레이션하는 데 국한되는 경우가 많으며, 반사실적(counterfactual) 행동에 반응하거나 보지 못한 물체 및 환경으로 일반화하는 데 실패합니다.

방법론

DreamDojo는 오픈 월드 숙련 로봇 작업을 위해 설계된 파운데이션 월드 모델로 소개됩니다. 이 접근 방식은 세 가지 별도의 단계로 구성됩니다:

1. 대규모 인간 비디오 사전 학습

데이터 제한 문제를 극복하기 위해, 저자들은 약 44,711시간의 비디오로 구성된 역대 최대 규모의 1인칭 시점(egocentric) 인간 비디오 데이터셋인 DreamDojo-HV를 구축했습니다. 이 데이터셋은 다양한 일상 시나리오(가정, 소매, 운송 등)를 아우르며, 약 6,015개의 고유한 기술과 1,135k개의 고유한 사물을 포함합니다.

• 연속적 잠재 행동(Continuous Latent Actions): 행동 레이블의 부재를 해결하기 위해, 저자들은 연속적 잠재 행동을 통합된 프록시 행동으로 도입했습니다. 시공간 트랜스포머(spatiotemporal Transformer) 구조를 가진 변분 오토인코더(VAE)가 자기 지도 학습 방식으로 연속된 비디오 프레임으로부터 이러한 행동을 추출합니다. 이는 중요한 움직임 정보를 문맥(context)으로부터 분리하는 정보 병목(information bottleneck)을 생성하여, 교차 체형 지식 전이(인간에서 로봇으로)를 가능하게 합니다.
• 아키텍처: 모델은 Cosmos-Predict2.5 잠재 비디오 확산 모델을 기반으로 구축되었습니다.
  • 상대적 행동(Relative Actions): 모델링 복잡도를 줄이기 위해 절대적인 관절 포즈 대신 상대적 행동으로 재설정(rebaseline)합니다.
  • 청크 주입(Chunked Injection): 인과관계 혼동을 완화하기 위해, 행동을 글로벌 조건이 아닌 청크 단위(잠재 프레임당 4개의 연속된 행동)로 주입합니다.
  • 학습 목표: 표준 플로우 매칭 손실(flow matching loss)에 **시간적 일관성 손실(temporal consistency loss)**을 추가하여, 실제 정답 시간적 전이와 더 잘 일치하도록 함으로써 물체의 완전성과 행동 추종성을 향상시켰습니다.

2. 타겟 로봇에 대한 사후 학습(Post-Training)

파운데이션 모델을 특정 로봇 체형(예: Fourier GR-1, Unitree G1, AgiBot)에 적응시키기 위해, 소규모 타겟 로봇 데이터셋을 사용하여 사후 학습 단계를 수행합니다.

• 행동 조건화 레이어를 타겟 행동 공간에 맞게 초기화 및 재설정합니다.
• 강력한 사전 학습을 활용하여, 제한된 타겟 데이터에도 불구하고 보지 못한 물체와 새로운 환경에 대한 **제로샷 일반화(zero-shot generalization)**를 달성하도록 모델을 전체 미세 조정(full finetuning)합니다.

3. 실시간 추론을 위한 증류(Distillation)

라이브 텔레오퍼레이션(원격 조종) 및 온라인 계획과 같은 응용을 가능하게 하기 위해, 셀프 포싱(Self Forcing) 패러다임을 사용하여 파운데이션 모델을 자기 회귀(autoregressive) 학생 모델로 증류합니다.

• 아키텍처 변경: 양방향 어텐션 메커니즘을 슬라이딩 윈도우 기반의 **인과적 어텐션(causal attention)**으로 교체합니다.
• 프로세스: 두 단계의 과정(웜업 및 증류)을 통해 학생 모델의 분포를 교사 모델의 ODE 솔루션과 정렬하여, 학습-테스트 간의 분포 불일치를 최소화합니다.
• 결과: 증류된 모델은 640×480 해상도에서 단 4단계의 디노이징만으로 10.81 FPS를 달전하며, 긴 호흡의 일관성을 유지합니다.

주요 기여

1. DreamDojo-HV 데이터셋: 44k 시간 이상의 1인칭 인간 비디오를 포함하는 거대하고 다양한 데이터셋으로, 이전의 로봇 데이터셋보다 기술 및 장면의 다양성이 훨씬 높은 월드 모델 사전 학습을 위한 최대 규모의 코퍼스를 제공합니다.
2. 파운데이션 월드 모델: 대규모 인간 비디오와 연속적 잠재 행동을 활용하여, 숙련된 조작을 위한 미지의 물체 및 환경에 대한 제로샷 일반화를 달성한 최초의 유형의 월드 모델입니다.
3. 증류 파이프라인: 시각적 퇴화 없이 문맥 일관성을 유지하고 긴 호흡의 상호작용을 지원하는 실시간 자기 회귀 예측기로 파운데이션 모델을 변환하는 방법입니다.
4. 다운스트림 응용 분야: 정책 평가(policy evaluation), 모델 기반 계획(model-based planning), 그리고 라이브 텔레오퍼레이션에서의 유용성을 입증했습니다.

실험 결과

논문은 새로운 물체, 환경 및 반사실적 행동을 포함한 6개의 OOD(Out-of-Distribution) 벤치마크에서 DreamDojo를 평가합니다.

• 행동 조건화: 잠재 행동 조건화는 행동이 없는 사전 학습보다 성능이 우수하며, 이상적인 설정(정답 행동 레이블 사용)의 성능에 근접합니다 (EgoDex Eval에서의 PSNR 개선 등).
• 데이터 다양성: 데이터 다양성을 높이면(In-lab, EgoDex, DreamDojo-HV 추가) 모든 벤치마크에서 물리 법칙 모델링과 행동 제어 능력이 일관되게 향상됩니다.
• 일반화: 14B 파라미터 모델(DreamDojo-14B)은 인간 선호도 평가에서 물리적 정확성과 행동 추종성 모두에서 기본 Cosmos-Predict2.5 및 2B 변체보다 뛰어난 성능을 보입니다.
• 증류 효율성: 증류된 학생 모델은 교사 모델보다 4배 더 빠르며(10.81 FPS vs 2.72 FPS), 긴 호흡의 롤아웃(600 프레임)에서도 유사한 성능을 유지합니다. 또한 멀티 프레임 문맥 덕분에 폐쇄(occlusion)에 대한 우수한 강건성을 보여줍니다.
• 응용 분야:
  • 정책 평가: DreamDojo는 과일 포장 작업에 대해 시뮬레이션과 실제 세계의 성공률 사이에 강력한 선형 상관관계(Pearson $r=0.995$)를 보여줍니다.
  • 모델 기반 계획: DreamDojo를 테스트 타임 계획에 사용하면 최적의 단일 체크포인트 대비 최대 17%, 균등 샘플링(uniform sampling) 대비 거의 2배 높은 성공률을 보였습니다.
  • 라이브 텔레오퍼레이션: 이 모델은 VR 컨트롤러를 사용하여 가상 G1 로봇을 실시간으로 원격 조종할 수 있게 합니다.

의의 및 주장

본 논문은 DreamDojo가 범용 로봇 월드 모델을 향한 중요한 진전이라고 주장합니다. 대규모 인간 비디오와 연속적 잠재 행동을 활용함으로써, 이 방법은 체형 간의 격차(embodiment gap)를 성공적으로 메워 로봇이 인간의 상호작용으로부터 물리 법칙과 역학을 학습할 수 있게 합니다.

저자들은 DreamDojo가 실제 배포 없이도 확장 가능한 정책 평가를 가능하게 하고, 온라인 모델 기반 계획 및 라이브 텔레오퍼레이션을 용이하게 한다는 점을 강조합니다. 이 연구는 다양한 인간 데이터를 통해 훈련된 파운데이션 모델을 통해 개방형, 접촉 중심 작업의 시뮬레이션이 가능하다는 것을 시사하며, 더 유능하고 적응력 있는 범용 에이전트를 위한 길을 열어줍니다.

논문은 드물게 발생하는 빠른 동작(예: 뺨 때리기)에 모델이 어려움을 겪는다는 점과, 시뮬레이션 성공률이 때때로 실제보다 높게 나타나 실패 생성의 미세한 차이가 필요하다는 점 등 한계를 겸허히 인정합니다. 향-후 연구로는 더 넓은 행동 분포와 다중 뷰 시뮬레이션을 탐구할 것을 제안합니다.