World Action Models are Zero-shot Policies

이 논문은 사전 훈련된 비디오 확산 모델을 기반으로 한 'DreamZero'라는 월드 액션 모델 (WAM) 을 제안하여, 기존 비전 - 언어 - 행동 (VLA) 모델보다 2 배 이상 뛰어난 일반화 성능과 다양한 로봇 및 인간 데이터만으로도 새로운 환경과 에이전트에 대한 제로샷 및 퓨샷 적응 능력을 실현함을 보여줍니다.

핵심

1. 기존 로봇의 문제: "악보만 보고 연주하는 피아니스트"

기존의 최첨단 로봇 (VLA 모델) 은 마치 악보만 보고 연주하는 피아니스트와 비슷했습니다.

• 장점: "코카콜라 캔을 테일러 스위프트에게 줘"라고 말하면, 테일러 스위프트가 누구인지, 캔이 어디 있는지 언어적 지식으로 잘 알아냅니다.
• 단점: 하지만 **"신발 끈을 풀어줘"**나 "에스프레소 머신 레버를 누르" 같은 새로운 동작을 시키면 망칩니다. 왜냐하면 이 로봇들은 오직 **반복된 연습 (데모)**을 통해 동작을 외웠기 때문입니다. 악보 (언어) 는 알지만, 실제 손가락을 어떻게 움직여야 하는지 (물리 법칙) 에 대한 직감이 부족해서, 처음 보는 상황에서는 어색하게 움직이거나 아예 멈춰버립니다.

2. 드림제로의 혁신: "무용수를 보며 춤을 추는 배우"

드림제로는 이 문제를 해결하기 위해 비디오 생성 AI(영화 제작자) 기술을 로봇에 접목했습니다.

• 핵심 아이디어: 로봇에게 "손을 움직여"라고 직접 가르치는 대신, **"앞으로 무슨 일이 일어날지 상상해 (꿈을 꿔)"**라고 가르칩니다.
• 작동 원리:
  1. 로봇은 명령을 받으면, **"내가 이렇게 움직이면 내 눈앞의 풍경이 어떻게 변할까?"**를 먼저 상상합니다 (비디오 생성).
  2. 그 상상한 미래 장면 (비디오) 을 바탕으로, **"그렇게 되려면 지금 손을 어떻게 움직여야 하지?"**라고 역으로 계산합니다 (동작 생성).

비유하자면:
기존 로봇은 악보만 보고 연주하려다 막히지만, 드림제로는 무용수의 춤 영상을 보고 "저 사람이 저렇게 춤추려면 발을 어떻게 움직였을까?"를 추론하며 춤을 춥니다. 그래서 새로운 춤 (작업) 을 처음 봐도 자연스럽게 따라 할 수 있습니다.

3. 드림제로가 가진 3 가지 초능력

① 다양한 경험에서 배우는 능력 (다양한 데이터)

기존 로봇은 같은 동작을 100 번 반복해서 배웠지만, 드림제로는 다양하고 엉뚱한 상황 100 가지를 한 번씩 경험해도 잘 배웁니다.

• 비유: 같은 요리를 100 번 반복해서 배우는 요리사 vs 다양한 재료로 100 가지 다른 요리를 한 번씩 해본 요리사. 드림제로는 후자처럼, 낯선 상황에서도 "아, 이 재료면 이렇게 처리해야겠구나!"라고 유추할 수 있습니다.

② 다른 로봇이나 사람도 따라 하는 능력 (크로스-엠픔디먼트)

드림제로는 자신이 직접 해본 적이 없는 로봇이나 사람의 영상만 봐도 그 로봇이 될 수 있습니다.

• 비유: 내가 직접 피아노를 치지 않아도, 다른 피아니스트가 연주하는 영상만 10 분 정도 보면, 내가 피아노를 칠 때 그 손가락 움직임을 흉내 낼 수 있는 능력입니다.
• 결과: 다른 로봇 (YAM) 이나 사람의 영상 10~20 분만 학습하면, 새로운 로봇이 낯선 작업을 42% 더 잘하게 됩니다. 심지어 30 분짜리 '놀이' 데이터만으로도 완전히 다른 로봇으로 변신할 수 있습니다.

③ 실시간으로 빠르게 반응 (7Hz)

비디오를 만들고 동작을 계산하는 건 보통 느립니다. 하지만 연구팀은 마법 같은 최적화 기술을 써서, 드림제로가 초당 7 번 (7Hz) 의 속도로 생각과 행동을 할 수 있게 만들었습니다.

• 비유: 영화 한 장을 그리는 데 5 초 걸리던 것을, 0.15 초 만에 그려내면서 로봇이 멈추지 않고 자연스럽게 움직이게 만든 것입니다.

4. 왜 이것이 중요한가요?

이 기술은 로봇이 **"특정 작업만 하는 기계"**에서 **"어떤 상황에서도 적응하는 똑똑한 파트너"**로 변하는 첫걸음입니다.

• 기존: "이 상자를 들어"라고 하면 들어주지만, "상자를 열어"라고 하면 어리둥절해합니다.
• 드림제로: "상자를 열어"라고 하면, 상자가 어떻게 생겼고 열리면 안이 어떻게 보일지 **상상 (꿈)**을 먼저 그려낸 뒤, 그 상상에 맞춰 상자를 여는 행동을 실행합니다.

5. 결론: 로봇이 '꿈'을 꿉니다

드림제로는 로봇에게 물리 법칙과 미래의 변화를 시각적으로 상상하는 능력을 심어주었습니다. 마치 우리가 새로운 일을 할 때 머릿속으로 시뮬레이션을 돌려보는 것처럼, 로봇도 비디오를 만들어보며 행동을 계획합니다.

이제 로봇은 더 이상 반복 훈련에 의존하지 않아도 됩니다. 다양한 세상 (인터넷의 수많은 영상) 을 보고 배운 경험을 바탕으로, 우리가 상상하지 못한 새로운 일들도 척척 해낼 수 있는 시대가 온 것입니다.

한 줄 요약: 드림제로는 로봇에게 "무엇을 해야 하는지"가 아니라, "그렇게 하면 세상이 어떻게 변할지"를 상상하게 함으로써, 낯선 상황에서도 스스로 해결책을 찾아내는 지능을 선물했습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 최첨단 시각 - 언어 - 행동 (Vision-Language-Action, VLA) 모델들은 언어 지시와 객체 인식에 있어 뛰어난 일반화 능력을 보여주지만, 새로운 물리적 환경이나 학습되지 않은 새로운 동작 (skills) 에서는 한계를 보입니다.

• VLA 의 한계: VLA 는 정적 이미지 - 텍스트 데이터로 사전 훈련되어 공간적, 시간적 물리 법칙 (dynamics) 에 대한 선입견 (priors) 이 부족합니다. 따라서 "신발 끈 묶기"와 같은 정교한 물리적 상호작용이 필요한 작업이나, 훈련 데이터에 없는 새로운 환경에서는 실패하거나 단순히 반복된 행동만 수행합니다.
• 데이터 의존성: 기존 접근법은 특정 작업을 위해 수천 시간의 반복적인 데모 데이터가 필요하며, 이 데이터가 없으면 새로운 작업으로의 전이가 어렵습니다.
• 실시간 제어 부재: 비디오 생성 기반의 세계 모델 (World Models) 은 강력한 일반화 능력을 가지지만, 반복적인 디노이징 (denoising) 과정으로 인해 로봇의 실시간 폐루프 제어 (closed-loop control) 에 필요한 저지연 (low-latency) 을 달성하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 DreamZero라는 14B 파라미터 규모의 World Action Model (WAM) 을 제안합니다. 이는 사전 훈련된 비디오 확산 (diffusion) 백본을 기반으로 하여, 비디오와 행동을 동시에 예측하는 아키텍처입니다.

핵심 아키텍처 및 학습 전략

• 동시 예측 (Joint Prediction): 언어 지시, 현재 관측치, proprioception(자세 정보) 을 입력받아 미래의 비디오 프레임과 로봇의 행동을 함께 생성합니다. 이는 행동을 직접 매칭하는 것이 아니라, "미래의 시각적 상태"를 예측하고 이를 기반으로 역동역학 (inverse dynamics) 을 학습하는 방식입니다.
• 오토레거시 (Autoregressive) 구조:
  • Bidirectional 모델 대신 오토레거시 구조를 채택하여 KV Cache 를 활용한 효율적인 추론과 긴 시간적 일관성을 확보했습니다.
  • 비디오 프레임을 청크 (chunk) 단위로 생성하며, 각 청크는 고정된 수의 잠재 프레임 (latent frames) 을 가집니다.
• 학습 목표 (Training Objective): Flow Matching 을 사용하여 비디오 잠재 벡터와 행동 벡터의 잡음을 제거 (denoising) 하는 과정을 학습합니다.
  • Teacher Forcing: 이전 청크의 깨끗한 데이터 (ground truth) 를 컨텍스트로 사용하여 현재 청크를 학습시킴으로써 오차 누적 (error accumulation) 을 방지합니다.
  • 데이터 다양성: 반복적인 데모가 아닌, 다양한 환경 (22 개) 에서 수집된 이질적이고 비반복적인 (heterogeneous, non-repetitive) 데이터를 활용합니다.

실시간 추론 최적화 (Real-time Execution)

비디오 확산 모델의 높은 계산 비용을 해결하기 위해 3 단계 최적화를 수행하여 7Hz의 실시간 제어 속도를 달성했습니다.

1. 시스템 수준 최적화: CFG(Classifier-Free Guidance) 병렬 처리, DiT 캐싱 (비슷한 속도 벡터 재사용), 비동기 실행 (추론과 행동 실행 분리).
2. 구현 수준 최적화: Torch Compile, CUDA Graphs, 양자화 (NVFP4), 커널 최적화.
3. 모델 수준 최적화 (DreamZero-Flash): 비디오와 행동의 노이즈 스케줄을 분리 (Decoupled Noise Schedules) 합니다. 추론 시 비디오는 여전히 노이즈가 있는 상태에서 행동을 깨끗하게 예측하도록 훈련하여, 디노이징 단계를 4 단계에서 1 단계로 줄여도 성능 저하 없이 속도를 획기적으로 개선했습니다.

3. 주요 기여 (Key Contributions)

1. DreamZero 모델 제안: 비디오 확산 백본을 기반으로 비디오와 행동을 동시에 예측하는 14B WAM 을 개발하여, 이질적인 로봇 데이터로부터 효과적으로 학습하고 제로샷 (zero-shot) 일반화를 달성했습니다.
2. 압도적인 일반화 성능: 기존 VLA 모델 대비 새로운 작업과 환경에서 2 배 이상의 성능 향상을 보였습니다. 특히 훈련 데이터에 없는 동사 (verbs) 와 동작에 대한 일반화 능력이 뛰어납니다.
3. 실시간 폐루프 제어: 14B 규모의 모델이면서도 시스템 및 모델 최적화를 통해 7Hz의 실시간 제어 속도를 달성했습니다.
4. 크로스 - 엠보디먼트 (Cross-Embodiment) 전이:
   • 비디오만 있는 데이터 (Video-only): 다른 로봇이나 인간의 비디오 데모 (10~20 분) 만으로도 새로운 로봇의 성능을 42% 이상 향상시켰습니다.
   • Few-shot 적응: 사전 훈련된 모델이 새로운 로봇 (YAM) 으로 전이될 때, 30 분의 플레이 데이터만으로 제로샷 일반화 능력을 유지하며 적응했습니다.
5. 오픈소스: 모델 가중치, 추론 코드, 그리고 공개된 로봇 벤치마크 (RoboArena, PolaRiS 등) 를 위한 코드를 공개했습니다.

4. 실험 결과 (Results)

• 제조사 (Seen Tasks) 및 미제조작 (Unseen Tasks) 평가:
  • AgiBot G1 (이중 팔 이동 로봇) 및 Franka (단일 팔 로봇) 에서 평가했습니다.
  • Unseen Tasks (학습되지 않은 작업): VLA 모델들은 거의 0% 의 성공률을 보인 반면, DreamZero 는 "신발 끈 풀기", "모자 벗기기", "악수하기" 등 복잡한 작업에서 평균 **39.5%**의 성공률을 기록했습니다 (VLA 대비 2 배 이상).
  • 환경 일반화: 훈련 데이터와 다른 지리적 위치, 다른 객체 배치에서도 높은 성능을 유지했습니다.
• 후학습 (Post-training) 성능: 특정 작업 (셔츠 접기, 과일 포장 등) 에 대해 후학습을 수행한 후에도 환경 일반화 능력이 유지되었으며, 기존 VLA 보다 우수한 성능을 보였습니다.
• 크로스 - 엠보디먼트 전이:
  • Human-to-Robot: 12 분의 인간 1 차원 비디오 데이터만으로도 성능이 38.3% → 54.3% 로 향상되었습니다.
  • Robot-to-Robot: 20 분의 다른 로봇 (YAM) 비디오 데이터로 전이 시 38.3% → 55.4% 로 향상되었습니다.
  • Few-shot Adaptation: 30 분의 새로운 로봇 데이터로 전이 시에도 언어 지시 준수 능력과 일반화 능력을 유지했습니다.
• 속도 최적화: DreamZero-Flash 를 적용하여 4 단계 디노이징에서 1 단계로 줄였을 때, 성능은 83% 에서 74% 로 소폭 감소했으나, 추론 속도는 350ms 에서 150ms 로 빨라져 실시간 제어에 적합해졌습니다.

5. 의의 및 중요성 (Significance)

• 로봇 기초 모델의 패러다임 전환: VLA 의 "의미적 일반화" 한계를 넘어, 비디오 생성을 통해 물리 법칙과 동역학을 학습하는 새로운 접근법 (WAM) 을 입증했습니다.
• 데이터 효율성: 반복적인 데모 데이터에 의존하지 않고, 인터넷 규모의 비디오 데이터와 다양한 환경의 이질적인 데이터를 통해 로봇이 새로운 기술을 빠르게 습득할 수 있음을 보였습니다.
• 실용적 적용 가능성: 14B 규모의 거대 모델이 실시간으로 작동할 수 있음을 증명하여, 고도의 추론이 필요한 복잡한 로봇 작업의 상용화 가능성을 열었습니다.
• 미래 방향성: 인간의 일상 비디오 데이터를 대규모로 활용하여 로봇이 별도의 액션 레이블 없이도 다양한 기술을 학습할 수 있는 확장 가능한 경로 (Scaling Pathway) 를 제시했습니다.

이 논문은 로봇이 새로운 환경과 작업에 대해 "생각하고 계획하여 행동"하는 진정한 의미의 기초 모델 (Foundation Model) 로 발전하는 데 중요한 이정표가 됩니다.