Fast-WAM: Do World Action Models Need Test-time Future Imagination?

이 논문은 테스트 시 미래 영상 생성을 생략하고 학습 중 비디오 모델링의 이점만 활용하는 'Fast-WAM'을 제안함으로써, 세계 행동 모델 (WAM) 의 핵심 가치가 테스트 시의 명시적 미래 상상력이 아닌 학습 과정의 비디오 모델링에 있음을 증명하고 실시간 제어 속도를 4 배 이상 향상시켰습니다.

핵심

이 논문은 로봇이 세상을 어떻게 이해하고 행동해야 하는지에 대한 매우 흥미로운 질문을 던집니다. 바로 "로봇이 행동을 결정하기 전에, 미래를 상상해봐야 할까?" 라는 질문입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🤖 핵심 질문: "미래를 미리 그려보는 게 정말 필요할까?"

기존의 최신 로봇 기술 (World Action Models, WAM) 은 보통 이런 방식으로 작동합니다.

"일단 내일 무슨 일이 일어날지 상상해 보고 (미래 영상 생성), 그 상상을 바탕으로 오늘 무엇을 해야 할지 결정하자."

예를 들어, 로봇이 컵을 들 때, "내가 컵을 들면 컵이 어떻게 흔들릴지, 물이 넘칠지"를 미리 영상으로 그려본 뒤 손을 움직입니다.
하지만 이 방식은 문제가 하나 있습니다. 매우 느립니다. 미래를 상상하는 과정 (영상 생성) 이 너무 많은 시간이 걸려서, 로봇이 실시간으로 반응하기 어렵다는 거죠. 마치 운전하면서 "앞차가 어떻게 움직일지 10 초 동안 시뮬레이션 해본 뒤" 핸들을 꺾는 것과 비슷합니다.

저자들은 의문을 품었습니다. "과연 로봇이 행동을 잘 하려면, 매번 미래를 직접 그려보는 (상상하는) 과정이 필수일까? 아니면 그걸 배우는 과정 (훈련) 만으로도 충분할까?"

🚀 해답: "Fast-WAM" (빠른 세계 행동 모델)

저자들은 이 질문에 답하기 위해 'Fast-WAM' 이라는 새로운 방식을 개발했습니다. 이 방식의 핵심은 다음과 같습니다.

1. 훈련할 때는 미래를 상상해 봅니다: 로봇이 학습하는 동안은 "내가 이렇게 행동하면 세상이 어떻게 변할까?"라고 상상하며 미래를 예측하는 연습을 합니다. 이를 통해 로봇은 물리 법칙과 사물의 움직임을 깊이 이해하게 됩니다.
2. 실제 행동할 때는 상상을 멈춥니다: 로봇이 실제로 일을 할 때는 미래 영상을 그려내지 않습니다. 대신, 훈련하면서 세상에 대해 배운 '지식'과 '직관'만 가지고 바로 행동을 결정합니다.

🎨 쉬운 비유: "요리사 vs. 시식가"

이 개념을 요리사에 비유해 볼까요?

• 기존 방식 (상상 후 실행): 요리사가 요리를 하기 전에, "내가 이 재료를 넣으면 맛이 어떻게 날지, 접시에 담으면 어떻게 보일지"를 상상해서 그림을 그리는 데 10 분을 보냅니다. 그리고 나서야 실제 요리를 시작합니다. 결과는 맛있을지 모르지만, 손님이 너무 오래 기다리게 됩니다.
• Fast-WAM 방식: 요리사는 훈련 기간 동안 수많은 요리를 해보며 "이 재료를 섞으면 맛이 어떻게 변하는지"를 깊이 있게 경험하고 배웁니다. 하지만 실제 손님이 오면, 그림을 그리지 않고 바로 손에 익은 감각으로 요리를 합니다. 결과는 여전히 훌륭하지만, 속도는 훨씬 빠릅니다.

📊 실험 결과: 무엇이 더 중요했을까?

저자들은 다양한 실험을 통해 두 가지 요소를 비교했습니다.

1. 훈련 중 미래 예측 (상상 연습)
2. 실제 행동 시 미래 생성 (상상 그림 그리기)

결과는 놀라웠습니다.

• 미래를 직접 그려내는 것 (상상 그림 그리기) 을 빼도 로봇의 실력은 거의 떨어지지 않았습니다.
• 하지만 훈련 중 미래 예측 (상상 연습) 을 빼면 로봇의 실력이 급격히 나빠졌습니다.

즉, 로봇이 잘하는 이유는 "실시간으로 미래를 상상하는 능력" 때문이 아니라, "훈련할 때 미래를 예측하는 연습을 통해 세상의 이치를 깊이 이해했기 때문" 이라는 것입니다.

💡 결론: 왜 이것이 중요한가요?

이 연구는 로봇 공학계에 큰 변화를 가져올 수 있습니다.

• 속도: 로봇이 4 배 이상 빨라졌습니다 (190ms). 이제 로봇이 실시간으로 반응하며 복잡한 일 (수건 접기, 물건 나르기 등) 을 할 수 있게 되었습니다.
• 효율: 불필요한 '미래 영상 생성' 과정을 없애서 에너지를 아끼고, 더 간단한 구조로 로봇을 만들 수 있습니다.
• 통찰: 로봇이 세상을 이해하는 데 중요한 것은 "미래를 그리는 도구"가 아니라, "세상의 법칙을 학습하는 과정" 자체임을 증명했습니다.

한 줄 요약:

"로봇이 잘하려면 미래를 미리 그려볼 필요는 없습니다. 대신 훈련할 때 세상이 어떻게 움직이는지 깊이 있게 배우기만 하면, 그 직관으로 바로 빠르게 행동할 수 있습니다."

기술 요약

1. 문제 정의 (Problem)

• 배경: embodied control(신체화된 제어) 분야에서 World Action Models (WAMs) 은 비전 - 언어 - 행동 (VLA) 모델의 대안으로 부상했습니다. WAM 은 행동 하에서 시각적 관찰이 어떻게 진화할지 명시적으로 모델링하여 물리적 역학과 시간적 구조를 포착하는 데 도움을 줍니다.
• 기존 방식의 한계: 대부분의 기존 WAM 은 "상상 후 실행 (Imagine-then-Execute)" 패러다임을 따릅니다. 즉, 테스트 시에 미래의 비디오 프레임을 생성 (상상) 한 후, 이를 기반으로 행동을 예측합니다.
  • 지연 시간 (Latency) 문제: 반복적인 비디오 디노이징 (denoising) 과정으로 인해 테스트 시 상당한 지연 시간이 발생합니다.
  • 핵심 의문: 강력한 행동 성능을 내기 위해 테스트 시에 명시적인 '미래 상상 (Future Imagination)'이 실제로 필요한지, 아니면 학습 과정 중 비디오 모델링을 통해 얻은 표현 (Representation) 이 핵심 가치인지 불분명했습니다.

2. 제안 방법: Fast-WAM (Methodology)

저자들은 WAM 의 성능 향상이 학습 중의 비디오 예측 목적 함수 (Video Co-training) 에서 오는 것인지, 아니면 추론 시의 명시적 미래 생성에서 오는 것인지 분리하기 위해 Fast-WAM을 제안했습니다.

• 핵심 아이디어: 학습 중에는 비디오 예측을 유지하되, 추론 (Inference) 시에는 미래 비디오 생성을 생략합니다.
• 아키텍처:
  • Mixture-of-Transformer (MoT): 공유 어텐션 (Shared Attention) 을 가진 비디오 DiT(Diffusion Transformer) 와 행동 전문가 (Action Expert) DiT 로 구성됩니다.
  • 학습 (Training): 비디오 DiT 와 행동 DiT 가 함께 학습됩니다. 비디오 예측 목적 함수 ($L_{vid}$) 와 행동 생성 목적 함수 ($L_{act}$) 를 결합하여, 비디오 DiT 가 물리적으로 의미 있는 운동 및 상호작용 구조를 인코딩하도록 유도합니다.
  • 추론 (Inference):
    • 미래 비디오 토큰을 생성하거나 디노이징하지 않습니다.
    • 현재 관찰 프레임의 깨끗한 잠재 토큰 (Clean Latent Tokens) 만을 비디오 백본에 한 번 통과시켜 잠재 세계 표현 (Latent World Representation) 을 얻습니다.
    • 이 표현을 기반으로 행동 디노이징을 수행하여 행동을 직접 예측합니다.
    • 이는 단일 순방향 통과 (Single Forward Pass) 로 완료되므로 매우 효율적입니다.

3. 통제된 비교 실험 (Controlled Variants)

학습 중 비디오 코-트레이닝과 추론 시 미래 상상의 역할을 분리하기 위해 다음과 같은 변형 모델을 비교했습니다:

1. Fast-WAM (Ours): 학습 시 비디오 코-트레이닝 유지, 추론 시 미래 생성 생략.
2. Fast-WAM-Joint: 기존 방식처럼 비디오와 행동을 함께 디노이징 (Joint Denoising).
3. Fast-WAM-IDM: 먼저 미래 비디오를 생성한 후, 이를 조건으로 행동을 예측 (Video-then-Action).
4. Fast-WAM w.o. video co-train: 학습 시 비디오 예측 목적 함수를 제거한 통제군 (Video 모델링 없이 행동만 학습).

4. 주요 결과 (Results)

A. 시뮬레이션 벤치마크 (LIBERO, RoboTwin)

• 성능: Fast-WAM 은 embodied pretraining(신체화된 사전 학습) 없이도 최첨단 (SOTA) 방법들과 경쟁 가능한 성능을 달성했습니다.
  • RoboTwin: 91.8% 성공률 (Pretraining 없는 Motus 대비 압도적 우위, Pretraining 있는 LingBot-VA 와 유사).
  • LIBERO: 평균 97.6% 성공률.
• 통제 실험 결과:
  • Fast-WAM 은 '상상 후 실행' 방식 (Joint, IDM) 과 성능 차이가 거의 없었습니다.
  • 반면, 비디오 코-트레이닝을 제거한 경우 (w.o. video co-train) 는 성능이 급격히 하락했습니다 (RoboTwin 에서 91.8% → 83.8%, LIBERO 에서 97.6% → 93.5%).
  • 결론: WAM 의 성능 향상은 테스트 시의 미래 생성보다는 학습 중 비디오 예측을 통해 세계 표현 (World Representation) 을 강화하는 것에서 비롯됩니다.

B. 실세계 작업 (Real-world: Towel Folding)

• 성능: 비디오 코-트레이닝을 포함한 모든 Fast-WAM 변형은 사전 학습이 없는 π0.5 보다 훨씬 우수한 성공률과 완료 시간을 보였습니다.
• 비디오 코-트레이닝 제거 시: 성공률이 10% 로 급락하고 완료 시간이 가장 길어졌습니다.
• 효율성 (지연 시간):
  • Fast-WAM: 190ms (실시간 제어 가능).
  • 기존 상상 후 실행 방식 (Fast-WAM-IDM 등): 580ms ~ 810ms.
  • Fast-WAM 은 기존 방식보다 4 배 이상 빠릅니다.

5. 기여 및 의의 (Contributions & Significance)

1. 근본적인 질문 제기: WAM 의 성능 이득이 학습 중 비디오 모델링에서 오는 것인지, 추론 시 미래 상상에서 오는 것인지를 명확히 규명했습니다.
2. Fast-WAM 아키텍처 제안: 학습 시의 이점 (세계 표현 학습) 을 유지하면서 추론 시의 비용 (미래 비디오 생성) 을 제거하여 실시간 제어 (Real-time Control) 가 가능한 새로운 아키텍처를 제시했습니다.
3. 설계 통찰: WAM 의 핵심 가치는 "미래 관찰을 생성하는 것"이 아니라, "학습 과정에서 물리적으로 의미 있는 세계 표현을 학습하는 것"임을 실험적으로 증명했습니다.
4. 실용성: embodied pretraining 없이도 높은 데이터 효율성을 보이며, 190ms 의 낮은 지연 시간으로 실제 로봇 배포에 매우 유리한 솔루션을 제공합니다.

요약하자면, 이 논문은 "미래를 상상하는 것"이 로봇 제어의 핵심이 아니라, "미래를 예측하는 과정을 통해 세계를 이해하는 것"이 핵심임을 증명하고, 이를 통해 더 빠르고 효율적인 로봇 제어 모델 (Fast-WAM) 을 개발했습니다.