MotionStream: Real-Time Video Generation with Interactive Motion Controls

MotionStream 는 텍스트와 모션 제어를 기반으로 단일 GPU 에서 초당 29 프레임의 실시간 스트리밍 비디오 생성을 가능하게 하며, 고정된 컨텍스트 윈도우를 통해 무한히 긴 비디오를 고품질로 생성하는 새로운 접근법을 제시합니다.

핵심

🎥 MotionStream: 비디오를 실시간으로 '조종'하는 마법 같은 도구

이 논문은 **"MotionStream"**이라는 새로운 기술을 소개합니다. 쉽게 말해, 이 기술은 우리가 비디오를 만드는 과정을 '기다림'이 아닌 '실시간 놀이'로 바꿔줍니다.

지금까지의 AI 비디오 생성 기술은 마치 "레시피를 다 적어놓고 오븐에 넣고 10 분 동안 기다리는" 것과 비슷했습니다. 하지만 MotionStream 은 "요리사가 재료를 보며 바로바로 요리를 해주는" 것처럼, 사용자가 마우스로 움직임을 그리자마자 화면이 실시간으로 반응합니다.

이 기술을 이해하기 위해 몇 가지 재미있는 비유를 들어보겠습니다.

---

1. 과거 vs. 현재: "동시 작업" vs. "실시간 스트리밍"

• 기존 기술 (오프라인 방식):
  imagine(상상해 보세요) 한 영화 감독이 1 분짜리 영화를 만들려고 합니다. 그는 모든 장면 (시작, 중간, 끝) 을 한 번에 다 구상하고, 컴퓨터에 "이 모든 걸 한 번에 만들어줘"라고 명령합니다. 컴퓨터는 10 분~30 분 동안 열심히 계산하다가, 드디어 완성된 영상을 보여줍니다.

  • 문제점: 사용자가 중간에 "아니, 저기 고양이 발걸음을 더 빠르게 해줘!"라고 하면, 다시 30 분을 기다려야 합니다. 마치 비디오를 한 번에 다 찍고 나서 편집하는 것과 같습니다.

• MotionStream (실시간 스트리밍):
  이제 이 기술은 유튜브 라이브 방송처럼 작동합니다. 사용자가 마우스로 고양이의 움직임을 그리면, AI 는 그 순간부터 매우 빠르게 (초당 29 프레임) 영상을 만들어냅니다.

  • 장점: 사용자가 고양이를 왼쪽으로 끌면, AI 는 즉시 그 방향으로 움직이는 영상을 만들어냅니다. 지연 시간 (Latency) 이 0.4 초도 안 되어 마치 직접 조종하는 듯한 느낌을 줍니다.

2. 핵심 기술: "기억력 있는 선생님"과 "빠른 학생"

이 기술이 어떻게 그렇게 빠르면서도 똑똑할 수 있을까요? 여기에는 두 단계의 학습 과정이 있습니다.

1. 선생님 모델 (Teacher):
   먼저, 아주 똑똑하지만 느린 AI(선생님) 가 있습니다. 이 선생님은 모든 미래의 움직임을 미리 알고 있어야만 완벽한 영상을 그릴 수 있습니다. (예: "10 초 뒤에는 고양이가 점프할 거야"라고 미리 정해둬야 함). 이 선생님은 화질은 최고지만, 한 번 영상을 만들려면 시간이 오래 걸립니다.

2. 학생 모델 (Student) 과 '자기 강요' (Self Forcing):
   이제 이 느린 선생님을 가르쳐서, 빠른 학생을 만듭니다.

   • 비유: 선생님이 "앞으로 10 초를 다 보고 그려"라고 하는 대신, 학생은 **"지금까지 본 것만 보고 다음 장면을 예측해서 그려라"**라고 훈련받습니다.
   • 핵심 기술 (Attention Sink): 보통 이런 '앞만 보고 가는' 방식은 시간이 지나면 기억이 흐려져서 영상이 뭉개지거나 (Drift), 엉뚱한 게 튀어나옵니다. 하지만 MotionStream 은 시작 장면 (첫 번째 프레임) 을 '닻 (Anchor)'처럼 고정해 둡니다.
   • 비유: 배가 바다를 항해할 때, 닻을 내려놓으면 파도가 아무리 세도 배가 제자리를 유지하듯, MotionStream 은 시작 장면을 기억의 닻으로 고정시켜서 영상이 길어지더라도 처음의 모양과 질감을 잃지 않게 합니다.

3. 무한한 길이: "무한한 길"을 달리는 차

기존 기술들은 "5 초짜리 영상"만 만들 수 있어서, 10 초를 만들고 싶으면 다시 처음부터 시작해야 했습니다. 하지만 MotionStream 은 무한히 긴 영상을 만들 수 있습니다.

• 비유: 기존 기술은 정해진 거리 (예: 100m) 만 달릴 수 있는 마라토너라면, MotionStream 은 주유소만 있으면 끝없이 달릴 수 있는 차입니다.
• 원리: AI 가 매번 새로운 장면을 만들 때, 아주 오래된 기억 (수백 프레임 전) 까지 모두 기억하면 컴퓨터가 너무 무거워집니다. 대신 가장 최근의 장면 (창문) 과 시작 장면 (닻) 만 기억하고, 그 사이는 잊어버립니다. 이렇게 하면 컴퓨터의 메모리 부담은 그대로 유지하면서, 영상을 끝없이 길게 만들 수 있습니다.

4. 실제 활용 예시: "드래그 앤 드롭"으로 영화 만들기

이 기술을 사용하면 어떤 일이 가능할까요?

• 실시간 모션 트랜스퍼: 사진 속의 사람에게 마우스로 움직임을 그리면, 그 사람이 그 방향으로 춤을 추거나 걷는 영상을 실시간으로 만들어줍니다.
• 카메라 컨트롤: "왼쪽으로 회전하며 줌인 해줘"라고 말하거나 마우스로 카메라 경로를 그리면, AI 가 그 경로를 따라가며 3D 같은 영상을 만들어냅니다.
• 인터랙티브 게임: 사용자가 캐릭터를 직접 조종하듯, 마우스로 움직임을 그리면 그 즉시 캐릭터가 반응하는 영상을 생성할 수 있습니다.

요약: 왜 이것이 중요한가요?

MotionStream 은 비디오 생성을 '수동적인 기다림'에서 '능동적인 창작'으로 바꾸는 획기적인 기술입니다.

• 속도: 기존보다 100 배 이상 빠릅니다 (1 분 걸리던 게 1 초도 안 걸림).
• 상호작용: 사용자가 원하는 대로 실시간으로 수정할 수 있습니다.
• 무한성: 끝없이 긴 영상도 끊김 없이 만들어냅니다.

마치 마법 지팡이를 휘두르듯, 사용자가 마우스로 움직임을 그리면 AI 가 그 즉시 그 마법을 현실로 만들어주는 세상, MotionStream 이 바로 그 시작입니다.

기술 요약

MotionStream: 상호작용 가능한 모션 제어를 통한 실시간 비디오 생성

이 논문은 ICLR 2026 에 발표된 MotionStream이라는 새로운 프레임워크를 소개합니다. MotionStream 은 기존 비디오 생성 모델의 한계를 극복하고, 단일 GPU 에서 초당 29 프레임 (FPS) 의 속도로 무한한 길이의 비디오를 실시간 스트리밍하며 생성할 수 있게 합니다. 사용자는 마우스 드래그, 카메라 제어, 모션 전달 등을 통해 생성 과정을 실시간으로 제어하고 결과를 즉시 확인할 수 있습니다.

아래는 문제 정의, 방법론, 주요 기여, 결과 및 의의에 대한 상세 기술 요약입니다.

---

1. 문제 정의 (Problem)

기존 모션 조건부 비디오 생성 방법론은 다음과 같은 근본적인 제약으로 인해 실시간 상호작용이 불가능했습니다.

• 높은 지연 시간 (High Latency): 기존 모델은 5 초짜리 비디오를 생성하는 데 수 분 (예: 12 분) 이 소요되어 "렌더링 후 대기" 사이클을 강요합니다.
• 비인과적 처리 (Non-causal Processing): 확산 모델이 전체 시퀀스를 병렬로 처리 (양방향 어텐션) 하기 때문에, 사용자가 전체 모션 스펙을 입력하기 전까지는 어떤 부분 결과도 볼 수 없습니다.
• 짧은 생성 길이: 몇 초 이내의 짧은 비디오만 생성 가능하여 의미 있는 창의적 표현이나 확장된 상호작용에 한계가 있습니다.

2. 방법론 (Methodology)

MotionStream 은 고품질의 모션 제어 능력을 가진 '교사 (Teacher)' 모델을 학습한 후, 이를 실시간 스트리밍이 가능한 '학생 (Student)' 모델로 증류 (Distillation) 하는 2 단계 접근법을 사용합니다.

A. 모션 제어 기능 추가된 양방향 교사 모델 (Bidirectional Teacher)

• 아키텍처: Wan 2.1/2.2 기반의 Diffusion Transformer 를 사용합니다.
• 트랙 표현 (Track Representation): ControlNet 스타일의 무거운 아키텍처 대신, **경량화된 트랙 헤드 (Track Head)**와 **사인 코사인 위치 인코딩 (Sinusoidal PE)**을 사용하여 2D 모션 궤적을 인코딩합니다. 이는 RGB 비디오로 인코딩하는 기존 방식보다 훨씬 빠르고 정확한 궤적 추적을 가능하게 합니다.
• 공동 가이드 (Joint Guidance): 텍스트 프롬프트와 모션 궤적을 동시에 조건으로 사용하여, 텍스트는 자연스러운 동역학을, 모션 궤적은 정확한 경로 추적을 보장하도록 설계되었습니다.

B. 인과적 증류 및 실시간 스트리밍 (Causal Distillation & Streaming)

교사 모델을 기반으로 실시간 추론이 가능한 인과적 (Causal) 학생 모델을 만들기 위해 다음과 같은 핵심 기술들을 도입했습니다.

• 자기 강제 (Self Forcing) 및 분포 매칭 증류 (DMD): 교사 모델의 고품질 분포를 학생 모델에 전이하기 위해 자기 강제 (Self Forcing) 스타일의 자기 롤아웃 (Self-rollout) 과 분포 매칭 증류 (Distribution Matching Distillation) 를 사용합니다. 이를 통해 다단계 가이드의 계산 비용을 단일 함수 평가로 줄입니다.
• 어텐션 싱크 (Attention Sinks) 와 KV 캐시 롤링:
  • 긴 비디오 생성 시 발생하는 '드리프트 (Drift)' 문제를 해결하기 위해, 초기 프레임 토큰을 고정된 '싱크 (Sink)'로 유지하는 어텐션 싱크 메커니즘을 도입했습니다. 이는 LLM 의 StreamingLLM 에서 영감을 얻은 것으로, 초기 이미지가 전체 생성의 안정성을 유지하게 합니다.
  • 슬라이딩 윈도우 어텐션과 KV 캐시 롤링을 결합하여, 컨텍스트 윈도우 크기가 증가하지 않도록 고정합니다. 이는 계산 비용이 비디오 길이에 비례하여 증가하는 것을 방지하고 일정한 속도의 생성을 가능하게 합니다.
• Tiny VAE: 비디오 디코딩 병목 현상을 해결하기 위해 경량화된 Tiny VAE 를 학습하여 디코딩 시간을 10 배 이상 단축했습니다.

3. 주요 기여 (Key Contributions)

1. 실시간 스트리밍 파이프라인: 단일 H100 GPU 에서 29.5 FPS로 실행 가능한 최초의 스트리밍 모션 조건부 비디오 생성 파이프라인을 제시했습니다.
2. 시너지 시스템: 경량화된 트랙 헤드, 텍스트 - 모션 공동 가이드, Tiny VAE 를 통합한 효율적인 아키텍처와 증류 프로세스를 설계했습니다.
3. 장기 비디오 생성 전략: 어텐션 싱크와 지역적 어텐션, 그리고 외삽 (Extrapolation) 을 고려한 학습 전략을 체계적으로 탐구하여, 긴 비디오 생성 중 발생하는 드리프트를 효과적으로 방지했습니다.
4. SOTA 성능 및 속도: 모션 전달 (Motion Transfer) 과 카메라 제어 (Camera Control) 작업에서 기존 방법론보다 20 배 이상 빠르면서도 최고 수준의 품질을 달성했습니다.

4. 실험 결과 (Results)

• 속도 및 지연 시간:
  • 480P 해상도에서 17 FPS, Tiny VAE 최적화 시 29.5 FPS 달성.
  • 720P 해상도에서 10 FPS, Tiny VAE 최적화 시 23.9 FPS 달성.
  • 지연 시간 (Latency) 은 0.39 초로, 실시간 상호작용에 적합한 수준입니다.
• 정량적 평가 (Motion Transfer):
  • DAVIS 및 Sora 데모 데이터셋에서 재구성 품질 (PSNR, SSIM, LPIPS) 과 모션 정확도 (EPE) 에서 기존 방법 (AnimateDiff, Go-With-The-Flow, Diffusion-As-Shader 등) 보다 우수한 성능을 보였습니다.
  • 특히 5B 모델 기준 720P 해상도에서도 10.4 FPS 를 유지하며 고품질 생성이 가능합니다.
• 카메라 제어:
  • 단일 이미지 기반 3D 신뷰 합성 (Novel View Synthesis) 태스크에서 기존 3D 기반 방법론들보다 훨씬 빠른 속도로 더 나은 결과를 보여주었습니다.
• 사용자 연구:
  • 비디오 품질 평가에서 10 배 큰 모델 (Wan 2.1 14B) 을 사용하는 ATI 와 비교했을 때, MotionStream 의 증류된 모델이 모션 추적 정확도와 전반적인 품질에서 경쟁력 있는 결과를 보였습니다.

5. 의의 및 결론 (Significance)

MotionStream 은 비디오 생성을 수동적인 '기다림'의 경험에서 능동적인 '창작'의 과정으로 전환시켰습니다.

• 상호작용의 혁신: 사용자가 실시간으로 궤적을 그리거나 카메라를 움직이며 즉각적인 피드백을 받을 수 있어, 영상 제작의 장벽을 낮춥니다.
• 무한한 길이 생성: 고정된 컨텍스트 윈도우와 어텐션 싱크 메커니즘을 통해 이론상 무한한 길이의 비디오를 생성할 수 있으며, 이는 기존 확산 모델의 한계를 극복한 것입니다.
• 실용성: 단일 GPU 에서 실행 가능하여 고사양 서버 없이도 실시간 인터랙티브 애플리케이션 (게임, VR, 실시간 편집 도구 등) 에 적용할 수 있는 가능성을 열었습니다.

결론적으로 MotionStream 은 실시간성, 품질, 제어 가능성이라는 세 가지 핵심 요소를 모두 만족시키는 획기적인 비디오 생성 프레임워크로, 생성형 AI 의 상호작용적 미래를 제시합니다.