MotionStream: Real-Time Video Generation with Interactive Motion Controls

MotionStream は、教師モデルを因果的な学生モデルに蒸留し、スライディングウィンドウ機構とアテンションシンクを採用することで、無限長の動画をリアルタイムかつ高品質に生成できる新しい動画生成フレームワークです。

要約

動画生成の「リアルタイム化」を実現する「MotionStream」の解説

この論文は、**「動画生成 AI が、まるで生放送のように、ユーザーの操作に即座に反応して動き続ける」**という画期的な技術「MotionStream」を紹介しています。

これまでの動画生成 AI は、まるで「料理を注文してから数十分待って、完成品が運ばれてくる」ようなものでした。しかし、MotionStream は**「料理人が目の前で調理し、ユーザーが「もっと塩を」「火を強く」と言えば、その瞬間に味付けが変わる」**ような体験を実現します。

以下に、専門用語を避け、身近な例えを使って解説します。

---

1. 従来の問題点：なぜ「待たされる」のか？

これまでの動画生成 AI（拡散モデル）は、**「全知全能の監督」**のようなものでした。

• 仕組み: 動画の「最初」から「最後」までを一度にすべて頭の中でシミュレーションしてから、一気に完成させます。
• デメリット:
  • 時間がかかる: 5 秒の動画を作るのに 10 分以上待つこともあります。
  • 双方向の制約: 監督は「未来（動画の終わり）」も「過去（動画の始まり）」も同時に見ていないと、良い動画が作れません。そのため、ユーザーが「ここを動かして」と指示するまで、動画は始まれません。
  • 短時間: 長い動画を作るのは難しく、すぐに終わってしまいます。

これでは、ゲームのように「今、ここを動かして！」とリアルタイムで指示することは不可能でした。

2. MotionStream の正体：流れるように動く「ストリーミング」

MotionStream は、この「待たされる」仕組みを根本から変えました。
**「動画は、最初から最後まで一度に作るのではなく、一コマずつ、流れるように（ストリーミング）作っていく」**という考え方です。

• アナロジー:
  • 従来の AI: 巨大な絵画を、キャンバスの端から端まで同時に塗りつぶそうとして、完成するまで何時間もかかる。
  • MotionStream: 絵筆で一筆ずつ描き進める。ユーザーが「ここを赤くして」と言えば、次の一筆で赤く描き足す。描いている最中にも、ユーザーは次の指示を出せる。

これにより、**1 秒間に 29 枚（29 FPS）**という、人間の目が追える速度で動画が生成され、遅延（ラグ）は 0.4 秒以下になりました。

3. 3 つの魔法の技術

この高速化を実現するために、3 つの工夫がなされています。

① 「先生」と「生徒」の教え合い（ディストーション）

• 仕組み: まず、高品質だが遅い「先生（Teacher）」AI を作ります。この先生は、テキスト（「雨の街」）と動きの軌道（「犬が走る道」）の両方を完璧に理解して動画を作ります。
• 工夫: この「先生」の知識を、「生徒（Student）」AIに教えます。生徒は、先生が何回も考えて出した答えを、**「1 回で即座に答える」**ように訓練されます。
• 結果: 高品質なまま、処理速度が劇的に向上しました。

② 「最初の顔」を忘れない（Attention Sink）

• 課題: 動画が長くなると、AI は「最初の画像」を忘れてしまい、動画がぐちゃぐちゃになったり、色が変になったりします（ドリフト現象）。
• 解決策: AI の記憶（メモ帳）の中に、「最初の画像（スタート地点）」を常に 1 つだけ固定して残しておくことにしました。
• アナロジー: 長い旅路でも、「出発した駅の名前」を常に忘れないようにメモしておけば、道に迷わずに目的地まで行けるのと同じです。これにより、無限に長い動画でも、最初から一貫した美しさを保てます。

③ 「スライドする窓」で記憶を整理

• 仕組み: AI は過去のすべての情報を記憶しようとすると重くなりすぎます。そこで、「直近の少し前の情報」と「最初の固定情報」だけを記憶の窓（スライドウィンドウ）に入れて、それ以外は捨てます。
• 効果: 記憶容量が増えすぎず、常に一定の速度で処理を続けられます。

4. 何ができるようになるのか？

MotionStream が実現すると、以下のようなことが**「リアルタイム」**で可能になります。

• ドラッグ操作: 動画の中で、マウスで「花」を指して右にドラッグすれば、花がその通りに右へ動き出します。
• カメラ操作: 「カメラを左にパンして」と指示すれば、即座に視点が変わります。
• モーション転送: 人が踊っている動画の動きを、別のキャラクターに即座にコピーして適用できます。

まとめ

MotionStream は、動画生成 AI を**「待って完成するもの」から「対話して作り上げるもの」**へと変えました。

まるで、**「AI という名の天才画家が、あなたの指先一つで、その瞬間に絵を描き進めてくれる」**ような体験です。これにより、ゲーム制作、映画のプリビジュアライゼーション、インタラクティブなアートなど、これまでにないクリエイティブな世界が開けることが期待されています。

技術概要

MotionStream: インタラクティブな運動制御によるリアルタイム動画生成の技術的概要

本論文「MotionStream: Real-Time Video Generation with Interactive Motion Controls」は、従来の動画生成モデルが抱える「遅延（レイテンシ）」「非因果的処理」「短い生成時間」という課題を解決し、単一 GPU 上で29 FPSの速度で無限長の動画をリアルタイムに生成・制御することを可能にする新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

現在の運動制御付き動画生成（Motion-Conditioned Video Generation）の主要な課題は以下の 3 点です。

• 遅延の大きさ: 従来の拡散モデルは数分〜数十分のレンダリング時間を要し、リアルタイムな対話（「描いて待つ」サイクル）を阻害しています。
• 非因果的処理: 既存のモデルは双方向アテンション（Bidirectional Attention）を使用しており、生成開始前にすべての制御信号（運動軌跡など）を事前に知っておく必要があります。そのため、ユーザーは生成が完了するまで結果を確認できません。
• 生成時間の制限: 短いシーケンスしか生成できず、長期的な創造的な表現や無限に続く動画の生成が困難です。

これらを克服し、ユーザーが描いた軌跡やカメラ操作に対して即座に反応する「ディレクターの椅子」のような体験を実現することが目標です。

2. 提案手法 (MotionStream)

MotionStream は、高品質な双方向教師モデルを、リアルタイム推論可能な因果的（Causal）な学生モデルに蒸留する 2 段階のアプローチを採用しています。

A. 双方向教師モデルの構築 (Teacher Model)

• ベースモデル: Wan 2.1/2.2 (DiT 系) をベースにしています。
• 運動制御の導入: ControlNet 型の重み増大を避けるため、軽量な「トラックヘッド（Track Head）」を採用。2D 軌跡を正弦波位置符号化（Sinusoidal PE）でエンコードし、チャネル次元に結合します。これにより、軌跡追従性と動画品質を両立しつつ、計算オーバーヘッドを最小化しています。
• Joint Guidance: テキストプロンプト（自然な動き）と運動軌跡（正確な軌跡）の両方を条件として利用する「Joint Guidance」を導入。テキストガイドと運動ガイドの重みを調整することで、軌跡の厳密な追従と自然な二次的な動きのバランスを取っています。

B. 因果的蒸留とストリーミング生成 (Causal Distillation)

教師モデルをリアルタイム推論可能な学生モデルに転送する際、以下の技術的革新を適用しています。

1. 自己強制スタイルの蒸留 (Self Forcing-style Distillation):

   • 教師モデルの出力分布に一致するように、分布一致蒸留（Distribution Matching Distillation: DMD）を用いて、数ステップで生成可能な因果的拡散モデルを学習させます。
   • 教師モデルの複雑な Joint Guidance の計算コストを蒸留プロセスに埋め込み、学生モデルでは単一の関数評価（NFE）で同等の品質を達成します。

2. アテンションシンクとローリング KV キャッシュ (Attention Sinks & Rolling KV Cache):

   • 課題: 従来のスライディングウィンドウ自己回帰モデルは、長い動画生成において初期フレームへの依存が薄れ、ドリフト（品質劣化・崩壊）が発生します。
   • 解決: 大規模言語モデル（LLM）の「Attention Sink」の概念を動画モデルに適用。初期フレームのトークンを固定の「シンク（Sink）」として保持しつつ、最新のコンテキストのみをローリングウィンドウで処理します。
   • トレーニング戦略: 推論時の外挿（Extrapolation）をシミュレートするため、トレーニング中に「自己ロールアウト（Self-rollout）」と「ローリング KV キャッシュ」を直接適用します。これにより、固定されたコンテキストウィンドウ内で任意の長さの動画を安定して生成できるようになります。

3. Tiny VAE の採用:

   • 動画生成のボトルネックである VAE デコードを高速化するため、軽量な「Tiny VAE」を独自に訓練・導入しました。これにより、デコード時間を 10 倍以上短縮しています。

3. 主要な貢献

1. 世界初のリアルタイム・ストリーミング生成パイプライン: 単一 H100 GPU 上で29.5 FPS（480P）、23.9 FPS（720P）の生成速度を達成し、サブ秒レベルのレイテンシを実現しました。
2. 効率的なアーキテクチャと蒸留の統合: 軽量なトラックヘッド、Joint Text-Motion Guidance、Tiny VAE、および自己回帰ロールアウトを組み合わせたシナジーシステムを提案しました。
3. 長期ストリーミングのための新しい蒸留戦略: アテンションシンクと局所アテンション、外挿を意識したトレーニングを初めて体系的に探索し、長期生成におけるドリフトを防止しました。
4. 高性能な実用性: 運動転送やカメラ制御タスクにおいて、既存の手法よりも 20 倍以上高速でありながら、SOTA（State-of-the-Art）の品質を維持し、多様なインタラクティブユースケースに汎化します。

4. 実験結果と評価

• 速度: 単一 H100 GPU 上で、480P 解像度で 17 FPS、Tiny VAE 最適化後は 29.5 FPS を達成。レイテンシは 0.39 秒です。
• 運動転送 (Motion Transfer): DAVIS 検証セットおよび Sora デモセットにおいて、PSNR、SSIM、LPIPS、EPE（終点誤差）の指標で既存手法（Go-With-The-Flow, Diffusion-As-Shader, ATI など）を上回る性能を示しました。
• カメラ制御: 単一画像からの 3D 新規視点合成（Novel View Synthesis）タスクにおいて、LLFF データセットで既存の 3D 手法や拡散ベースの手法を凌駕し、かつ 20 倍以上高速でした。
• ユーザー調査: 生成された動画の画質評価において、ベースモデルの容量が小さいにもかかわらず、大規模モデル（Wan 2.1-14B）を用いた ATI などの手法と同等かそれ以上の画質を維持し、軌跡追従性も優れていることが確認されました。

5. 意義と将来展望

MotionStream は、動画生成を「受動的な待ち時間」から「能動的な創造プロセス」へと変革するものです。

• インタラクティブ性の向上: ユーザーはマウスドラッグ、カメラ操作、運動転送などをリアルタイムで行い、その結果を即座に確認・修正できます。
• 無限長の生成: 固定されたコンテキストウィンドウ内で無限に動画を生成できるため、ゲーム、シミュレーション、インタラクティブなストーリーテリングなどへの応用が期待されます。
• 技術的ブレイクスルー: 双方向拡散モデルの品質を維持しつつ、自己回帰モデルの低遅延・因果性を両立させるための「アテンションシンクを用いた蒸留」というアプローチは、今後の長尺動画生成や世界モデル研究にとって重要な指針となります。

本論文は、単に速度を向上させただけでなく、ユーザーと AI の間のインタラクションの質を根本から変える可能性を秘めた画期的な研究と言えます。