💻 computer science

SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces

本論文は、アテンション機構の二次的な計算量の制限を克服するために、双方向構造状態空間モデル（SSM）を効率的な時間的特徴抽出器としてビデオ拡散モデルに統合することを提案し、メモリ消費量を大幅に削減しながら高品質な長期ビデオ生成を可能にするものである。

原著者： Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：ビデオAIにおける「交通渋滞」

あなたがロボットに、フレームごとに映画を描く方法を教えようとしていると想像してください。映画を滑らかで論理的なものにするためには、ロボットは前のフレームで何が起きたかを記憶し、次に何が起こるかを予測する必要があります。

現在のAIモデル（拡散モデルと呼ばれます）はこれを得意としていますが、長い動画を作る際に大きなボトルネックに直面します。彼らは**アテンション（Attention）**と呼ばれる仕組みを使用しています。アテンションを、必要な本を見つけるために図書館にあるすべての本を読まなければならない「司書」だと考えてください。

短い動画（16フレーム）： 図書館は小さいです。司書は素早く本を見つけます。
長い動画（256フレーム）： 図書館は膨大です。司書は接続点を見つけるために、あらゆる本とあらゆる他の本を照らし合わせなければなりません。作業量は単に2倍になるのではなく、4倍になります。これはコンピュータのメモリと処理能力に「交通渋滞」を引き起こし、長い動画を生成することを非常に高価で遅いものにします。

解決策：「状態空間」のエクスプレス・レーン

この論文の著者たちは、AIの「記憶」の部分を扱う新しい方法を提案しています。それは、司書を状態空間モデル（SSM）、具体的にはMambaと呼ばれるタイプに置き換えることです。

SSMを、司書の代わりに高速列車だと考えてみください。

毎回すべての履歴を読み直す代わりに、列車は自分がどこを通ってきたかの「要約」を運んでいます。
次の駅（次のビデオフレーム）に移動する際、新しい駅に基づいて要約を更新するだけです。
結果： 列車が16マイル進むときも256マイル進むときも、かかる時間と燃料（計算コスト）は、予測可能な直線的な形で増加します。司書の方法のようにコストが爆発することはありません。

彼らが実際にやったこと

研究者たちはビデオ生成器を構築し、その「アテンション」エンジンをこの新しい「SSM」エンジンに交換しました。彼らは3つの異なるビデオデータセットでテストを行いました。

MineRL Navigate： マインクラフトのような世界をナビゲートするロボット。
GQN-Mazes： 3D迷路を解くロボット。
CARLA-Town01： 自動運転車のシミュレーション。

彼らは、短いクリップ（16フレーム）から長いシーケンス（256フレーム）までのビデオをテストしました。

主な知見

1. 長尺ビデオの勝者
短い動画（16フレーム）を生成する場合、新しいSSM手法と従来のAttention手法は互角でした。しかし、**長い動画（256フレーム）**を生成しようとすると、SSM手法が大幅にリードしました。

比喩： これは、短いドライブウェイで自転車とスポーツカーを比較しているようなものです（どちらも問題ありません）。しかし、200マイルのハイウェイでは、スポーツカー（SSM）の方が速く目的地に到達し、ガソリンも節約できますが、自転車（Attention）は疲れ果てて速度が落ちてしまいます。
証拠： SSMモデルは、Attentionモデルよりも少ないメモリと少ない時間を使用して、より高品質なビデオ（FVDと呼ばれるスコアで測定）を生成しました。

2. 秘訣：双方向の交通量とスマートなフィルタリング
研究者たちは、単にエンジンを入れ替えるだけでは不十分であり、最高の結果を得るためには2つの特定の方向にチューニングする必要があることを見出しました。

双方向性（Two-Way Traffic）： 標準的なSSMは前方のみ（過去から未来へ）を見ます。研究者たちは、モデルに両方向（過去と未来の両方）を見せました。
- 比喩： 車を運転している場面を想像してください。フロントガラス越しに前だけを見ていたら、横から車が飛び出してくることに気づかないかもしれません。バックミラー（未来のコンテキスト）も見ることで、AIはシーン全体をより良く理解できます。
選択的スキャン（Selective Scans / スマートなフィルタリング）： モデルは、退屈で繰り返しの多いフレームを無視し、重要な変化に集中することを学習しました。
- 比喩： 小説を読んでいる場面を想像してください。もし10ページにわたって同じ空っぽの廊下が描写されていたら、あなたは読み飛ばします。しかし、キャラクターが部屋に入ってきたら、注意深く読みます。SSMはこれを自動的に行い、「記憶」を重要な瞬間のために新鮮に保ちます。

まとめ

この論文は、長い動画を作成するためには、従来のAttention手法よりも状態空間モデル（SSM）を使用する方が賢明で効率的であることを証明しています。これにより、コンピュータは非常に高価なハードウェアを必要とせずに、より長く滑らかな動画を生成できるようになり、実質的にビデオAIを制限してきたメモリの限界を回避するための「チートコード」を研究者に提供しています。

注：この論文は、技術的なアーキテクチャと特定のデータセットにおけるパフォーマンスに厳密に焦点を当てています。これらのモデルが現在、医療診断、リアルタイムセキュリティ、または商業的な映画制作に即座に使用できると主張しているのではなく、長期間のビデオ生成という特定のタスクにおいて優れたアーキテクチャの選択肢であることを示しています。

技術要約：SSMとビデオ拡散モデルの融合

1. 問題提起

研究コミュニティは、画像生成からビデオ生成へと拡散モデルを拡張することにますます注力しています。近年のビデオ拡散モデル（VDM）は素晴らしい能力を示していますが、それらは主に、ビデオフレーム間の時間的特徴を抽出するためにアテンション機構に依存しています。このアプローチの決定的な限界は、アテンション層の計算コスト（メモリおよび時間）が、シーケンス長 $L$ に対して二次関数的（ $O(L^2)$ ）にスケールすることです。

この二次的なスケーリングは、長期的なビデオシーケンスの生成において大きな障壁となっています。その結果、多くの最先端の手法は、短いシーケンス（例：16フレーム、または8 fpsで約2秒間）に制限されています。最近の大規模なモデルの中には、より長いシーケンスに対処しようとするものもありますが、実用的なメモリおよび計算上の制約により、生成可能な長さが制限されることがよくあります。本論文は、高い生成品質を維持しながら、効率的な長期ビデオ生成を可能にするために、線形計算量を提供する時間的特徴抽出器の必要性を指摘しています。

2. 手法

著者らは、標準的なビデオ拡散モデルのテンポラル・アテンション層を、構造化状態空間モデル（SSM）、具体的にはMambaアーキテクチャを利用したものに置き換えることを提案しています。

コアアーキテクチャ

ベースライン: 本研究では、U-Netベースのビデオ拡散モデル（VDM）をベースラインとして使用します。標準的なVDMでは、フレーム間の依存関係を捉えるために、空間アテンション層とテンポラル・アテンション層が交互に配置されています。
提案された修正: 著者らは、空間層（畳み込みおよび空間アテンション）は変更せずに、テンポラル・アテンション層をテンポラルSSM層に置き換えます。
双方向Mamba: 本来は因果的（単方向）である標準的なSSMとは異なり、提案されたテンポラル層は双方向Mambaブロックを採用しています。これは以下の2つの並列ブランチで構成されます：
- フレームの開始から終了までを処理するフォワードブランチ。
- フレームの終了から開始までを逆方向に処理するバックワードブランチ。
- 両ブランチの出力は、最終的な線形投影の前に合算されます。これにより、モデルは過去と未来の両方のフレームに依存する時間的ダイナミクスを捉えることができます。
選択的スキャン（S6）: 実装には、Mambaに見られる選択的スキャンメカニズムを利用しています。ここでは、状態空間を制御するパラメータ（ $B$ 、 $C$ 、および離散化ステップ $\Delta$ ）が入力依存となります。これにより、モデルは不要な情報を選択的に破棄し、不可欠な情報を長期間保持し、各フレームの内容に基づいて状態更新を適応させることができます。
複雑性: SSMを活用することで、テンポラル層のメモリ割り当てと計算時間は、アテンションの二次的なスケーリングとは対照的に、シーケンス長に対して線形的（ $O(L)$ ）にスケールします。

3. 主な貢献

アーキテクチャの提案: 本論文は、長期生成（ $\ge$ 256フレーム）のためのビデオ拡散モデルの時間軸に対して、双方向Mambaブロックを適用した最初の事例を提示しています。
効率性の分析: SSMベースのテンポラル層が、アテンションベースの層と同等または優れた生成性能を達成しつつ、計算コスト（メモリおよび推論時間）を大幅に削減できることを示しています。
アブレーションによる洞察: 詳細なアブレーション分析により、以下を示しています：
- 双方向性が極めて重要であること。単方向のSSMはアテンションベースのベースラインよりも性能が劣ります。
- 選択的スキャンが不可欠であること。非選択的なSSM（S4Dなど）は、長いシーケンスにおける時間的依存関係を捉える能力において、選択的バリアントよりも大幅に劣ります。
包括的な評価: 本手法は、複数のデータセット（MineRL Navigate、GQN-Mazes、CARLA-Town01）および様々なモデルサイズ（約14Mから約913Mパラメータ）およびシーケンス長（16、64、256フレーム）にわたって評価されています。

4. 実験結果

実験は以下の3つのデータセットに対して行われました：

MineRL Navigate: 1,186本のビデオ（Minecraft環境）。
GQN-Mazes: 108,200本のビデオ（3D迷路シミュレータ）。
CARLA-Town01: 508本のビデオ（自動運転シミュレータ）。

主な知見:

短尺シーケンス（16–64フレーム）: SSMベースのモデルは、同一の計算制約下で、アテンションベースのモデルと同等の生成性能（FVDで測定）を達成しています。
長尺シーケンス（256フレーム）: SSMベースのモデルは、アテンションベースのモデルを大幅に上回っています。同一のメモリおよび時間制約の下で、SSMモデルはより低いFVD（より高い品質）を達成しました。
リソース効率: 256フレームのシーケンスにおいて、SSMベースのアプローチは、同サイズのアテンションベースの対照群と比較して、約1.56倍高速な推論および1.56倍低いメモリ使用量を示しました。
スケーリング挙動: アテンションモデルのメモリと推論時間がシーケンス長に対して二次的に増加するのに対し、SSMベースのモデルは線形な増加のみを示します。
アブレーション結果: MineRL 256フレームのデータセットにおいて、完全な双方向選択的スキャンSSMは、非選択的SSMの458、単方向SSMの610に対し、381のFVDを達成しました。

5. 意義と主張

本論文は、SSMを時間的特徴抽出器として活用することで、特に長期シーケンスにおいて、アテンションベースの手法と比較して同じ計算コストでより高い生成性能を実現できると主張しています。

アクセシビリティ: 長期ビデオ生成の計算障壁を下げることで、このアプローチは、限られた計算リソースしか持たない機関でも最先端のビデオ生成研究に参加することを可能にします。
アーキテクチャの優位性: 本研究は、時間的アーキテクチャの選択が極めて重要であることを示唆しています。単にアテンションをナイーブなSSMに置き換えるだけでは不十分であり、ビデオ生成におけるアテンションメカニズムの性能に匹敵または凌駕するためには、双方向性と選択的スキャンの組み合わせが必要となります。
将来の可能性: 著者らは、彼らのテンポラルSSMブロックがテンポラル自己アテンションの「ドロップイン置換（そのまま置き換え可能なもの）」であると述べています。これは、テンポラル混合層の基礎となる複雑さを変更することなく、潜在拡散（Latent Diffusion）、カスケード・パイプライン、または自己回帰生成などの既存の戦略と組み合わせて、さらなる長尺生成を向上させることができることを意味しています。

著者らは、実験が時間的効果を分離するために32×32の空間解像度に固定されていたことや、非常に長いシーケンス（ $\ge$ 512フレーム）では、I3Dバックボーンが短尺クリップで事前学習されているためにFVDのような評価指標が信頼性を欠く可能性があることなど、限界についても謙虚に認めています。彼らは、より高い解像度へのスケーリングと、より優れた長期間評価プロトコルの開発を今後の課題として挙げています。