🤖 machine learning

LVSA: Training-Free Sparse Attention for Long Video Diffusion

LSVAは、構造化されたウィンドウと回転するグローバルアンカーを組み合わせることで、ビデオ品質を維持または向上させつつ、長尺ビデオ拡散推論を大幅に加速し生成ホライゾンを拡張する、トレーニングフリーかつモデルに依存しないブロックスパース・アテンション機構であり、より正確な品質評価のためのVQevalの導入も併せて行っている。

原著者： Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが少しパニックに陥りやすいAIアシスタントを使って映画の監督をしていると想像してください。このアシスタントは短いクリップを作るのは得意なのですが、長い映画（数百フレームに及ぶもの）を作るよう頼むと、パニックを起こしてしまいます。

ここに、いくつかのシンプルな物語を通して説明された、この論文が解決する問題があります。

1. 問題：「疲れ果てた司書」

現在のビデオAIモデルは、たった一つの質問に答えるために、棚にあるすべての本をチェックしなければならない司書のようです。

コスト： もし100フレームのビデオがあれば、司書は100冊の本を読まなければなりません。もし1,000フレームあれば、1,000冊の本を読まなければなりません。しかし、ここでの落とし穴は、良い繋がりを見つけるために、司書はあらゆる本を他のすべての本と比較しなければならないということです。作業量は単に2倍になるのではなく、爆発的に増加します（二次関数的に）。これにより、長いビデオを生成するのは非常に遅く、高価なものになります。
「フリーズ」のバグ： 司書が疲れすぎてしまうと（ビデオが長すぎるため）、創造的に考えることをやめてしまいます。彼らはただ同じページを何度も何度も繰り返すだけになります。ビデオの世界では、キャラクターの動きが止まり、背景の変化がなくなり、ビデオが「凍りついた」あるいは「ループしている」ようなひどい状態になります。

2. 解決策：LVSA（「スマートなツアーガイド」）

著者たちは LVSA (Long Video Sparse Attention) を導入しました。これは、疲れ果てた司書を 「スマートなツアーガイド」 に置き換えることを意味します。

すべての本を読み通す代わりに、ガイドは巧妙な戦略を使います。

ローカル・ウィンドウ（局所的な窓）： 現在のシーンについては、ガイドはすぐ周囲の状況（「ローカル・ウィンドウ」）だけを見ます。これにより、細部を鮮明に保ち、アクションをスムーズにします。
グローバル・アンカー（全体的な指標）： 物語の全体像を記憶するために、ガイドは映画の中に散らばったいくつかの「ランドマーク（目印）」（グローバル・アンカー）を選びます。物語が脱線していないかを確認するために、彼らは定期的にこれらのランドマークをチェックします。
回転するシフト（Rotating Shift）： ここに魔法のトリックがあります。古い方法では、ガイドは常に同じランドマークをチェックしていました。これが「フリーズ」のバグを引き起こした原因です。なぜなら、ガイドが特定の場所に飽きてしまうからです。LVSAは、このランドマークを**回転（ローテーション）**させます。ある瞬間には映画の始まりをチェックし、次の瞬間には少し後の地点をチェックします。これにより、ガイドの新鮮さが保たれ、映画全体が静止したループではなく、生き生きとしたものになります。

最高の点は、 ガイドを再学習させる必要がないことです。この新しい戦略を既存のAIに渡すだけで、すぐに機能します。

3. 結果：より速く、より長く、より良く

著者たちは、この「スマートなツアーガイド」を3つの異なる強力なAIモデル（WanおよびHunyuanVideo）でテストし、以下の結果を得ました。

スピード： 長いビデオの生成を、古い方法よりも3倍速く（時にはそれ以上）しました。
- 比喩： 古い方法で長いクリップを作るのに50分かかっていたとしたら、新しい方法では約16分で済みます。
実現可能性： 以前は、あまりにも多くのコンピュータメモリを必要としたため（「司書」が机のスペースを使い果たしてしまったため）、作成自体が不可能だったビデオもありました。LVSAは必要なメモリを大幅に削減するため、これらの長いビデオを標準的な一つのコンピュータチップ上で作成できるようになりました。
品質： ビデオはよりダイナミックになります。キャラクターは凍りつくことなく、自然に動きます。
- 「フリーズ」テスト： 著者たちは、VQeval と呼ばれる新しいスコアリングツールを作成しました。古いスコアリングツールは、一貫性があるという理由で、壁をじっと見つめているだけの学生に「A+」を与える教師のようなものでした。VQevalは、より厳しい教師であり、凍りついたビデオには「F」を、動きのあるビデオには「A」を与えます。LVSAは「A」を獲得しました。

4. 実世界でのテスト

チームは、この方法を一つのタイプのコンピュータだけでテストしたわけではありません。彼らは、これが以下の環境でも動作することを示しました。

GPU： AIに使用される標準的な強力なチップ。
NPU： 一部の新しいデバイスに見られる特化したチップ。これにより、この手法が異なるハードウェア上でも柔軟に動作できることが証明されました。

まとめ

LVSA は、ビデオAIのための無料のプラグアンドプレイのアップグレードです。これは、長いビデオの再生中にAIが「疲れて」固まってしまうのを防ぎます。これは、AIに目の前の動きに集中させつつ、物語を動かし続けるために、回転する「ランドマーク」を時折チェックさせることで実現しています。その結果、作成がより速く、より小さなコンピュータに適合し、静止画のスライドではなく、実際に動いている映像として見えるビデオを生み出します。

技術要約: LVSA: 長尺ビデオ拡散のための学習不要な疎なアテンション（Sparse Attention）

1. 問題提起

WanやHunyuanVideoなどのビデオ拡散トランスフォーマー（DiT）は、長尺ビデオを生成する際に2つの決定的なボトルネックに直面します。

計算コスト: 標準的な高密度自己アテンション（Dense Self-Attention）は、シーケンス長（フレーム数）に対して二次関数的（ $O(N^2)$ ）にスケールします。これにより、長尺ビデオの推論は極めて高コストになります。
品質の劣化: 学習時のホライゾン（例：Wanでは81フレーム、HunyuanVideoでは129フレーム）を超えると、高密度アテンションは、ほぼ静止した、あるいは「凍結」またはループする出力へと収束してしまいます。これにより、動きや時間的な変化が失われ、ビデオの品質が低下します。

既存の解決策は不十分です。一部の手法はコストのかかる再学習を必要とし、スライディングウィンドウやラジアルアテンションのような他の手法は、長距離の時間的な反復アーティファクトを排除することに失敗しています。逆に、品質を維持する外挿手法（RIFEx、UltraViCoなど）は、依然として高密度なアテンション行列に依存しているため、計算コストを削減できていません。

2. 手法: 長尺ビデオ疎アテンション (LVSA)

著者らは、計算効率と時間的一貫性のバランスを取るために設計された、学習不要でモデルに依存しないブロック疎アテンションメカニズムであるLVSAを提案しています。

コアメカニズム

LVSAは、クエリフレーム $t$ が注目するフレームの集合 $A(t)$ を制限し、全フレーム集合 $\{0, \dots, T-1\}$ を以下の2つのコンポーネントの和集合に置き換えます。
$A(t) = G \cup W(t)$

回転するグローバルアンカー ( $G$ ):
- 固定されたグローバルフレームのグリッド（これは中間フレームが局所的にしか見られないというバイアスを引き起こします）を使用する代わりに、LVSAは回転する周期的なグローバルフレームを採用しています。
- 各デノイジングステップ $s$ において、グローバルフレームの集合 $G_s$ は $s \pmod{T_{per}}$ だけシフトします。
- $T_{per}$ 回の連続するステップにわたって、すべてのフレームがグローバルアンカーとして正確に一度ずつ機能します。これにより、固定グリッドのバイアスを排除し、中間フレームの表現が系統的に貧弱になるのを防ぎ、反復やアイデンティティのドリフトといった長距離の時間的アーティファクトを低減します。
拡張された適応型ウィンドウ ( $W(t)$ ):
- 各フレームは、サイズ $W$ の局所的な時間ウィンドウに注目します。
- クエリフレームあたりのアテンション予算を一定に保つため、著者らは拡張されたウィンドウ境界を導入しています。局所ウィンドウがグローバルフレームと重なる場合、重なりを補償するためにウィンドウを動的に拡張し、すべてのフレームにおいて $|A(t)| \approx C$ （目標予算）となるようにします。
- 目標予算 $C$ は通常、モデルの学習ホライゾン（例：Wan 2.1 1.3Bでは21フレーム）に設定され、推論コストが学習コストと一致するようにします。

計算量

注目されるフレーム数を $C$ に固定することで、クエリあたりのアテンションの計算量は $O(C \cdot P \cdot d)$ となり、総計算量は $O(T \cdot C \cdot P^2 \cdot d)$ となります。これはフレーム数 $T$ に対して漸近的に線形であり、スケーラブルな長尺ビデオ生成を可能にします。

評価ベンチマーク: VQeval

著者らは、「ループ」や静止した失敗を適切にスコアリングするために設計されたカスタム評価ツールであるVQevalを導入しました。VBench-Longのような最先端の評価器は、フレーム間の類似性を高く評価するため（それによって静止したビデオも高くスコアしてしまう）、VQevalとは異なります。VQevalは、「動的品質（dynamic quality）」および「ループ品質（loop quality）」の次元を通じて、動きの欠如やループのアーティファクトを明示的に罰します。

3. 主な貢献

LVSA アルゴリズム: 固定グリッドのバイアスを取り除き、計算量を削減するために、回転するグローバルアンカーと拡張された適応型ウィンドウを組み合わせた、新しい学習不要の疎アテンションパターン。
VQeval ベンチマーク: 長尺ビデオ生成に共通する静止/ループの失敗モードを検出し、罰するために特別に調整された新しい指標。既存の指標の欠点を克服しています。
クロスアーキテクチャ検証: 3つの異なるDiTアーキテクチャ（Wan 2.1 1.3B、Wan 2.1 14B、HunyuanVideo 1.5）およびハードウェアプラットフォーム（GPUおよびNPU）にわたる有効性の実証。
オープンソース実装: 本手法は、普及しているオープンソースプラットフォームのプラグインとしてリリースされています。

4. 実験結果

計算効率

スピードアップ: 80GB GPU上で、LVSAをFlashInferカーネルと組み合わせることで、高密度アテンションと比較して大幅なスピードアップを実現しました。
- 3.17倍 (Wan 2.1 1.3B, 6倍ホライゾン)
- 2.98倍 (Wan 2.1 14B, 6倍ホライゾン)
- 3.33倍 (HunyuanVideo 1.5, 1.5倍ホライゾン)
メモリの実現可能性: LVSAは、高密度アテンションではメモリ不足（OOM）により失敗するホライゾンでの生成を可能にします。例えば、HunyuanVideo 1.5の2倍ホライゾン（257フレーム）の生成は、単一の80GB GPUを用いた高密度アテンションでは不可能ですが、LVSAを使用すると成功します（ピークメモリは約60 GB）。
NPU パフォーマンス: NPU上では、LVSAは6倍ホライゾンにおいて 2.71倍 (Wan 2.2 A14B) および 3.24倍 (Wan 2.1 1.3B) のスピードアップを達成しました。

ビデオ品質

学習ホライゾン: 自然な学習ホライゾン（1×）において、LVSAはすべての指標において高密度アテンションと比較して品質的に中立（同等）です。
拡張ホライゾン: 学習ホライゾンを超えると、LVSAは高密度アテンションを大幅に上回ります。
- Wan 2.1 1.3B (6倍ホライゾン) において、高密度アテンションがほぼ静止した出力に崩壊するのに対し、LVSA-FIはVQeval複合スコアで +12.1 高いスコアを記録しました。
- VBench-Long vs. VQeval: VBench-Longのスコアは、高密度アテンションにおいて拡張ホライゾン時に上昇することがありますが（静止した一貫性にバイアスがあるため）、VQevalはこれを品質の失敗として正しく識別します。LVSAは真の動きを維持し、より高いVQevalスコアを実現します。
SOTAとの比較: LVSAは、計算量と品質の両面でRIFExおよびUltraViCoを凌駕しています。
- 速度: LVSAは、Wan 2.1 1.3Bにおいて、UltraViCoより最大 3.27倍、RIFExより 2.41倍 高速です。
- 品質: LVSAはテストされたすべてのホライゾンにおいて最高のVQeval複合スコアを達成していますが、RIFExは品質崩壊の観点から高密度アテンションと統計的に区別がつかず、UltraViCoは高いレイテンシコストを伴います。

5. 意義と主張

本論文は、LVSAが計算量と品質のトレードオフを長尺ビデオ拡散においてうまく活用していると主張しています。静的な疎パターンに固有の固定グリッドバイアスを取り除き、回転するグローバルアンカー戦略を利用することで、LVSAは長期間のビデオ生成を悩ませる「凍結」されたビデオのアーティファクトを防ぎます。

著者らは、彼らのアプローチが**学習不要（training-free）かつモデルに依存しない（model-agnostic）**ことを強調しており、再学習なしに既存のDiTアーキテクチャに即座に適用できることを示しています。さらに、VQevalの導入は現在の評価基準の重大な欠陥を浮き彫りにしており、静止した一貫性に報酬を与える指標は、長尺ビデオ生成においては誤解を招くものであると論じています。この研究は、高密度アテンションの二次関数的なメモリおよび計算量の障壁を克服し、単一のGPUやNPUで高品質な長期間ビデオを線形スケーリングで生成することが可能であることを証明しています。