💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuadは、事前学習済みビデオ拡散Transformerを圧縮して $\mathcal{O}(n\sqrt{n})$ の複雑さを実現するサブクアドラティック（劣二次）なアテンション蒸留フレームワークであり、計算コストを大幅に削減し推論速度を向上させつつ、二次的なレベルのビデオ生成品質を提供します。

原著者： Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能による動く映像の生成は、現代のコンピューティングにおける最もエキサイティングな最前線の一つとなっています。ビデオ拡散モデルとして知られるこれらのシステムは、混沌とした静止ノイズの雲から始まり、テキストによる記述に基づいて、フレームごとに、一貫性のあるシーンへと徐々に洗練させていくことで機能します。これらがどのように行っているのかを理解するために、色、形、時間に関する情報を持つトークンである、膨大なデジタルピクセルのグリッドを想像してみてください。これらのモデルを動かすエンジンは、セルフアテンション（自己注意）と呼ばれるメカニズムです。このメカニズムにより、ビデオ内のあらゆる単一のトークンが他のすべてのトークンを参照し、それらが互いにどのように関連すべきかを決定できるようになります。この絶え間ない、すべてを見通すような接続こそが、ビデオに生命感のある質感を与え、最初の1秒間のキャラクターの動きが最後の出現と一致することを保証しているのです。しかし、この力には高い代償が伴います。ビデオが長くなったり詳細になったりするにつれ、システムが計算しなければならない接続の数が爆発的に増加し、プロセスが極めて遅く、高価なものになり、しばしば制作者をわずか数秒の映像に制限してしまいます。

Qualcomm AI Researchの研究者たちは、ビデオの品質を犠牲にすることなくこの問題を解決するために、SQuadと呼ばれる新しいアプローチを開発しました。複雑な接続を簡素化したり、核となるメカニズムをより安価で弱い代替品に置き換えたりする代わりに、彼らはシステムがデータを参照する方法を再編成する方法を見つけました。標準的な手法では、すべてのトークンが他のすべてのトークンと照合しなければならず、これはビデオのサイズが増加するにつれて制御不能になります。チームは、ビデオ生成においては、これらの接続のほとんどは実際には非常に弱いものであり、ある特定の瞬間において真に注意を払う必要があるのはごく少数の重要なトークン・グループだけであることに気づきました。この観察に基づき、彼らは2段階のプロセスを設計しました。まず、システムは近くのトークンを小さなウィンドウにグループ化し、局所的に情報を混合させます。次に、これらのウィンドウがビデオ全体にわたって互いに通信できるようにするための第2のパスを実行します。この構造により、モデルはシーンの全体像を維持しながら、必要な計算量を劇的に削減することができます。

この手法をWan 2.2と呼ばれる大規模なビデオ生成モデルに適用した結果は驚くべきものです。研究者たちは強力な学習済みモデルを取り出し、蒸留（新しいシステムが元の挙動を模倣するように学習するプロセス）を通じて、この新しい合理化されたアレンション手法を使用するように教えました。その結果、元のモデルとほぼ同等の視覚的品質を生み出し、厳格な品質テストでもほぼ同等のスコアを獲得しながら、コストを大幅に削減したモデルが得られました。元のモデルがビデオを生成するのに100ステップを必要としたのに対し、新しいバージョンはわずか6ステップで同様の結果を実現しました。速度の面では、ビデオ生成の1ステップを処理するのにかかる時間は、約47ミリ秒からわずか4ミリ秒に減少しました。これらのステップに必要な計算量は、67倍近くも減少しました。

この効率性の向上は、単なる理論的な改善ではありません。それはユーザー体験に直接反映されます。標準的な高解像度ビデオ生成タスクでテストした際、新しい手法は、生成パイプライン全体を考慮しても、元のシステムよりも約半分の総時間でビデオを生成しました。研究者たちは、モデルに数百万の追加パラメータを加える複雑なハイブリッドアーキテクチャに依存する他の高速化の試みとも、彼らの手法を比較しました。対照的に、SQuadアプローチは追加のメモリや専用のハードウェアを必要とせず、既存のシステムにすんなりと適合します。ユーザー調査では、人々は元の重いモデルによって作られたビデオと、新しい効率的なバージョンによって作られたビデオを確実に区別できないことが確認されました。実際、直接対決の比較において、かなりの割合の人間が、新しい手法によって生成されたビデオを好みました。

この研究の重要性は、そのバランスにあります。モデルを高速化しようとするこれまでの試みの多くは、強力なアテンションメカニズムをより単純な線形近似に置き換えるものでしたが、それらは頻繁に顕著なビデオ品質の低下を招きました。SQuadメソッドは、核となる数学的操作を維持したまま、それが適用される順序を変更することで、この罠を回避しています。これは、すべてのトークンを他のすべてのトークンと照合するという完全な二次的な複雑さは、高忠実度の結果を得るために必ずしも必要ではないことを証明しています。情報の流れを注意深く構造化することで、研究者たちは、計算コストのわずかな一部で、長時間かつ高解像度のビデオを生成できることを示しました。これにより、標準的なハードウェアでより長く複雑なシーンを生成することが可能になり、時間とエネルギーの現在のボトルネックなしに、無限に高品質なビデオコンテンツを作成するという目標に向けて、この分野を前進させています。

技術要約: SQuad: 高効率なビデオ生成のための劣二次的アテンション蒸留

問題提起

Diffusion Transformer (DiT) を用いたビデオ生成は、現在、Softmax 自己アテンション (Softmax Self-Attention) メカニズムの計算コストによってボトルネックとなっています。標準的な DiT では、アテンションの複雑性は、潜在トークン数 $n$ に対して $O(n^2)$ でスケールします。ビデオ生成において、 $n$ は時空間ボリューム（しばしば数万トークンに達する）を表すため、この二次項が実行時間とメモリの両方を支配し、達成可能な解像度、持続時間、およびスループットを制限しています。

既存の解決策は、Softmax 自己アテンションを線形 $O(n)$ または低ランク $O(nk)$ 近似に置き換えるか、あるいは疎なマスクやハイブリッドアーキテクチャを使用することで、これを軽減しようと試みています。しかし、これらの手法は、完全な Softmax が持つ非線形性と、入力に依存した鋭い選択性を犠牲にするため、「根強い品質のギャップ」に直面することがよくあります。さらに、高価な二次的ブロックと効率的なブロックを交互に配置するハイブリッド設計は、アーキテクチャの複雑さを導入し、削減しようとしているはずの二次的操作への依存を依然として保持してしまうことが多々あります。

手法: SQuad

著者らは、SQuad (Sub-Quadratic Attention Distillation) を提案します。これは、完全な Softmax 操作を維持したまま、アテンションの複雑さを $O(n\sqrt{n})$ に削減するフレームワークです。SQuad は、新しいビデオ DiT をゼロから学習するのではなく、学習済みのフル・ソフトマックス DiT（具体的には Wan 2.2 5B および Wan 2.1 1.3B モデル）を、修正されたアーキテクチャへと蒸留します。

1. SQuad アテンション・オペレーター

核心となる革新は、完全な $O(n^2)$ アテンションを、ローカル・パス (Local Pass) と グローバル・パス (Global Pass) に分解する2段階のアテンション・メカニズムです。

ローカル・パス ( $Attn_L$ ): トークンは、サイズ $w$ の固定ウィンドウ内で混合されます。
グローバル・パス ( $Attn_G$ ): 各ウィンドウ内の同じ相対位置にあるトークンが、すべてのウィンドウ間で混合されます。
構成: ローカル・パスの出力がグローバル・パスのバリュー・ストリーム（Value stream）へと入力されます。この入れ子構造により、グローバル・パスは、すでに局所的に混合されたトークンに対して操作を行うことができ、完全な受容野を回復させます。
複雑性: ウィンドウサイズを $w = \sqrt{n}$ に設定することで、この手法は $O(n\sqrt{n})$ の複雑さを実現します。決定的なのは、両方のパスが標準的な Softmax を利用していることであり、これにより線形近似で失われる表現力が保持されます。

2. 蒸留戦略

アテンション・オペレーターを置き換えることは、ネットワークが計算する関数を変更することを意味するため、学習済みの重みはもはや最適ではありません。著者らは、2段階の蒸留プロセスを採用しています。

フロー・マッチング教師あり微調整 (Flow-Matching Supervised Fine-Tuning: SFT): 新しい SQuad アテンション・アーキテクチャの下で重みを再配置するために、ビデオデータ（VIPE 1M データセット）を用いてネットワークを微調整します。
分布マッチング蒸留 (Distribution Matching Distillation: DMD2): アーキテクチャの変更によって失われた生成品質を回復し、サンプリングに必要なニューラル関数評価 (NFE) 回数を削減するために、改良されたステップ蒸留法が適用されます。

主な貢献

フル Softmax を伴う劣二次的複雑性: SQuad は、Softmax 操作を放棄することなく $O(n\sqrt{n})$ の複雑さを達成し、線形または低ランク近似に固有の品質ギャップに対処します。
蒸留フレームワーク: 学習済みの二次的 DiT が、2段階の蒸留プロセス（SFT + DMD2）を介して、効果的に劣二次的アーキテクチャへと適合できることを示しました。これにより、ゼロからの学習という膨大なコストを回避しています。
ハードウェア効率: 本手法はハードウェアフレンドリーに設計されており、特殊な融合カーネルやデバイス上の最適化を必要とせず、標準的なテンソル再形成（reshaping）と標準的なアテンション・ブロックに依存しています。

実験結果

本手法は、Wan 2.2 5B および Wan 2.1 1.3B テキスト・トゥ・ビデオ・モデルを用いて評価されました。

品質の保持: Wan 2.2 5B において、SQuad は VBench Total スコア 83.20 を達成し、元のフル・ソフトマックス・ベースライン（83.08）と実質的に同等の性能を示しました。ユーザー嗜好調査では、35% のユーザーがベースラインよりも SQuad の生成を好み、31% は区別がつかないと回答しました。
効率性の向上:
- レイテンシ: SQuad は、ブロックあたりのアテンション・レイテンシを約 11倍（47.10ms から 4.27ms へ）、エンド・ツー・エンドの DiT レイテンシを 2倍（コンパイルモードにおいて 667ms から 314ms へ）短縮しました。
- 計算量: アテンション TFLOPs は 約67倍 減少しました（4.205 から 0.063 へ）。
- サンプリング速度: 蒸留されたモデルは、元のモデルのデフォルトである 100 NFE に対し、高品質なビデオを 6 NFE で生成します。
比較: SQuad は、レイテンシと TFLOPs の観点から、他の効率的なアテンション手法（VSA、Jenga、Radial Attention、Attention Surgery など）を凌駕し、追加の学習可能パラメータを必要とすることなく（これら手法は 72M～283M の重みを追加する）、同等または優れた品質を維持しています。

意義と主張

本論文は、高忠実度のビデオ生成において、トークン間の通信に完全な $O(n^2)$ の複雑性が必ずしも必要ではないという仮説を、SQuad が検証したものであると主張しています。構造化された劣二次的分解を通じて Softmax の表現力を保持する「中間領域」を提案することで、SQuad は現在のハードウェア上でより長い、より高解像度なビデオを生成するための実用的な道筋を提供します。

著者らは、SQuad を単なる既存モデルの蒸留対象としてだけでなく、大規模モデルをゼロから事前学習するための候補となるアテンション・メカニズムとしても位置付けています。彼らは、現在の戦略がアテンション蒸留とステップ蒸留（DMD2）を結合させていることを認め、将来的にはアテンションの変化をサンプリング速度向上から分離することや、深さと効率のトレードオフをさらに探求するために、より多くのパスを組み合わせる可能性を示唆しています。