VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

技術サマリー：VideoMLA

問題定義
ロングロールアウト因果ビデオ拡散モデルは、ストリーミング型の分単位スケールでのビデオ生成において支配的なアプローチとなっている。これらのモデルは通常、自己回帰生成を維持するために固定サイズのスライディングウィンドウ型キー・バリュー（KV）キャッシュに依存している。最近の研究では、トークン選択、位置符号化（例：Infinity-RoPE）、または学習戦略（例：Self-Forcing）を変更することでこのレイアウト内で革新を遂げているが、それらの多くはヘッドごとの KV レイアウトをほぼ維持したままとなっている。標準的な密なアテンションでは、キャッシュされたすべてのトークンが、すべてのアテンションヘッドに対する完全なキーとバリューを格納する。Wan-1.3B のようなモデルの場合、これにより莫大なメモリフットプリント（21 潜在フレームのキャッシュで約 6.0GB）が生じ、バッチサイズ、スループット、および実行可能なビデオロールアウトの長さを制限している。既存の効率的な手法は、アテンション機構を完全に変更する（例：線形アテンション）か、特定の層のみをキャッシュするが、すべてのキャッシュされた層にわたるトークンごと・ヘッドごとの KV 状態のメモリコストに対処するものはほとんどない。

手法：VideoMLA
本論文は、自己回帰型ビデオ拡散へのマルチヘッド潜在アテンション（MLA）の初適用であるVideoMLAを導入する。VideoMLA は、密なヘッドごとのキーとバリューを共有された低ランク表現に置き換えることで、KV キャッシュの構造を根本的に再構築する。

1. 共有低ランク内容潜在変数: $n_h$ 個の各ヘッドに対して個別のキー（$K$）とバリュー（$V$）を格納する代わりに、VideoMLA はダウン射影行列 $W^{KV}_\downarrow$ を通じてトークン $x_t$ の内容を単一の共有潜在ベクトル $c^{KV}_t$ に圧縮する。この潜在変数の次元は $d_c \ll n_h d_h$ である。
2. オンデマンド再構成: アテンション計算中に、ヘッドごとの内容キー（$k^{nope}_{t,h}$）とバリュー（$v_{t,h}$）は、ヘッド固有のアップ射影行列（$W^K_\uparrow, W^V_\uparrow$）を用いて共有潜在変数から再構成される。
3. 分離された 3D-RoPE: 位置情報を共有潜在変数に折りたたむこと（これによりヘッド共有が不可能になる）を避けるため、本手法はヘッドごとの次元を内容部分空間（$d^{nope}_h$）と位置部分空間（$d^{rope}_h$）に分割する。単一の、ヘッド共有の位置キー $k^R_t$ が計算され、3D-RoPE によって回転される。キャッシュには、密なヘッドごとの状態の代わりにペア $(c^{KV}_t, k^R_t)$ が格納される。
4. メモリ削減: この設計により、トークンごとのキャッシュ状態は $2n_h d_h$ 個のスカラーから $d_c + d^{rope}_h$ 個に削減される。デフォルト設定（$d_c=192, d^{rope}_h=32$）では、レイヤーごとの KV キャッシュメモリが92.7% 削減される。

主要な発見とスペクトル分析
本論文の中心的な貢献は、ビデオ拡散において MLA が機能する理由に関する理論的パズルの解決にある。

• パズル: 言語モデルでは、MLA は多くの場合、事前学習された $W^K$ および $W^V$ 行列が本質的に低ランクであるという仮説に基づいて動機付けられる。しかし、Wan-1.3B ビデオバックボーンのスペクトル分析により、結合演算子 $[W^K; W^V]$ は低ランクではないことが明らかになった。その 99% エネルギー有効ランクは 1300 を超え、実用的な潜在次元（$d_c=192$）を大幅に上回っている。
• 解決策: 著者らは、VideoMLA における学習された合成演算子の有効ランクは、事前学習スペクトルではなくアーキテクチャ上のボトルネック（$d_c$）によって決定されることを実証した。SVD 初期化とランダム初期化の両方とも、最初から課されたランク予算を飽和させ、学習はその予算内で適応しながらこの予算を維持する。したがって、VideoMLA が成功するのは、隠れた低ランク構造を回復するからではなく、モデルが効果的に活用することを学習するランク予算を課すからである。

結果

• 品質: VBench において、VideoMLA は短期間のストリーミングベースラインと同等の性能を発揮し、評価された手法の中で60 秒という長期の視野において最高の総合スコアを達成した。これは、他の圧縮手法で見られる静的な劣化を回避しつつ、被写体の同一性、シーンの構造、運動ダイナミクスを維持する。
• 効率性: この手法は、単一の B200 GPU における推論スループットをベースラインと比較して1.23 倍向上させる。
• スケーラビリティ: 固定メモリ予算（B200）の下では、VideoMLA はデフォルトの $d_c=192$ において密なマルチヘッドアテンション（MHA）よりも8.0 倍大きなバッチサイズを可能にし、より低い $d_c$ 設定では最大11.4 倍大きなバッチサイズを実現する（メモリ不足エラーなし）。

意義と主張
本論文は、VideoMLA がトークンごとの KV レイアウトを、トークン選択や位置再パラメータ化に焦点を当てる既存の手法とは直交する、効率的な長期視野のビデオ拡散を拡張するための直接的かつ効果的なレバーとして特定したと主張する。視覚的忠実度と運動の一貫性を維持しながらトークンごとの KV メモリを 92.7% 削減することで、VideoMLA は、大幅に低いレイテンシと高いスループットによる分単位スケールのビデオ生成を可能にする。この研究は、「ビデオアテンションの本質的ランクとは何か？」という設計上の問いを、「どの潜在予算がビデオ品質を維持するか？」という問いへと転換し、事前学習スペクトルが高ランクであっても、アーキテクチャ上の制約が学習を成功裡に導きうることを実証している。