技術サマリー：Attend Locally, Remember Linearly (ARL2)

1. 問題定義

自己回帰（AR）型ビデオ拡散モデルは、因果的かつチャンク単位の定式化により、ストリーミングおよび双方向ビデオ生成における主要なパラダイムとして浮上しています。しかし、既存の AR 型ビデオ拡散モデルは、Diffusion Transformers（DiTs）内でsoftmax 自己注意に依存しています。この依存関係は、根本的なスケーラビリティのボトルネックをもたらします：

• 二次計算量と線形メモリ: 標準的な注意機構は、シーケンス長さ $N$（ビデオフレーム）に対して $O(N^2)$ の計算複雑性と $O(N)$ のメモリ使用量を発生させます。
• KV キャッシュの増大: 時間的整合性を維持するため、これらのモデルは生成されるブロックごとに線形に増大するキー・バリュー（KV）キャッシュを蓄積します。5 秒間の 480p ビデオの場合、KV キャッシュは 34 GB を超え、モデルパラメータ自体を上回る可能性があります。
• 既存の対策の限界: スパース注意、KV キャッシュの量子化、またはエリクション（破棄）といった現在の解決策は、ステップあたりのコストを削減したりメモリを制限したりしますが、線形メモリ増大を同時に排除し、かつストリーミングコンテキストを効果的に管理することはできません。スパース注意は依然として増大するキャッシュに依存しており、エリクションは過去のコンテキストを不可逆的に破棄します。

核心的な課題は、事前学習済みの AR 型ビデオ拡散モデルを、フレーム内の相互作用の空間的忠実度やフレーム間の生成における時間的整合性を犠牲にすることなく、定数メモリ（$O(1)$）と線形時間スケーリングを達成するハイブリッドアーキテクチャへ変換することです。

2. 手法：ARL2

著者は、ビデオ注意の不均質な性質に対処するために、自己注意を 2 つの異なるブランチに分解するハイブリッド注意モジュール**ARL2（Attend Locally, Remember Linearly）**を提案します：

2.1 ハイブリッド注意の分解

モデルは注意を以下のように分割します：

1. フレーム内ブランチ（Attend Locally）: 各フレーム内で元の双方向 softmax 注意を維持します。このブランチは、視覚的忠実度に不可欠な微細な空間相関と局所的依存関係を捉えます。フレーム内のすべてのトークンが同時にデコードされるため、追加のレイテンシを導入することなく凍結された事前学習済み投影を再利用し、空間的詳細を維持します。
2. フレーム間ブランチ（Remember Linearly）: 増大する KV キャッシュを固定サイズの再帰状態（$S$）に置き換えます。このブランチは、長距離の時間的コンテキストを維持するために**Gated Delta Network（GDN）**メカニズムを使用します。
   • 適応: 事前学習済みの $Q, K, V$ 投影は softmax 用に最適化されているため、モデルは線形再帰ドメインに適応させるために、ヘッドごとのグループ化された $1\times1$ 特徴マップ（$\phi_q, \phi_k, \phi_v$）を導入します。
   • 状態更新: 状態 $S_N$ は、ゲート付き規則 $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$ を用いて更新されます。ここで、$\alpha$（忘却ゲート）と $\beta$（学習率）はトークンごとの投影として学習されます。
   • 出力: フレーム間出力は $O_{inter} = Q'_N S_{N-1}$ として計算されます。

2.2 メモリ状態管理

再帰状態がノイズのある中間ステップによって汚染されたり、フレーム内の非対称性が生じたりするのを防ぐため、ARL2 は 2 つの特定のメカニズムを採用します：

• フレームレベルアクセス: 単一のフレーム内のすべてのトークンは、同じ事前更新状態（$S_{N-1}$）をクエリします。状態は、フレーム全体が処理された後にのみ更新されます。これにより、現在のフレーム内のすべてのトークンに対して一貫したフレーム間コンテキストが保証されます。
• クリーンパス更新: 多ステップのノイズ除去ループ中、モデルは状態をクエリしますが、それを更新しません。状態は、フレームの最終的な「クリーン」パスが生成された後にのみ更新されます。これにより、ノイズのある中間値が長距離メモリを汚染するのを防ぎ、状態の書き込みをノイズ除去ステップあたり 1 回からフレームあたり 1 回に削減します。

2.3 学習パイプライン：2 段階蒸留

ゼロから学習するのではなく、著者は事前学習済みのCausal Forcingモデルを変換するための効率的な 2 段階蒸留パイプラインを提案します：

• 段階 1（レイヤーごとの蒸留と選択）: 30 個の注意レイヤーのそれぞれが独立して蒸留されます。著者は**Attention Recovery Rate（ARR）**分析を導入し、レイヤーを「Hybrid-Recoverable（HR）」と「Hybrid-Sensitive（HS）」に分類します。
  • HR 次元: 被写体の整合性、背景の整合性、動きの滑らかさ、美的品質（85% 以上回復可能）。
  • HS 次元: 画像品質（敏感であり、回復は約 25% のみ）。
  • レイヤー選択: 画像品質に重要なレイヤーが softmax 注意を維持することを保証するため、HS 次元に対して感度が低いレイヤーの置換を優先するスコアリングメカニズム（$p_\ell$）が採用されます。
• 段階 2（共同蒸留）: ハイブリッドモデル（選択されたレイヤーが置換されたもの）は、凍結された教師モデルに対してエンドツーエンドで共同微調整され、予測された速度場を一致させることで、すべてのレイヤーにわたる一貫した動作を確保します。

3. 主要な貢献

1. 初のハイブリッド AR 型ビデオ拡散: 本論文は、事前学習済みの AR 型ビデオ拡散モデルをハイブリッド線形注意アーキテクチャに変換する最初の研究であり、ゼロからの再学習なしに定数メモリでのストリーミング生成を可能にします。
2. 役割を考慮した分解: 本設計はビデオ注意の不均質性を明示的に尊重し、空間的詳細のために双方向 softmax を維持しつつ、時間的メモリのために線形再帰を使用します。
3. 安定した状態管理: フレームレベルアクセスとクリーンパス更新の導入により、反復的な拡散ノイズ除去への線形再帰注意の適用に伴う特定の課題（コンテキストの非対称性とメモリの汚染）を解決します。
4. 効率的な蒸留戦略: 性能低下を最小化しつつ効率向上を最大化する、感度に基づく 2 段階蒸留パイプライン。

4. 実験結果

著者は、13 億パラメータモデルを用いて、さまざまなビデオ長さ（81 から 921 フレーム）にわたるVBenchベンチマークで ARL2 を評価しました。

• 効率性:
  • メモリ: 最大54% のメモリ削減を達成しました（例：921 フレームの場合、87.9 GB から 40.5 GB）。また、ビデオ長さに関わらず定数メモリ使用量を維持し、一方のベースラインは 1005 フレームで OOM（メモリ不足）により失敗しました。
  • 速度: 921 フレームで最大2.26 倍のウォールクロック速度向上を達成しました。KV キャッシュのオーバーヘッドが支配的になるにつれて、速度向上はビデオ長さとともにスケーリングします。
• 品質:
  • ARL2（50% 置換）: 全体的な品質において softmax 教師モデルと同等かそれ以上であり、時間的フリッカー（+0.99）と動きの滑らかさ（+1.35）において特定の改善が見られました。
  • ARL2（75% 置換）: 画像品質においてベースラインから約 1% 以内の競争力のある品質を維持しつつ、最大の効率向上を達成しました。
  • 比較: ARL2（50%）は他の蒸留モデルを上回り、3.5 倍少ないパラメータでより大規模な MAGI-1（45 億パラメータ）と同等の性能を発揮しました。
• アブレーション研究:
  • ハイブリッドブランチの除去やトークンレベルアクセスの使用は性能を低下させ、両方のブランチとフレームレベルの状態共有の必要性を確認しました。
  • ヘッドごとのゲーティングは、性能とパラメータ効率の間の最適なトレードオフを提供しました。

5. 意義と主張

本論文は、ARL2 が AR 型ビデオ拡散のスケーラビリティボトルネックを根本的に解決すると主張しています。空間モデルと時間モデルを分離することで、メモリ制約により以前は実現不可能だった長編ビデオ合成を可能にします。著者は、このアプローチが定数メモリでのストリーミングビデオ生成を可能にし、双方向およびリアルタイムアプリケーションに適していると強調しています。

本研究は、softmax 注意の高品質な空間モデルを維持しつつ、メモリ集約的な時間メカニズムを線形再帰状態に置き換えることが可能であることを実証しています。提案された 2 段階蒸留は、そのようなアーキテクチャ変更を、最小限の学習可能パラメータ（<2%）と計算コスト（約 156 H100 GPU 時間）で事前学習済みモデルに効率的に転移できることを証明し、スケーラブルなビデオ生成への実用的な道筋を示しています。