技術要約: FAST-AR

問題提起

自己回帰型ビデオ拡散モデルは、ストリーミング生成を可能にし、長尺の合成、ビデオ・ワールドモデル、およびインタラクティブなニューラル・ゲームエンジンの実現を促進します。しかし、これらのモデルは推論時に決定的なボトルネックに直面します。それは、KV（Key-Value）キャッシュが生成フレーム数に応じて線形に増加することです。この増大は、以下の2つの根本的な問題を引き起こします：

1. レイテンシの増大: キャッシュが拡大するにつれ、ステップごとのアテンション・コストが線形にスケールし（累積的な作業量は $O(T^2)$ でスケールする）、生成速度がロールアウトが進むにつれて段階的に低下します。
2. メモリの爆発: 拡大するキャッシュはGPUメモリをますます消費するため、長距離の時系列的な一貫性を損なう短いコンテキスト・ウィンドウを余儀なくされることがよくあります。

NLP（LLMのためのKV圧縮）における既存のソリューションは、ビデオ拡散に直接転用することはできず、最近のビデオ特化型の手法も、視覚的な品質を犠牲にするか、あるいは時間の経過に伴うメモリ使用量の安定化に失敗することで、わずかな高速化しか提供できていません。

手法: FAST-AR

著者らは、自己回帰型ビデオ生成における冗長性を活用するために設計された、統一された学習不要（training-free）のアテンション・フレームワークであるFAST-AR（Fast AutoRegressive diffusion）を提案しています。このフレームワークは、計算量とメモリを削減するために、すべて高速な**近似最近傍（ANN）**マッチングを利用した3つのコア・コンポーネントで構成されています。なお、これらは基礎となるモデルの再学習を必要としません。

1. 動機: 冗長性の源泉

著者らは、自己回帰型ビデオ拡散における3つの持続的な冗長性を特定しています：

• 時間的キーの冗長性（Temporal Key Redundancy）: セマンティックな内容が緩やかに進化するため、フレーム間でキャッシュされたキーはしばしば近接した重複となります。
• セマンティックなクエリ/キーの進化（Semantic Query/Key Evolution）: クエリとキーは主にセマンティックであり、緩やかに進化するため、多くのアテンション・スコア計算が冗長となります。
• クロスアテンションのスパース性（Cross-Attention Sparsity）: 長いプロンプトでは、特定のフレームを合成するために関連するトークンはごく一部であり、すべてのトークンに注意を向けることは計算上の無駄となります。

2. コア・コンポーネント

A. TempCache (Temporal Cache Compression)

• 目的: 前のフレームの各現在のフレームのクエリに対して、トップ1の最近傍キーを見つける軽量なANN（Locality-Sensitive Hashingまたは量子化）を使用することで、KVキャッシュを圧縮し、時系列的に対応するトークンを特定・統合します。
• メカニズム: 完全なアテンション行列を計算して対応関係を見つける代わりに、軽量なANNを使用します。
• 理論的根拠: 著者らは**補題5.1（Lemma 5.1）**に基づき、値が集約（平均）され、ロジットがグループサイズによってシフトされる場合、同一のキーをマージしても近似誤差が生じないことを証明しています。実際には、類似度の閾値に基づいてキーがマージされます。
• 利点: これによりKVキャッシュの増大を抑制し、生成の長さに依存せず、メモリ使用量とレイテンシを一定に保ちます。

B. AnnCA (Approximate Nearest-Neighbor Cross-Attention)

• 目的: フレームに関連するプロンプト・トークンのみを選択することで、クロスアテンションを加速させます。
• メカニズム: ラテント・クエリとプロンプト・キーの両方を共有埋め込み空間（LSHまたは量子化）に投影します。現在のフレームのクエリが少なくとも1つのバケットを共有しているプロンプト・トークンを特定し、一致するバケットを持たないトークンはそのフレームに対して除外されます。
• 利点: 密なアテンション・マップを計算することなく、フレームごとに処理されるプロンプト・トークンの数を劇的に削減します。

C. AnnSA (Approximate Nearest-Neighbor Self-Attention)

• 目的: クエリをセマンティックに一致したキーに限定することで、セルフアテンションをスパース化します。
• メカニズム: クロスアテンションのプルーニング・フェーズで発見されたセマンティック・バケットを再利用し、各トークンのクエリが同じセマンティック・バケット内のキーにのみ注意を向けるように制限します。
• 利点: セマンティックな局所性を強制し、セルフアテンションの二次的なコストを、効率的なカーネル（例：FlashInfer）を用いたスパースなブロック疎な操作へと削減します。

主な結果

実験は、LongVBenchおよびLongVGenBenchデータセットを用い、最先端の自己回帰型モデル（Rolling-ForcingおよびLongVie2）に対して行われました。

• 高速化: FAST-ARは、高密度なFlashAttention-3（FA3）と比較して、5倍から10.8倍のエンドツーエンドの高速化を達成しました。
  • TempCache単体では約3倍の高速化を提供します。
  • TempCacheをAnnSAおよびAnnCAと組み合わせることで、最大の利得（最大10.8倍）が得られます。
• 品質の維持: 本手法は、高密度なベースラインとほぼ同一の視覚的品質を維持します。
  • PSNR、SSIM、およびLPIPSスコアは、高密度アテンションと同等です。
  • VBenchスコア（知覚的品質）も維持されています（ベースラインの84.1に対し、約84.0）。
  • 対照的に、既存のスパース・アテンション・ベースライン（SVG、RadialAttn）は、品質を著しく低下させる（VBenchが約33〜61に低下）か、スループットを維持できません。
• 安定性:
  • スループット: 高密度アテンションや他のベースラインは、コンテキストが増加するにつれて（3000フレーム）減速しますが、FAST-ARは一定のFPSを維持します。
  • メモリ: 高密度アテンションなどのベースラインが線形のメモリ増大を示すのに対し、FAST-ARのピークGPUメモリ使用量は、長いロールアウトにおいてもほぼ一定に保たれます。

重要性と主張

本論文は、FAST-ARが自己回帰型ビデオ拡散モデルに特化した、ANNベースのアテンションを用いた初の学習不要（training-free）な適用であることを主張しています。その主な意義は以下の通りです：

1. スケーラビリティ: アテンションの $O(T^2)$ スケーリングによってこれまで制限されていた、単一のGPUによるマルチ分間のビデオ生成（例：3000フレーム）を可能にします。
2. 再学習なしの効率性: 微調整や複雑な学習レシピを必要とする手法とは異なり、FAST-ARは既存のバックボーンと互換性のあるプラグイン型の推論フレームワークとして動作します。
3. 堅牢性: ビデオ拡散特有の冗長性パターン（時系列的な対応関係とセマンティックなスパース性）を、一般的なNLP圧縮やオフラインのビデオ加速手法が効果的に扱えない中で、見事に解決しています。

著者らは、彼らのアプローチが、現在ロールアウトの長さを制限している計算量およびメモリの障壁を取り除くことで、自己回帰型ビデオ・ワールドモデルおよび長尺合成の実用的な実現可能性を切り拓くものであると強調しています。