技術サマリー：Future Forcing

問題定義

自己回帰（AR）動画生成は、以前に生成されたトークンに基づいて因果的にフレームを生成する、長ホライズンの動画合成のためのスケーラブルなパラダイムとして登場しました。推論を加速するため、AR モデルは過去の文脈の冗長な再計算を回避するためにキー・バリュー（KV）キャッシュを利用します。しかし、生成長が増加するにつれて KV キャッシュは線形に成長し、許容しがたいメモリ消費と誤差の蓄積を引き起こします。

既存の KV キャッシュ圧縮手法は、「重要」と見なされるトークンを選択的に保持することでこれを緩和しようと試みます。しかし、これらの手法は主に、トークンの重要性を評価するために現在のまたは直近の歴史的文脈から導き出される短ホライズンの信号に依存しています。このアプローチには決定的な限界があります：生成の初期段階では重要に見えないトークンが、将来のフレームにとって（オブジェクトの同一性の維持、シーン構造、または運動の連続性など）重要になる可能性があることです。これらのトークンを近視眼的な基準に基づいて破棄することは、その後の自己回帰ステップを通じて伝播するアテンション誤差をもたらし、長時間の生成において視覚的な劣化、時間的不整合、および被写体のドリフトを引き起こします。

手法：Future Forcing

著者らは、AR 動画生成における短ホライズンのバイアスを解決するために設計された、トレーニング不要で未来を認識する KV キャッシュ方策であるFuture Forcingを提案します。この手法は、トレーニング済み AR 動画モデルにおけるクエリ表現の安定性に関する重要な経験的観察に基づいています。

核心的な洞察：Pre-RoPE クエリの安定性

著者らは、AR 動画モデルにおけるクエリ表現のダイナミクスを分析し、特に以下の 2 つを区別します：

1. RoPE 変調済みクエリ（$\tilde{q}$）：ロータリー位置埋め込み（RoPE）が適用された後のクエリ。これらは位置符号化により自己回帰ステップ間で大きく変動します。
2. Pre-RoPE クエリ（$q$）：位置変調前の、規範的でコンテンツに依存するクエリ表現。

広範な可視化と理論的解析（理論的解析 1）を通じて、論文は RoPE 変調済みクエリが生成ステップ間で大幅にドリフトする一方で、基礎となる Pre-RoPE クエリ分布は固定プロンプト下で驚くほど安定していることを実証しています。この定常性は、追加のフォワードパスやモデルの再トレーニングを必要とすることなく、将来のアテンション挙動を過去の Pre-RoPE 統計から推定可能であることを意味します。

アルゴリズム的構成要素

Future Forcing は、2 つの相補的なモジュールで構成されます：

1. 未来を認識する KV キャッシュエビクション（排除）モジュール：

   • プロキシ構築：将来のフレームが生成されるのを待つ代わりに、この手法は過去の Pre-RoPE クエリの平均（$\bar{Q}$）に将来の位置（$t+\Delta$）に対する RoPE 演算子を適用することで、将来クエリプロキシ（$\tilde{Q}_{t+\Delta}$）を構築します。
   • スコアリング：キャッシュされた KV トークンの重要性は、これらの将来クエリプロキシに対する予測アテンション重みに基づいてスコアリングされます。
   • ハイブリッド選択：最終的なエビクションスコアは、予測された将来の関連性と歴史的アテンションスコアをハイパーパラメータ $\lambda$ によってバランスさせたものを組み合わせます。低い組み合わせスコアを持つトークンはエビクトされます。

2. 未来を認識する KV キャッシュマージ（統合）モジュール：

   • エビクトされたトークンからの情報損失を最小化するため、この手法はそれらを単に破棄するのではなく、エビクトされたエントリを保持されたエントリにマージします。
   • プロファイリング空間：マージは、キー空間における単純なユークリッド距離ではなく、将来クエリプロキシ下での予測アテンション重みプロファイルの類似性に基づいてエントリをグループ化する「将来クエリ・プロファイリング空間」で行われます。
   • 値の集約：マージされたエントリの値ベクトルは、先読みホライズン全体での将来アテンション質量によって重み付けされ、マージされた表現が期待されるアテンション出力を保持することを保証します。

3. 実装の詳細：

   • 完全な $QK^\top$ アテンション行列を具体化することなくトークンごとの重要性スコア（式 2）を計算するための、カスタム軽量 Triton カーネルが実装されており、計算オーバーヘッドを削減しています。
   • 生存するキャッシュされたフレームの位置を連続的に再マップするための動的 RoPE 補正が適用され、相対的な時間的距離がモデルのトレーニング分布内に留まることを保証します。

主要な貢献

1. Pre-RoPE 安定性の発見：論文は、トレーニング済み AR 動画モデルにおける Pre-RoPE クエリ分布の安定性を特定し理論的に境界付け、RoPE 変調済みクエリの高変動性と対比させました。
2. Future Forcing 方策：過去の統計を利用して将来クエリプロキシを構築し、トークンのエビクションとマージの両方の決定を導く、トレーニング不要で未来を認識する KV キャッシュ方策の提案。
3. 性能向上：広範な実験により、Future Forcing が既存のベースライン（Self Forcing、Causal Forcing、Deep Forcing など）と比較して、限られた KV キャッシュ予算下で長ホライズンの一貫性と生成品質を大幅に向上させることが実証されました。

実験結果

この手法は、VBench-Long ベンチマークを使用した 30 秒および 60 秒の生成タスクにおいて、代表的な AR 動画生成モデル（Self Forcing、Causal Forcing、Rolling Forcing、Reward Forcing）で評価されました。

• 長ホライズンの一貫性：Future Forcing は、60 秒の生成において既存の AR 動画 KV キャッシュ方策と比較して、VBench-Long における被写体一貫性が最大 1.49 ポイント向上しました。
• 品質の維持：削減された KV キャッシュ予算下（例えば、潜在フレームを 9〜18 フレームのみ保持）において、Future Forcing はピーク GPU メモリ使用量をベースラインと比較して最大 1.8GB 削減しながら、より高い審美的および画像品質を維持しました。
• 短ホライズンの忠実度：トレーニングホライズン内である 5 秒の生成タスクにおいて、Future Forcing は最小限の情報損失を被り、すべての圧縮手法の中でフルキャッシュ参照に最も近い PSNR および SSIM スコアを達成しました。
• 効率性：カスタム Triton カーネルの実装により、未来を認識するスコアリングによる推論オーバーヘッドは無視できるレベルに抑えられ、ネイティブまたは Deep Forcing ベースラインと同等の出力 FPS を維持しました。

意義と主張

論文は、Future Forcing が AR 動画生成のスケーラビリティの限界に対する原理的な解決策を提供すると主張しています。Pre-RoPE クエリ分布の内在的な定常性を活用することで、この手法は追加のトレーニングや教師モデルを必要とせずに未来を認識した意思決定を可能にします。

著者らは、このアプローチが将来の整合性に不可欠なトークンをしばしば破棄する現在のキャッシュ方策の「近視眼」を緩和することを強調しています。Future Forcing は、AR モデルが固定されたメモリ制約内でより長く、より一貫性のある動画を生成することを可能にする、実用的でスケーラブルな圧縮ソリューションとして提示されています。この研究は、規範的なクエリ構造の安定性がトレーニング済み AR 動画モデルの一般化可能な特性であることを示唆し、将来のトレーニング不要の最適化戦略の基盤を提供しています。