技術要約：メモリ効率の高いビデオ生成のためのインスタンス特異的パラメータ吸収（ISPA）

1. 問題提起

自己回帰（AR）ストリーミングモデルは、長尺ビデオ生成における主要なパラダイムとして台頭しており、履歴コンテキストをKey-Value（KV）キャッシュを介して条件付けすることで、任意の長さのビデオを逐次的なチャンクとして生成することを可能にしています。しかし、このアプローチには重大なボトルネックが存在します。それは、KVキャッシュがビデオの長さに比例して増大し、最終的にGPUメモリを飽和させ、推論スループットを低下させるという問題です。

既存のソリューションは、主にキャッシュサイズを削減するために、大規模言語モデル（LLM）で一般的なトークンドロップや**プルーニング（枝刈り）**戦略に依存しています。著者らは、これらの手法をビデオ生成に直接適用することは不安定であると主張しています。コンテキストが疎（スパース）になり得るテキストとは異なり、ビデオ信号は密な時間的一貫性を必要とします。歴史的なKVトークンを破棄すると、長距離の依存関係が断たれ、背景のちらつき、構造の歪み、アイデンティティの喪失（例：キャラクターの顔の形が時間の経過とともに変化する）といった深刻なアーティファクトが発生します。核心となる課題は、高忠実度なビデオ合成に必要なグローバルな一貫性を犠牲にすることなく、KVキャッシュを圧縮することです。

2. 手法：インスタンス特異的パラメータ吸収（ISPA）

本論文では、コンテキストを「破棄」するのではなく、モデルの重みへと「蒸留」するフレームワークである**インスタンス特異的パラメータ吸収（ISPA）**を提案しています。ISPAは、KVキャッシュを編集すべき外部メモリとして扱うのではなく、テスト時適応（test-time adaptation）を通じて、この履歴の一部をモデルパラメータへと内部化します。

コアフレームワーク

ISPAは、推論中の3段階のパイプラインを通じて動作します。

1. デュアルストリーム・ウォームアップ（Dual-Stream Warmup）:
   初期の$T_{warm}$フレーム（例：最初の12潜在フレーム）の間、モデルは**フルアテンション層（F-Layers）**を用いたデュアルストリーム構成で動作します。ここでは以下の両方を同時に計算します：

   • $A_{full}$: 全履歴コンテキスト（グラウンドトゥルース）を利用したアテンション出力。
   • $A_{loc}$: ローカルコンテキスト（現在のフレームおよび「シンク」トークン）のみを利用したアテンション出力。
     計算オーバーヘッドを避けるため、ISPAは**分解可能アテンション（Decomposable Attention）**メカニズムを採用しています。ハードウェア認識型カーネル（例：FlashAttention）によって追跡されるLog-Sum-Exp（LSE）状態を活用することで、アテンションをローカル分岐とヒストリカル分岐にデカップリングし、事後的に融合させます。これにより、無視できる程度のFLOPオーバーヘッドで両方の信号を収集できます。

2. レイヤー吸収（Layer Absorb / 重み変調）:
   遷移点（$T_{warm}$）において、システムはどの層を**ローカルアテンション層（L-Layers）**に変換できるかを特定します。選択された層については、最小二乗最適化問題を解くことで、歴史的コンテキストが「吸収」されます。目標は、ローカルストリームの出力が新しい重みによって投影された際に、フルストリームの出力を再構成するような重み変調行列 $\Delta W$ を見つけることです：
   $$\min_{\Delta W} || A_{loc}(W + \Delta W) - A_{full}W ||^2_2 + \lambda || \Delta W ||^2_2$$
   最適な $\Delta W$ は解析的に導出されます：
   $$\Delta W = (A_{loc}^\top A_{loc} + \lambda I)^{-1} A_{loc}^\top (A_{full} - A_{loc})W$$
   このプロセスは非反復的であり、勾配ベースの最適化を必要としないため、リアルタイムの推論レイテンシを維持できます。

3. メモリ効率の高い推論:
   それ以降のすべてのフレーム（$t > T_{warm}$）において、選択された$K$個の層は恒久的にL-Layersへと移行します。これらの層は歴史的なKVキャッシュ（$K_{hist}, V_{hist}$）を破棄し、更新された重み $W_{new} = W + \Delta W$ によって補完されたローカルコンテキストのみに基づいて動作します。残りの$N-K$個の層は、グローバルな一貫性を維持するためにF-Layersとして残ります。

動的レイヤー選択（Dynamic Layer Selection）

ISPAはインスタンス特異的選択を採用しています。どの層を圧縮するかを固定するのではなく、ウォームアップフェーズ後の再構成誤差（$\epsilon$）に基づいて全レイヤーをランク付けします。誤差が低い層（線形重み変調によって欠落した履歴を最もよく近似できる層）が、L-Layersへの変換対象として選択されます。これにより、モデルのトポロジーが生成されているビデオインスタンスの特定の時間的ダイナミクスに適応することが可能になります。

3. 主な貢献

著者らは、主に3つの貢献を挙げています。

1. パラダイムシフト: KVキャッシュの圧縮を、トークンのプルーニングから**パラメトリックなメモリ集約（parametric memory consolidation）**へと再定義するISPAを導入しました。これは、コンテキストを重みへと蒸留することで、層が最小限のローカルキャッシュで動作しながらグローバルな一貫性を維持することを可能にします。
2. 非反復的最適化: 非反復的な重み変調のための閉形式（closed-form）の解を提案しました。Online Softmaxに基づく分解可能アテンションを利用することで、標準的なフォワードパス中に、無視できるほどのオーバーヘッドで必要な信号を収集し、パラメータを更新できます。
3. 包括的な検証: 多様な自己回帰アーキテクチャ（1.3Bから14Bパラメータまで）およびタスク（テキスト・トゥ・ビデオおよび音声・トゥ・ビデオ）にわたる広範な実験を行いました。

4. 実験結果

論文では、LongLive (1.3B)、Reward-Forcing (1.3B)、Krea-Realtime (14B)、LiveAvatar (speech-to-video) などのモデルを含む、VBench-LongおよびMovieGenプロンプトを用いたベンチマークでISPAを評価しています。

• KVキャッシュの削減: ISPAは、視覚的な品質をほぼ損なうことなく、最大50%のKVキャッシュを削除（半数の層をL-Layersに変換）することに成功しました。
• 視覚的品質: 5秒および30秒の生成タスクにおいて、ISPAはフルキャッシュのベースラインとほぼ同等の指標を達成しました。特に、14BのKreaモデルを用いた30秒生成において、ISPAは美的スコアと時間的一貫性をわずかに向上させました。これは、膨大な履歴トークンから高周波ノイズをフィルタリングする「マクロ的な正則化」効果によるものと考えられます。
• メモリ効率: 14BのKreaモデルにおいて、ISPAはピークGPUメモリ使用量を23.7GB削減し、コンシューマー向けハードウェアでの長尺ビデオ生成を可能にしました。
• 高速化: 事後学習量子化（W8A8）と組み合わせることで、ISPAはフル精度ベースラインと比較して、合計1.86倍の推論高速化を実現しました。
• アブレーション研究:
  • No Absorb（吸収なし）: 重みの適応を取り除くと、壊滅的な「被写体の不一致（morphing）」が発生します。
  • No Sink（シンクなし）: シンクフレーム（初期のKVペア）を取り除くと、過度に平滑化され、低忠実度な出力になります。
  • ウォームアップ期間: $T_{warm} \ge 12$ フレームのウォームアップがあれば、時間的ダイナミクスを捉えるのに十分であり、期間が短いと情報の飢餓状態を招きます。

5. 重要性と主張

本論文は、ISPAがストリーミング生成モデルにおけるコンテキスト管理のあり方を根本的に再考するものであると主張しています。トークンレベルの外部キャッシュ管理を超えて、パラメトリックなメモリ集約が、長距離依存関係のモデリングにおける実行可能かつ効率的なルートであることを示しています。

著者らは、この手法が単なる効率化の最適化ではなく、長距離のアテンションからノイズをフィルタリングして長尺生成の安定性を向上させる「正則化」として機能できることを強調しています。彼らはISPAを、量子化と互換性があり、多様な自己回帰アーキテクチャに適応可能な、超効率的なストリーミングシステムの堅牢な基盤として位置づけ、外部バッファを管理するだけでなく、メモリを内部化するという将来の研究を促しています。