技術概要：AdaState – ストリーミング動画生成のための自己進化型アンカー

1. 問題定義

自己回帰型動画拡散モデルは、生成されたコンテンツに基づいて各新しいチャンクを条件付けながら、フレームを逐次生成することでストリーミング動画を生成する。これらのモデルにおける根本的な構造的限界は、静的アンカーへの依存にある。つまり、最初のフレームのキー・バリュー（KV）表現が、アテンションキャッシュ内で特権的な位置（位置 0）を占めていることである。

「アテンション・シンク」現象（因果的ソフトマックスが初期位置に質量を集中させる現象）により、この静的アンカーは生成プロセス全体を通じて不釣り合いなほど大きなアテンションを引き寄せられる。これにより静的な一貫性は保たれるものの、動画のダイナミクスが抑制される。モデルは実質的に初期の視点に固定され、自然なシーンの進化、カメラの移動、被写体の進行が妨げられる。生成が延長するにつれ、モデルは変化するシーンと凍結された参照との整合性を取れなくなり、以下のいずれかの結果を招く：

1. 時間的浅さ：最初のフレームとの一貫性を維持するため、動きやシーンの進行が抑制される。
2. ドリフトとアーティファクト：アンカーを除去またはヒューリスティックに更新した場合、誤差が蓄積し、視覚的な崩壊や被写体の同一性の喪失を引き起こす。

既存の解決策はこの根本原因に対処できていない。静的アンカーを維持する手法（例：LongLive、Infinity-RoPE）はシーンを凍結させる。コンテンツに依存しない更新を用いる手法（例：Reward Forcing、MemRoPE などの EMA ベースのアプローチ）は、特定のシーン変化に適応できないぼやけた平均値に収束する。ヒューリスティックな置換（例：Rolling Sink）は、新規な継続ではなく過去のフレームの再現へと生成を偏らせる。

2. 手法：AdaState

著者は、静的な最初のフレームのアンカーを、コンテンツとともに進化する適応状態（隠れ潜在変数）に置き換えるフレームワークAdaStateを提案する。

中核メカニズム

• 隠れ潜在変数としての適応状態：凍結された最初のフレームの代わりに、モデルは KV キャッシュの位置 0 に状態 $s$ を維持する。この状態は、動画コンテンツと同様に各チャンクでノイズ除去されるが、最終的な動画出力には決してレンダリングされない隠れ潜在変数である。
• 結合ノイズ除去と再帰：各生成ステップ $n$ において、生成器 $G_\theta$ は、独立したガウスノイズから現在のコンテンツフレーム $x^{(n)}_c$ と状態フレーム $s_n$ を、KV キャッシュ $h_n$ に条件付けて結合してノイズ除去する。
  • クリーンなコンテンツ KV は短期コンテキストのためのスライディングウィンドウに入る。
  • クリーンな状態 KV はキャッシュ内の位置 0 を上書きし、次のチャンクのためのシーン参照として機能する。
• 相対時間定式化：絶対時間を符号化する標準的な生成とは異なり、AdaState は時間を相対的に扱う。すべての生成ステップは、ロールアウト長に関わらず同じ位置構造を認識する。状態遷移は各チャンクで同一であり、逐次的な自己回帰プロセスを再帰プロセスに変換する。ここで：
  • ノイズ除去が遷移関数として機能する。
  • KV キャッシュが隠れ状態の担体として機能する。
  • 外部モジュール、ゲーティング機構、または独立したメモリユニットは不要である。

ホライズン重み付けトレーニング

モデルが適応状態を効果的に活用することを学習させるため、著者はホライズン重み付け分布マッチング蒸留（DMD）を導入する。

• 問題：自己回帰ロールアウトでは、後続のフレームに誤差が蓄積する。標準的な均一な損失重み付けは、オプティマイザがクリーンな初期フレームに焦点を当て、適応状態が元のシーンコンテンツの欠如を補償しなければならない重要な後続フレームを軽視する結果となる。
• 解決策：DMD 損失に対して、フレームインデックス $i$ に応じて増加する線形ランプ重み付け $w_i$ を適用する。これにより、オプティマイザは状態媒介の整合性が最も重要な後続フレームに容量を集中させることを強制される。
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. 主要な貢献

1. 構造的バイアスの特定：本論文は、自己回帰型動画拡散における静的アンカーが、ダイナミクスを抑制し、シーンの構成を初期の視点に固定する構造的アテンションバイアスを生み出していることを特定した。
2. 適応状態アーキテクチャ：著者は、ホライズン重み付け DMD を通じて学習される隠れ適応状態を用いて静的アンカーを置き換えることを提案する。この状態はコンテンツとともに進化し、モデルが各ステップで自身のシーン参照を生成することを可能にする。
3. 外部モジュールなしの再帰定式化：本研究は、ノイズ除去自体が再帰として機能し得ることを実証した。適応状態は、モデル自身の反復的洗練によって更新され、KV キャッシュを通じて運ばれる隠れ変数であり、外部メモリやゲーティング機構を必要としない。

4. 実験結果

本手法は、Self-Forcing を用いて Wan2.1-T2V-1.3B から蒸留されたモデルで評価され、21 フレームのロールアウトでトレーニングされ、5 秒（ホライズン内）および 30 秒（トレーニングホライズンの 6 倍）でテストされた。

• 定性的パフォーマンス：
  • 静的アンカー（例：Infinity-RoPE、Rolling Forcing）：同一性を維持するがシーンを凍結させ、カメラ移動やシーンの進行を示さない。
  • 参照なし（例：Self-Forcing、Causal Forcing）：当初は高いダイナミクスを示すが、ロールアウトがトレーニングホライズンを超えると色ドリフトや視覚的アーティファクトに悩まされる。
  • AdaState：被写体の同一性を維持しつつ、30 秒後であっても自然なシーンの進化、カメラの滑らかな移動、連続的な動きを実現する、独自のバランスを達成する。
• 定量的パフォーマンス：
  • ホライズン内（5 秒）：AdaState は、最も高い総 VBench スコアと VisionReward を達成し、動的度は静的アンカー手法よりも有意に高い。
  • ホライズン外（30 秒）：動的度が低下しない唯一の手法は AdaState である。これは一貫性とダイナミクスのトレードオフ曲線の「右上」領域を占め、高い一貫性を維持しながら、すべてのベースラインの中で最高の動的度を達成する。
  • ユーザー調査：40 名の評価者による調査において、AdaState は「一貫した進行」と「プロンプトへの準拠」の両方で最高スコアを獲得し、参照なし、静的参照、および EMA 参照のベースラインを上回った。

5. 意義と主張

本論文は、AdaState が現在のストリーミング動画生成を悩ませる一貫性とダイナミクスのトレードオフを根本的に打破することを主張する。生成プロセスを、モデル自身のノイズ除去が隠れたシーン参照を更新する再帰として扱うことで、AdaState は以下を実現する：

• 豊かな動き：時間とともに進化する自然なカメラ移動と被写体の動作。
• 長ホライズン安定性：ドリフトの蓄積やシーンの凍結なしに、トレーニングホライズンを遥かに超えた一貫した動画を生成する能力。
• アーキテクチャの単純さ：この解決策は、バックボーン DiT のアーキテクチャ変更、補助損失、外部メモリモジュールを必要とせず、既存の KV キャッシュとアテンション機構のみに依存する。

著者はこれを、自己回帰生成における適応的再帰状態への一歩として位置づけ、この定式化は固定された過去の位置にアテンションが集中する他のドメインにも適用可能であることを示唆している。ただし、状態容量（現在は 1 フレーム）のヒューリスティックな設定や、極めて複雑な多アクターシーンに対する構造化された外部メモリに関する今後の研究の必要性など、限界についても控えめに指摘している。