技術概要：Echo-Forcing

問題定義

自己回帰型動画拡散モデルは、コンテンツをブロック単位で生成し、過去のキー・バリュー（KV）キャッシュを再利用することで、オープンエンドかつインタラクティブな長動画生成のための自然なパラダイムを提供する。しかし、動画の長さ拡張のための既存の学習不要な最適化手法は、主に単一のプロンプト下での安定した拡張に焦点を当てている。プロンプトの切り替え、旧シーンの忘却、歴史的シーンの想起を伴うインタラクティブなシナリオにおいては、これらの手法は著しく困難に直面する。

著者らは、核心的なボトルネックを歴史的 KV 状態の機能的な絡み合いと特定している。現在の手法は、歴史的 KV 状態を均質な時系列キャッシュとして扱い、意味的コンテキストに関わらず一様な方針（保持、圧縮、または削除）を適用する。これにより、インタラクティブ生成において以下の 3 つの具体的な失敗モードが生じる：

1. 時代遅れの背景汚染： 安定したアンカーと最近のダイナミクスが同一のキャッシュ方針で処理されるため、古いシーンの意味が新しいセグメントに漏出する。
2. 応答の遅延： 矛盾する歴史的記憶の支配により、モデルが新しいプロンプトに迅速に適応できない。
3. 長距離記憶の喪失： キャッシュが「有用な履歴」と「矛盾する履歴」を区別できないため、連続性や将来の想起に必要な情報が破棄される。

既存のアプローチは、現在のプロンプトのコンテキストに基づいて記憶のライフサイクル（保持、検索、抑制）を明示的にモデル化するメカニズムを欠いている。

手法：Echo-Forcing

著者らは、Echo-Forcingを提案する。これは、有界なキャッシュ予算の下で、歴史的 KV 状態を構造化され、想起可能で、減衰可能な記憶へと再編成するための学習不要なシーン記憶フレームワークである。このフレームワークは、以下の 3 つの中核メカニズムを通じて動作する：

1. 階層的時系列記憶

このメカニズムは、KV キャッシュを相補的な時系列記憶に分離し、長期的な安定性と局所的な連続性をサポートする。これは、ローリングアンカーと位相較正された圧縮によって調整される。

• 双方向ローリング初期アンカー： 初期フレーム（学習範囲内で生成されたもの）は、クリーンなグローバル参照として機能する。固定された順序の代わりに、システムはアンカープールを交互に前方と後方へ移動して探索する。これにより、安定した参照を更新しつつ、固定順序に起因するアーティファクトを回避する。
• ドリフトゲート付き位相圧縮： 蓄積されたエラーを増幅することなく、情報豊富な長距離トークンを保持するために、この手法は初期の高忠実度段階から導出された安定した事前 RoPE クエリ較正センターを使用する。
  • 歴史的トークンに対して、RoPE 時間進化後の将来のクエリとの整合性に基づき位相コヒーレントスコアを計算する。
  • ドリフトゲートは、この安定した参照と最近のクエリのダイナミクスを適応的にバランスさせる。最近のクエリが較正センターから大幅にドリフトした場合（運動変化や意味的シフトによる）、ゲートは大きさの補正を抑制し、時代遅れまたはノイズの多い記憶の増幅を防ぐ。上位 K 個の歴史的トークンのみが保持される。

2. シーン想起フレーム

長期的な想起を必要とするインタラクティブ生成において、すべてのフレームを保存するのはコストが高く、単一のフレームを保存するとシーン内のバリエーションが失われる。

• この手法は、歴史的シーンのマルチフレーム KV トークンをコンパクトで空間的に構造化された表現へと融合させる。
• シーンの安定した生成段階から候補ブロックを選択し、較正されたクエリセンターとの類似性に基づいて各空間トークンの重要度スコアを計算する。
• これらの候補は空間重み付き集約を通じて融合され、完全な保存に比べて著しく低いキャッシュオーバーヘッドでシーンの構造と相補的なマルチフレーム情報を保持する「シーン想起フレーム」が作成される。

3. 差異認識型記憶減衰

シーン遷移（例えば、ハードカット）の後、残存する旧シーン記憶が新しいプロンプトと衝突する可能性がある。

• システムは、参照として機能する新しいシーンの「クリーンな」最初のブロックを生成する。
• 対応する空間位置において、古い記憶トークンと新しい参照トークンの間の正規化された不一致を計算する。
• この不一致に基づき、トークンごとの忘却強度が割り当てられる。不一致が高い領域（変化した背景や動作）は急速に減衰し、互換性のある領域（安定した被写体や背景）はより長く保持される。
• これは KV レベルでのソフト忘却メカニズムとして実装され、キーとバリューは生成ステップに対して指数関数的にスケーリングされる。これにより、キャッシュを突然フラッシュすることなく、新しいシーンが徐々に注意分布を支配するようになる。

主要な貢献

1. 問題の再定式化： 本論文は、インタラクティブな長動画生成における歴史的 KV 管理を、保持、検索、忘却を含むシーン記憶のライフサイクル問題として再定義し、KV 状態の機能的な絡み合いを主要なボトルネックとして特定した。
2. Echo-Forcing フレームワーク： 平坦な歴史的 KV キャッシュを構造化されたシーン記憶に変換する学習不要なフレームワークであり、統合された推論プロセス内で長距離安定性とマルチシーンインタラクションを可能にする。
3. 3 つの相補的メカニズム：
   • 階層的時系列記憶： ローリングアンカーとドリフトゲート付き圧縮を通じて、シーン内の連続性をサポートする。
   • シーン想起フレーム： コンパクトで空間的に構造化された表現を通じて、シーン間想起を可能にする。
   • 差異認識型記憶減衰： 適応的なトークンごとの減衰を通じて、遷移後の残存抑制を可能にする。
4. 実証的検証： VBench-Longにおける広範な評価により、長距離生成、スムーズな遷移、ハードカット、長距離シーン想起において一貫した改善が示され、ベースの動画拡散モデルの微調整なしで最先端のパフォーマンスを達成した。

実験結果

著者らは、Echo-Forcing をVBench-Long上で評価した。ここでは、微調整を行わない（Self-Forcing）ベースラインと微調整を行った（LongLive）ベースラインの両方が用いられた。

• 長動画生成（60 秒/120 秒）： Echo-Forcing は、美的品質、画像品質、時間的安定性において全体的に最高のパフォーマンスを達成した。120 秒において、画像品質を 70.48 から72.83へ改善し、99.05という最高の動作滑らかさを達成した一方、競争力のある推論スループット（15.71 FPS）を維持した。
• インタラクティブ生成：
  • スムーズな遷移： $\infty$-RoPE や Deep-Forcing などのベースラインと比較して、テキストの一貫性と被写体/背景の一貫性が大幅に改善された。
  • ハードカット： 前のシーンの背景汚染を軽減し、優れたプロンプト応答性を示した。
  • シーン想起： 「メモリ」モード（長い間隔後のシーンの想起）において、Echo-Forcing は微調整を行わない場合のテキスト整合性を 29.47 から32.58へ改善し、微調整済みの LongLive モデルと組み合わせることでさらにすべての指標を改善した。
• ユーザー調査： 人間の評価により、Echo-Forcing はより一貫性があり制御可能な動画を生成することが確認された。長動画およびインタラクティブ設定の両方において、テキスト整合性、動作滑らかさ、全体的な動画品質で最高スコアを獲得した。

意義と主張

本論文は、Echo-Forcingが柔軟で制御可能なインタラクティブな長動画生成に向けた重要な一歩であると主張している。シーンの記憶のライフサイクル（保持、想起、忘却）を明示的にモデル化することで、このフレームワークは、歴史的 KV 状態を均質なキャッシュとして扱うという根本的な限界に対処している。

著者らは、彼らのアプローチが学習不要であることを強調している。つまり、再トレーニングや微調整の計算コストを伴わずに、既存の事前学習済み自己回帰型動画拡散モデルに適用可能である。このフレームワークは、単一の統合された推論プロセス内で、長距離生成、スムーズな遷移、ハードカット、長距離シーン想起という 4 つのインタラクティブモードを成功裏にサポートし、有界なキャッシュ予算の下でも時間的一貫性とシーンの整合性を維持している。

この研究は、動的なシーン記憶管理が、単なるキャッシュ維持から、知能的で文脈を認識する記憶処理へと移行する、将来の動画生成における重要な方向性であることを示唆している。