論文「Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation」の技術的サマリー

この論文は、自己回帰（AR）拡散モデルを用いた長尺動画生成における「時間的ドリフト（一貫性の崩壊）」と「運動の停滞」という課題を解決するため、新しい推論時のメモリ管理手法「Relax Forcing」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景:
近年、双方向アテンションを用いた動画拡散モデルは高品質な短尺動画生成を実現しましたが、インタラクティブなアプリケーションやストリーミング対応のために、分単位の長尺動画を因果的に生成する「自己回帰（AR）拡散モデル」が注目されています。既存の手法（Self Forcing など）は、トレーニング時にモデル自身の生成結果を条件として用いることで「暴露バイアス（Exposure Bias）」を軽減し、ロールアウトの安定性を向上させています。

課題:
しかし、トレーニング時と推論時のミスマッチが完全に解消されたとしても、AR モデルを分単位の長尺動画に拡張する際には依然として重大な課題が残っています。

1. 時間的劣化の蓄積: 生成されたフレームを逐次的に条件として用いる過程で、誤差が蓄積し、時間経過とともにキャラクターの同一性やシーンの一貫性が失われる（ドリフト）。
2. 運動の制約: 過去のすべてのフレームを密に（Dense）メモリとして保持し、自己アテンションに用いる手法では、冗長な情報が運動ダイナミクスを制約し、動画が停滞したり、過度に単純化されたりする。
3. メモリ活用の誤解: 既存の研究は「メモリ容量」や「圧縮」に焦点を当てがちですが、**「どのタイミングの情報が、どのような役割を果たすか」**という時間的メモリの構造的な役割については十分に解明されていませんでした。

2. 提案手法：Relax Forcing (Relaxed KV Memory)

著者らは、単にメモリ容量を増やすのではなく、時間的メモリを機能的な役割に分解し、構造化して選択的に利用することで、長期的な安定性と運動の進化を両立できると仮説を立てました。

2.1 時間的メモリの構造化

提案手法では、従来の密な時系列履歴の代わりに、以下の 3 つの機能的なコンポーネントに分解された構造化メモリを使用します。

1. Sink (グローバルアンカー):
   • 役割: 動画全体のトピック、キャラクターの同一性、シーンの大まかな構造を維持するための「固定された」初期フレーム。
   • 特徴: 生成ステップを通じて固定され、長期的な一貫性を保証します。
2. Tail (直近の文脈):
   • 役割: 現在のフレームと直前のフレームの間の滑らかさ（Short-term continuity）を確保します。
   • 特徴: 生成ステップごとに更新される最も最近のフレームのみを使用します。
3. History (動的に選択された中間履歴):
   • 役割: 運動の構造やダイナミクスを導くための「中間範囲」の情報。
   • 特徴: 全履歴からすべてを使うのではなく、Relaxation Scoreに基づいて最も有用なフレームを動的に選択します。

2.2 動的な履歴選択メカニズム

History フレームの選択は、以下のスコアリング関数に基づいて行われます。

• 安定性スコア (Stability Score): 候補フレームの KV キャッシュと Sink（グローバルアンカー）との類似度を計算。Sink と類似しているほど、長期的な一貫性が保たれます。
• 冗長性スコア (Redundancy Score): 候補フレームと Tail（直近の文脈）との類似度を計算。Tail と類似しているほど、情報は冗長であり、運動の多様性を阻害する可能性があります。
• Relaxation Score: $r(h) = S(h) - \lambda R(h)$
  • ここで $\lambda$ はトレードオフを制御する重みです。
  • このスコアが高いフレーム（Sink と似ており、Tail とは異なる＝冗長でない）を Top-K 選択して History として採用します。

2.3 ハイブリッド位置エンコーディング

選択されたメモリ（Sink, History, Tail）は時系列上で連続していないため、標準的なローテート位置エンコーディング（RoPE）の再設定では不適切です。

• Tail: 絶対的なフレームインデックスを維持し、直近の時間的連続性を保証。
• Sink & History: Tail の直前に相対的なインデックスを割り当て、時間的距離を崩さずに構造的な役割を維持します。
  これにより、モデルは遠くの履歴と直近の文脈を適切に区別して利用できます。

3. 主要な貢献

1. 時間的メモリに関する体系的な分析:
   • 長尺動画生成において、メモリ容量の増加が必ずしも品質向上につながらないことを実証。
   • メモリの「量」だけでなく、「時間的な配置（Sink, History, Tail の役割）」が運動ダイナミクスに決定的な影響を与えることを発見。
2. Relaxed KV Memory の提案:
   • 密な履歴保持に代わり、機能的な役割（Sink, Tail, 動的選択 History）に基づいたスパースなメモリ機構を設計。
   • 誤差の蓄積を抑制しつつ、運動の進化を可能にする新しい推論戦略。
3. トレーニングフリーの実現:
   • 追加のトレーニング目的やモデル構造の変更を必要とせず、既存の Self Forcing モデルに適用可能な推論時のみで動作する手法。

4. 実験結果

評価ベンチマーク:
VBench-Long（30 秒および 60 秒の動画生成）を使用。

定量的結果:

• 総合スコア: 30 秒・60 秒ともに、既存の最善のトレーニングフリー手法（Deep Forcing など）を上回る最高スコアを達成（60 秒で 80.88%）。
• 運動ダイナミクス (Dynamic Degree): 最も顕著な改善が見られました。60 秒生成において、ベースライン（Self Forcing）から66.8% の向上を達成。これは、冗長な履歴による運動の制約が解消されたことを示しています。
• 一貫性: 被写体の一貫性や背景の一貫性も競合手法と同等かそれ以上のレベルを維持しており、運動の向上が画質の低下を招いていないことを示しています。
• 推論効率: 注意機構（Attention）に用いるフレーム数を減らす（密な 21 フレームから構造化された 7 フレームへ）ことで、Flash Attention の計算時間を2.64 倍高速化し、エンドツーエンドの生成速度も1.26 倍向上しました。

定性的結果:

• Self Forcing: 時間経過とともにドリフトが発生し、キャラクターが崩壊する。
• Attention Sink: 一貫性は保たれるが、運動が単調で停滞する。
• Rolling Forcing: 短期的な連続性は良いが、長期的なパターンが不整合になる。
• Relax Forcing: 時間的ドリフトを抑制しつつ、自然で多様な運動進化を実現し、1 分間の動画でも一貫性を保つ。

人間評価:
ユーザー調査においても、視覚品質、運動品質、テキストとの整合性のすべての項目で、他の手法を凌駕する高い好意度を示しました。

5. 意義と結論

この研究は、長尺動画生成のボトルネックが「メモリ容量」ではなく、「メモリの利用方法」にあることを明らかにしました。

• 理論的意義: 時間的メモリを単なる時系列バッファではなく、異なる機能的役割（安定化、連続性、構造指導）を持つコンポーネントとして捉えるべきという新たな視点を提供しました。
• 実用的意義: 追加のトレーニングコストをかけずに、既存の AR 拡散モデルの性能を大幅に向上させることが可能になりました。また、計算コストの削減により、長尺動画生成の実用性（スケーラビリティ）も高めています。

結論として、**「構造化された時間的メモリ（Structured Temporal Memory）」**は、スケーラブルな長尺動画生成において不可欠な要素であり、既存のトレーニングベースの戦略を補完する強力なアプローチであることが示されました。