技術要約：コンテキスト・フォーシング（Context Forcing）

問題提起

現在のリアルタイム長尺ビデオ生成手法は、構造的な**「生徒と教師のミスマッチ（student-teacher mismatch）」に起因する根本的な「忘却とドリフトのジレンマ（Forgetting–Drifting Dilemma）」**に直面している。

• 忘却（Forgetting）： 最先端のモデルは、多くの場合、短いコンテキスト窓（例：3.0〜9.2秒）に制限されている。これにより誤差の蓄積は最小限に抑えられるが、長時間のロールアウト中に被写体やシーンを見失う原因となる。
• ドリフト（Drifting）： ストリーミング・チューニング戦略（例：LongLive）は、短コンテキストでメモリレスな教師（約5秒に限定）を用いて、長コンテキストの生徒を訓練することでコンテキストの拡張を試みる。しかし、教師は完全な生成履歴にアクセスできないため、グローバルな時間的依存関係について生徒を導くことができない。これが誤差の蓄積と分布のシフトを引き起こし、ビデオが時間の経過とともに真の多様体から逸脱（ドリフト）していく原因となる。

既存の因果的ビデオモデルは、教師が短い窓の先を見通せないことにより、学習可能なコンテキスト長が実質的に制限されるため、数秒以上のコヒーレンス（一貫性）を維持することに苦慮している。

手法

著者らは、長コンテキストの教師を用いて長コンテキストの生徒を訓練することにより、生徒と教師のミスマッチを解消するように設計されたフレームワークである**「コンテキスト・フォーシング（Context Forcing）」**を提案している。

1. コンテキスト分布マッチング蒸留（CDMD）

核心となる目的は、生徒の分布 $p_\theta(X_{1:N})$ と実データ分布 $p_{data}(X_{1:N})$ の間のグローバルな長期的KLダイバージェンスを最小化することである。これは2つのステージに分解される：

• ステージ1（局所的なダイナミクス）： 生徒は、標準的な分布マッチング蒸留（DMD）と同様に、実データに対して短いウィンドウ（$X_{1:k}$）の分布を一致させることで、局所的なダイナミクスを学習する。
• ステージ2（グローバルな継続）： 生徒は、**コンテキスト・ティーチャー（Context Teacher）**に対して自身の継続予測（$X_{k+1:N}$）を照合することで、長期的な依存関係を学習する。
  • コンテキスト・ティーチャーは、長いコンテキスト入力を処理でき、完全な生成履歴を把握できる事前学習済みモデルである。
  • 生徒は、自身の自己生成ロールアウト（$X_{1:k} \sim p_\theta$）を用いて訓練される。これにより、教師が生徒が実際に遭遇するコンテキストに基づいて指導を行うことが保証され、露出バイアス（exposure bias）が軽減される。
  • **ロング自己ロールアウト・カリキュラム（Long Self-Rollout Curriculum）**が採用されており、コンテキスト・ホライゾン $k$ が訓練ステップに応じて線形に増加することで、初期の深刻な分布シフトを避けつつ、モデルを段階的に長距離の依存関係に露出させる。
  • **クリーン・コンテキスト・ポリシー（Clean Context Policy）**により、ターゲットフレームはランダムにサンプリングされる一方で、コンテキストフレーム（$X_{1:k}$）は教師の訓練分布との整合性を保つために完全にデノイズ（ノイズ除去）される。

2. コンテキスト管理システム（スロー・ファスト・メモリ）

極端な長時間（例：2分間）の実行可能性を確保するため、著者らは二重過程理論（dual-process memory theories）に着想を得たKVキャッシュ管理システムを導入している。キャッシュは以下の3つのコンポーネントに分割される：

• アテンション・シンク（Attention Sink, $S$）： アテンションを安定させるために初期トークンを保持する。
• スロー・メモリ（Slow Memory, $C_{slow}$）： 高エントロピーなキーフレームを格納する長期バッファ。重大な新しい情報が検出された場合にのみ更新される。
• ファスト・メモリ（Fast Memory, $L_{fast}$）： 直近の局所的なコンテキストを捉えるローリングFIFOキュー。

サプライザルに基づく集約（Surprisal-Based Consolidation）： 新しいトークンが生成される際、そのキーベクトルが直前のトークンと比較される。もし類似度が閾値を下回った場合（状態遷移または視覚的変化を示唆）、そのトークンはスロー・メモリへと昇格され、そうでなければ破棄される。これにより、視覚的な冗長性が削減される。

有界位置エンコーディング（Bounded Positional Encoding）： 位置インデックスが無制限に増大する標準的な自己回帰モデルとは異なり、このシステムはすべてのトークンのRoPE位置を固定範囲 $\Phi = [0, N_s + N_c + N_l - 1]$ 内に制限する。最近の履歴は高いインデックスを通り抜け、顕著な履歴は低いインデックスに圧縮されることで、長いシーケンスにおけるアテンションを安定させる。

3. 堅牢なコンテキスト・ティーチャーの訓練

生徒のコンテキストに蓄積されたエラーが含まれている場合でも、教師が生徒を導けるように、教師は**エラー再利用微調整（Error-Recycling Fine-Tuning, ERFT）**を受ける。教師は、過去のモデル残差からサンプリングされた、現実的な蓄積エラーを含む摂動を加えたコンテキストを用いて訓練される。これにより、教師は生徒がドリフトした場合でも、回復を行い、信頼できる指導を提供することが可能になる。

主な貢献

1. コンテキスト・フォーシング・フレームワーク： 長コンテキストの教師から長コンテキストの生徒へと知識を蒸留する新しい訓練パラダイムであり、ストリーミング・チューニング手法に固有の教師・生徒間のミスマッチを排除する。
2. スロー・ファスト・メモリ・アーキテクチャ： 線形に増大するコンテキストを圧縮されたメモリ構造へと変換するコンテキスト管理システムであり、視覚的な冗長性を大幅に削減し、20秒を超える効果的なコンテキスト長を実現する（既存手法より2〜10倍長い）。
3. 堅牢な長尺ビデオ生成： 提案手法が、一貫性の高い長尺ビデオ生成を実現し、様々な長尺ビデオ評価指標においてベースラインを上回ることを実証した。

実験結果

本手法は、双方向拡散モデル（例：Wan2.1, LTX-Video）および自己回帰ベースライン（例：LongLive, FramePack, Self Forcing++）と比較評価された。

• コンテキスト長： 本モデルは、既存手法の1.5〜9.2秒に対し、20秒以上の効果的なコンテキスト長をサポートする。
• 一貫性指標： 60秒間のビデオ生成タスクにおいて、Context Forcingは以下の項目で優れたスコアを達成した：
  • DINOスコア（被写体の一貫性）： 60秒時点で87.89（FramePack-F1の68.50、LongLiveの86.26と比較）。
  • CLIP-Fスコア（背景の一致性）： 60秒時点で95.35。
  • CLIP-Tスコア（意味的一致性）： 60秒時点で37.66。
• 定性的結果： 視覚的な比較では、ベースラインが10〜20秒後にアイデンティティの変容、シーンのリセット、または周期的な動きのパターンを示すのに対し、Context Forcingは1分間を通して一貫した被写体と背景を維持している。
• アブレーション研究：
  • **コンテキスト蒸留（Contextual Distillation）**を除去すると、意味的一致性と時間的一致性が低下した。
  • **有界位置エンコーディング（Bounded Positional Encoding）**を除去すると、背景の安定性と被写体の一致性が大幅に低下した。
  • **エラー再利用微調整（ERFT）**は、コンテキスト・ティーチャーを蓄積されたエラーに対してより堅牢にすることが示された。

意義と主張

本論文は、Context Forcingが因果的ビデオ生成における「忘却とドリフトのジレンマ」の根本原因、すなわち「短コンテキストの教師が長コンテキストの生徒を導けないこと」に対処していると主張している。教師が完全な生成履歴を把握することを保証し、メモリ効率の高いアーキテクチャを採用することで、本手法は堅牢で一貫した長尺ビデオ生成を可能にする。

著者らは、本手法がドリフトエラーを大幅に軽減する一方で、現在のメモリ圧縮戦略には情報密度に関する最適化の余地が残されていると述べている。今後の課題として、複雑でオープンエンドなビデオ合成の効率をさらに向上させるための、学習可能なコンテキスト圧縮および適応型メモリメカニズムへの注力が示唆されている。

本研究は、デジタル・ストーリーテリングや映画制作のためのよりコヒーレントな視覚シーケンスへの一歩となる位置付けであり、同時に、高度に一貫した合成メディアを生成することの倫理的影響を認め、デジタル・ウォーターマークやプロベナンス（起源）基準の重要性を提唱している。