技術要約：Self Gradient Forcing (SGF)

1. 問題提起：歴史的コンテキストにおける勾配のギャップ（The Historical Context-Gradient Gap）

オートリグレッシブ（自己回帰型）ビデオ拡散モデルの最近の進展は、グラウンドトゥルースのビデオコンテキストではなく、モデル自身が生成した履歴を用いて学習を行う「Self Forcing」というパラダイムへと移行しています。このアプローチは、学習分布を推論条件に一致させることで、露出バイアス（exposure bias）を軽減します。しかし、著者らは現在のSelf Forcingの実装における決定的な限界として、「歴史的コンテキストにおける勾配のギャップ（historical context-gradient gap）」を指摘しています。

標準的なSelf Forcingでは、モデルは将来のフレームを予測するために、自身の生成した履歴を（Key-Valueキャッシュを介して）「読み取る」ことは学習しますが、その履歴をキャッシュへ「書き込む」プロセスは教師なしの状態のままです。具体的には以下の通りです：

• 凍結されたKVキャッシュ: 自己回帰的なロールアウト中、以前に生成された潜在変数（latents）は、クリーンなコンテキスト・タイムステップ（$t_{ctx}=0$）で処理され、Key-Value（KV）エントリとして生成されます。これらのエントリは、将来のブロックのためのキャッシュとして「凍結された」状態で保存されます。
• 教師信号の欠如: 将来の損失（例：ノイジーなタイムステップにおけるDistribution Matching Distillation損失）は、キャッシュの「読み取り」（将来のトークンがどのように履歴にアテンンドするか）を通じてバックプロパゲーション（誤差逆伝播）することはできますが、キャッシュへの「書き込み」（初期の潜在変数がどのようにKV表現へとエンコードされるか）を通じてバックプロパゲーションすることはできません。
• 結果: ロールアウトが延長されるにつれ、クリーンなタイムステップのKVエントリを書き込む責任を持つパラメータは、直接的なフィードバックなしにノイジーなタイムステップでの損失によって更新されるため、ドリフト（逸脱）が生じます。これにより、長時間の生成においてアイデンティティのドリフト、レイアウトの不一致、シーンの崩壊が発生します。

直接的な解決策として、全シリアル・ロールアウトのグラフを微分可能に保ち、将来の損失が全履歴にバックプロパゲーションできるようにする方法もありますが、ロールアウトの長さに応じてグラフが膨張するため、メモリ爆発により計算量的に不可能です。

2. 手法：Self Gradient Forcing (SGF)

著者らは、シリアル・ロールアウト全体に対するフル・バックプロパゲーションを必要とせずに、欠落していたメモリ書き込みの教師信号を復元する二段階の学習戦略である「Self Gradient Forcing (SGF)」を提案しています。SGFは既存のフォーシング手法の改善策とは直交しており、それらの上に適用することが可能です。

二段階の戦略

SGFは、学習ステップを以下の2つの明確なフェーズに分解します。

パス1：勾配なしの自己回帰ロールアウト (No-Gradient Autoregressive Rollout)

• モデルは、推論時と同一の標準的なシリアル自己回帰ロールアウトを実行しますが、勾配は無効化されます。
• 各ブロック $i$ において、モデルは現在の履歴KVキャッシュを用いて潜在変数 $z_i$ をデノイズします。
• サンプリングされた「エグジット・ステップ（exit step）」$s$（特定のデノイジング・タイムステップ）において、モデルは以下を記録します：
  1. ノイジーな入力潜在変数 ($Z^*$)。
  2. エグジット・ステップで生成された予測クリーン潜在変数 ($\tilde{X}_{ctx}$)。
• クリーンな潜在変数は、$t_{ctx}=0$ で処理され、次のブロックのためのシリアルKVキャッシュを更新しますが、この更新は計算グラフからは切り離されています（detached）。

パス2：並列コンテキスト・勾配再構成 (Parallel Context-Gradient Reconstruction)

• モデルはシリアルキャッシュを破棄し、サンプリングされたエグジット・ステップの計算を並列に再構成します。
• パス1で記録されたクリーンな潜在変数 ($\tilde{X}_{ctx}$) は、stop-gradient 入力としてモデルに再投入されます。
• モデルは、クリーンなコンテキストの隠れ状態、KV表現、および将来からコンテキストへの因果的アテンションを再計算します。
• 決定的なのは、このパスで生成されるKV表現が微分可能である点です。
• その後、モデルは記録されたノイジーな潜在変数 ($Z^*$) を処理して予測を生成し、結果としての損失（例：DMD損失）がバックプロパゲーションされます。
• 結果: 勾配は、将来の損失から、ターゲット側のデノイジング、アテンション機構を経て、KV書き込み計算（クリーン・コンテキストのフォワードパス）へと流れます。これにより、将来の損失が、自己生成された履歴がいかに効果的にメモリへエンコードされるかを監督することが可能になります。

技術的な実装詳細

• 勾配の境界 (Gradient Boundary): この手法は、フル・バックプロパゲーション（BPTT）を回避します。勾配は、限定されたパス2の再構成を通じてのみ流れます。再構成への入力（記録された潜在変数）はstop-gradientであり、最適化の対象をロールアウトの軌跡自体ではなく、書き込みメカニズムに集中させます。
• 効率性: 静的な因果的マスク（例：FlexAttention経由）を用いた並列再構成を使用することで、SGFは、完全に微分可能なシリアルキャッシュに伴うメモリ爆発を回避します。
• ストリーミング・ポリシー: フレーム単位の生成については、SGFはsink-plus-FIFOコンテキスト・ポリシーを利用し、固定のsinkプレフィックスと直近の潜在変数のウィンドウを維持することで、勾配フォーシングの効果を分離します。

3. 主な貢献

1. ギャップの特定: 本論文は、凍結キャッシュを用いたSelf Forcingにおける「歴史的コンテキストにおける勾配のギャップ」を正式に特定しました。これは、将来の損失がキャッシュの読み取りは監督するものの、クリーン・コンテキストの書き込み計算を監督できないために、長時間の生成においてドリフトが生じる現象です。
2. SGFアルゴリズム: 並列コンテキスト・勾配再構成を通じてメモリ書き込みの教師信号を回復する、二段階の学習戦略を導入しました。これにより、将来の損失を用いて、モデルがコンテキストをより効果的な因果的メモリへとエンコードするように訓練することが可能になります。
3. 実証的検証: SGFが、短期間（5秒）の品質をSelf Forcingと同等に維持しつつ、ネイティブな長時間ビデオ外挿（60秒および240秒）を大幅に改善することを広範な実験で示しました。

4. 実験結果

著者らは、フレーム単位およびチャンク単位の生成において、様々な初期化（Causal ODE, Causal CD, Teacher Forcing）とホライゾン（5s, 60s, 240s）を用いて、SGFを一致させたSelf Forcingのベースラインと比較評価を行いました。

• 定量的指標:
  • SGFは、60秒および240秒のホライゾンにおいて、被写体の整合性（subject consistency）、背景/レイアウトの整合性（background/layout consistency）、時間的安定性（flickering）、および**審美的品質（aesthetic quality）**において、一貫してSelf Forcingを上回りました。
  • Self Forcingの方が「動的度合い（dynamic degree）」が高くなる場合がありますが、著者らはこれを、品質向上ではなく、不自然な動き（シーンのジャンプや物体の変形）によるものと考えています。SGFは、より安定し、妥当なカメラの進化を維持します。
  • 5秒のホライゾンにおいて、SGFはSelf Forcingと同等の性能を示し、本手法が短期生成を劣化させないことを確認しました。
• 定性的結果:
  • 視覚的な比較により、Self Forcingモデルは、外挿が進むにつれて、アイデンティティのドリフト、ビューのジャンプ、レイアウトの崩壊に陥ることが示されました。
  • SGFモデルは、わずか5秒のウィンドウで学習されている場合でも、240秒間にわたって被写体のアイデンティティ、ポーズ、およびシーンのレイアウトを維持します。
• ユーザー調査: 1,900件以上のペア判定を含むブラインドGSB（Greater-Same-Better）選好調査において、テストされたすべての設定でSGFがSelf Forcingに対して一貫した優位性を示し、約29%から48%の範囲のポジティブな選好スコアを得ました。
• 学習の実現可能性: SGFによるオーバーヘッドは僅かです。ピークメモリはわずかに増加しますが（約79GBから87GB）、再帰的グラフの排除により、安定メモリは減少します（約79GBから63GB）。実行時間は、5トレーニングステップあたり約1.3秒増加します。

5. 意義と主張

本論文は、SGFが現在の自己回帰型ビデオ拡散学習における根本的な限界、すなわち「将来の損失が自己生成された履歴をメモリにエンコードするプロセスを監督できないこと」に対処していると主張しています。

• ネイティブな外挿: SGFは、短いウィンドウ（例：5秒）で学習されたモデルが、より高い一貫性を持って分単位のビデオ（60秒、240秒）へと外挿することを可能にします。
• 直交性: 本手法は、他のフォーシング技術（Causal Forcing, Rolling Forcingなど）や初期化戦略と競合することなく、組み合わせて使用できるドロップイン形式の改善策として提示されています。
• メモリ書き込みの監督: 本研究の核心的な意義は、学習目的を、「単に自身の履歴を読み取る」ことから、「将来の生成ステップにおいて有用であり続ける方法で履歴を書き込む」ことへとシフトさせた点にあります。

著者らは、歴史的コンテキストにおける勾配のギャップを閉じることにより、SGFが、フル・ディファレンシャブル・ロールアウトに伴う過大なメモリコストを回避しながら、高品質なネイティブ長時間ビデオ生成へのスケーラブルな道筋を提供すると結論付けています。