技術要約: TokenTrim

問題提起

自己回帰的なビデオ生成は、生成されたばかりのフレームを新しいバッチの条件付けとして反復的に用いることで、長尺ビデオを合成するための支配的なパラダイムとして台頭しています。しかし、この手法は**テンポラル・ドリフト（時間的漂流）**という問題に直面します。これは、初期のフレームで導入された微小なエラーや不整合が、長いホライゾン（時間軸）にわたって蓄積・増幅していく現象です。この蓄積は、アイデンティティの変化、構造的な劣化、グローバルな一貫性の喪失、そしてセマンティックな崩壊を引き起こします。

ドリフトを軽減するための最近の試みは、長距離の条件付けの強化（例：時間的なKey-Valueキャッシュ、アンカー・トークン）や、学習手順の変更（例：確率的勾配切断を用いたセルフ・フォーシング）に焦点を当ててきました。著者らは、これらの手法が脆弱なまま残っている理由は、推論時のエラー伝播の根本原因である「破損した潜在条件トークンの制御不能な再利用」に対処できていないためであると仮定しています。潜在状態のある領域が一度破損すると、それが後続の自己回帰ステップにおいて繰り返し再利用され、アテンションを支配し、エラーを前方へと伝播させてしまいます。現在のシステムには、どのキャッシュされた潜在トークンが信頼できるかを評価するメカニズムが欠けています。

手法: TokenTrim

著者らは、不安定な潜在トークンを再利用される前に特定し、除去するために設計された、完全な推論時手法であるTokenTrimを提案します。TokenTrimは潜在空間内で完全に動作し、アーキテクチャの変更や再学習を必要とせず、計算オーバーヘッドも無視できる程度です。

本手法は、以下のコアコンポーネントで構成されています。

1. モーション安定化初期化 (Motion-Stabilized Initialization)

初期段階の破損を軽減するため、最初のフレームバッチは、モーション認識型の分散ガイダンスを導入する推論時正規化技術であるFlowMoを使用して生成されます。これにより、安定した潜在アンカーが生成されます。後続のバチは、ベースとなる自己回帰モデルを使用して生成されます。

2. 潜在サマリーの構築 (Latent Summary Construction)

各自己回帰ステップ $t$ において、本手法は、以前に生成されたバッチ ($X_{t-1}$) と候補となる現在のバッチ ($X_t$) を潜在トークンへとエンコードします。直接比較を可能にするため、各バッチの各フレームにおける空間的な潜在トークンを時間軸方向に平均化することで、潜在サマリー ($Z_{t-1}$ および $Z_t$) を構築します。

3. パー・トークン・ドリフト推定 (Per-Token Drift Estimation)

本手法は、現在のサマリーと前のサマリー間のユークリッド距離を測定することにより、各空間的トークンインデックス $i$ のドリフトスコア ($d_i$) を算出します。
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
高いドリフトスコアは、特定のトークン位置における潜在的な破損またはセマンティックな逸脱を示しています。

4. 適応型トリガーと深刻度評価 (Adaptive Trigger and Severity Assessment)

無条件にプルーニングを行うのではなく、TokenTrimは現在のバッチが異常なドリフトを示しているかどうかを評価します。

• 最も高いドリフトスコアを持つ上位 $p \cdot N$ 個のトークンを特定します（ここで $p$ はプルーニング割合、$N$ は総トークン数）。
• これらの上位トークンの平均ドリフトとして、ドリフト深刻度スコア ($D_t$) を計算します。
• 以前に受理されたバッチからのドリフト深刻度の移動統計量（平均 $\mu_t$ および標準偏差 $\sigma_t$）を保持します。
• プルーニングの介入は、$D_t > \mu_t + \lambda\sigma_t$（$\lambda$ は感度ハイパーパラメータ）となる場合にのみトリガーされます。信頼できる統計量を蓄積するために、初期段階ではウォームアップ期間 ($T_{warm}$) が使用されます。

5. ハード・プルーニングと再生成 (Hard Pruning and Regeneration)

ドリフト基準を超過した場合：

• 空間的なプルーニングマスクが時間的なKey-Value (KV) キャッシュに適用され、不安定なトークン位置に対応するキーと値が削除されます。
• 現在のバッチは、このプルーニングされたキャッシュを条件として一度再生成されます。
• もし再生成されたバッチが依然としてドリフト基準に違反する場合、無限ループを防ぐためにそのまま受理されます。
• もしドリフト基準を超過しなければ、修正なしでバッチが受理されます。

TokenTrimは、Self ForcingおよびRolling Forcingにおいて実証されているように、自己アテンションとKVキャッシュを利用する自己回帰フレームワークと互換性があります。

主な貢献

1. 推論時ドリフト検出: 本論文は、推論中に不安定な潜在トークンを明示的に検出するメカニズムを導入し、焦点を集団の容量から情報の伝播制御へとシフトさせました。
2. 潜在トークンのハード・プルーニング: 全体の空間領域やモデルパラメータを変更する手法とは異なり、TokenTrimは破損した特定のトークンを選択的に除去することで、信頼できない情報が将来のステップに影響を与えるのを防ぎます。
3. トレーニングフリーの統合: 本手法は、モデルの重みや学習手順を変更したり、潜在空間を離れたりすることなく動作するため、既存の最先端ビデオ生成フレームワークとの互換性があります。
4. モーション安定化初期化: 初期バッチにFlowMoを統合することで安定したアンカーを提供し、プルーニングメカニズムを補完します。

実験結果

著者らは、Wan2.1-1.3Bテキスト・トゥ・ビデオモデルを用い、Rolling ForcingおよびSelf Forcing戦略を用いてTokenTrimを評価しました。

• 定量的パフォーマンス (VBench):
  • Rolling Forcingにおいて、TokenTrimは最終スコアを75.12%から**79.67%**へ（+4.55%）向上させ、Quality（品質）で+5.58%、Semantic（セマンティック）で+3.53%の顕著な向上を示しました。
  • Self Forcingにおいて、最終スコアは75.93%から**81.84%**へ（+5.91%）上昇しました。
  • TokenTrimは、すべての集計メトリクスにおいて、FlowMo（推論時モーションガイダンス手法）およびベースラインの自己回帰手法を一貫して上回りました。
• 人間による嗜好調査 (VideoJAM-Bench):
  • 直接比較において、TokenTrimはテンポラル・ドリフトの低減において、ベースラインのRolling Forcing（41.7% vs 15.2%）および、Self Forcing（49.7% vs 10.2% vs FlowMo）よりも有意に好まれました。
  • また、テキスト・ビデオの整合性を維持しつつ、モーションの一貫性と美的品質においても優れた性能を示しました。
• 効率性: TokenTrimによる実行時間の増加は、ベースラインと比較してわずか1.08倍でした。一方、FlowMoを適応させたセットアップでは2.18倍のスローダウンが発生しました。
• アブレーション研究:
  • 積極的なプルーニング（20%）は性能を著しく低下させましたが、適度なプルーニング（10%）が最適な結果をもたらしました。
  • FlowMoによる初期化を取り除くと性能が低下したことから、安定したスタートによる相補的なメリットが確認されました。

重要性と主張

本論文は、テンポラル・ドリフトは単なるモデリングやデータの問題ではなく、推論時の情報伝播の問題であると主張しています。KVキャッシュを受動的な履歴ログではなく、能動的で自己修正可能なメモリメカニズムとして扱うことで、TokenTrimは、推論時に条件付けコンテキストを制御するだけで、テンポラル・ドリフトを大幅に減少させられることを示しています。

著者らは、将来の無限ビデオ合成の進展は、モデルがいかに多くのコンテキストを記憶できるかだけでなく、現実を歪める恐れのあるノイズを選択的に破棄する能力にかかっていると結論付けています。彼らはTokenTrimを、再学習やアーキテクチャの変更という計算コストをかけることなく、長期ホライゾンの時間的一貫性を向上させる、明確かつ未開拓のメカニズムとして位置づけています。