技術的概要：TeDiO – 学習不要なコヒーレント動画拡散のための時間的対角最適化

1. 問題提起

テキストから動画への拡散トランスフォーマー（Wan2.1、CogVideoX など）の急速な進歩にもかかわらず、現在の最先端モデルは時間的コヒーレンスに苦慮しています。個々のフレームは視覚的に魅力的であることが多いものの、生成された動画は頻繁に以下の問題に悩まされます：

• フリッカーとドリフト： テクスチャやオブジェクトがフレーム間で予測不可能にシフトする。
• 一貫性のない運動： 大域的な運動に連続性が欠如し、物理的に不自然なダイナミクスが生じる。
• アーティファクト： 被写体の重複、オブジェクトの融合、「ジッター」運動などの問題が、リアリズムの錯覚を破綻させる。

これらの問題に対する既存の解決策は、通常以下のようなものを含みます：

1. 再学習： 明示的な運動一貫性監督を用いてアーキテクチャを変更したりモデルを再学習させたりする手法であり、大規模なデータセットを必要とし、計算コストが高い。
2. 外部監督： 推論中にオプティカルフローネットワークやマルチ GPU パイプラインなどの補助コンポーネントを使用する手法であり、実用性と汎用性が低下する。

本論文は、以下の根本的な問いを提起します：再学習、外部監督、アーキテクチャの変更なしに、拡散モデルの内部信号のみを用いて時間的コヒーレンスを効率的に改善できるか？

2. 主要な観察

著者らは、モデル内部の時間的自己注意と生成された運動の質との間に、直接的かつ測定可能な関連性があることを特定しました：

• 非コヒーレントな運動： 注意マップの時間的対角線上に、不規則で断片的、かつギザギザしたパターンを生み出す。
• コヒーレントな運動： これらのマップにおいて、滑らかでクリーンなバンド対角パターンに対応し、フレーム間の安定した整列を示す。

この観察は、運動の安定性がトランスフォーマーの注意機構内部に「足跡」を残すことを明らかにし、推論中に利用可能な自己診断信号を提供する。

3. 手法：TeDiO（時間的対角最適化）

TeDiO は、自己注意マップ内の時間的対角を正則化することで運動コヒーレンスを強化する学習不要、推論時手法である。これは既存の動画拡散トランスフォーマーに対するプラグアンドプレイ型の拡張として機能する。

中核メカニズム

1. 再パラメータ化： サンプリングプロセス中、凍結された拡散トランスフォーマー（DiT）の特定ブロックからのクエリ（$Q$）とキー（$K$）を再構成し、時間的相互作用を分離する。平坦化された空間 - 時間軸の代わりに、この手法は空間位置と注意ヘッドをグループ化しつつ、時間次元（$F$）を明示的に保持する。
2. 対角分析： 各空間 - ヘッドパッチに対して、時間的注意マップを計算する。この手法は、自己一貫性と連続フレーム間の運動連続性を表す主対角（$b=0$）および即座の隣接（$b=\pm1$）に焦点を当てる。
3. 変動スコアリング： 各パッチに対して対角変動スコア（$S(p)$）を計算する。このスコアは、対角バンドに沿った局所的な変動（勾配）を測定する。高いスコアは「ぎこちない」時間的挙動（急激な注意のシフト）を示し、低いスコアは安定した運動を示す。
4. 選択的最適化：
   • TeDiO は、変動スコアが最も高い上位$k$個のパッチ（最も不安定な領域）を特定する。
   • これらのスコアの合計に基づいて損失関数（$L_{TeDiO}$）を定義する。
   • 拡散の初期ステップ（大域的な運動軌道が形成される段階）において、潜在表現（$z_t$）を数ステップの勾配更新を通じて更新する：$z_t \leftarrow z_t - \eta \nabla_{z_t} L_{TeDiO}$。
   • この更新は、注意マップがより滑らかでバンド対角的なパターンを採用することを促す。

運用特性

• 学習不要： モデル重み（$\theta$）の変更は不要。
• 外部監督なし： オプティカルフロー推定器、識別器、その他の外部モデルに依存しない。
• 効率性： 単一 GPU で動作し、計算オーバーヘッドは negligible（ベースラインと比較して約 1.1 倍の実行時間）。
• タイミング： 生成プロセス全体に伝播するコヒーレンスをシードするために、最初の数ステップ（$\tau_1, \dots, \tau_\ell$）でのみ適用される。

4. 実験結果

この手法は、2 つの最先端オープンソースモデル：Wan2.1-1.3B（フローマッチング）およびCogVideoX-5B（ノイズ除去）で評価された。

ベンチマーク

• VBench： 標準的なプロンプトにおける知覚的および時間的品質を評価。
• VideoJAM-Bench： 時間的不安定性と複雑な相互作用を露呈させるように設計された 128 の挑戦的なプロンプトを使用。

定量的知見

TeDiO は、両モデルおよび両ベンチマークにおいて一貫して主要指標を改善した：

• 運動の滑らかさ： 顕著な増加（例：Wan2.1 は VBench で 98.32 から 98.78 に改善）。
• 時間的フリッカー： 静的プロンプトにおけるフリッカーの減少。
• 被写体および背景の一貫性： 連続フレーム間の類似性の向上。
• 知覚的品質： 審美的および画像品質スコアの向上。
• 動的度： わずかな減少が観察されたが、これは著者らが意図的な運動の喪失ではなく、高周波の時間的ノイズ（ジッター）の除去に起因すると帰属している。その結果得られた運動プロファイルは、実世界の動画データセット（WebVid、UCF-101）と密接に一致する。

最先端（SOTA）との比較

関連する推論時最適化手法であるFlowMo [42] と比較して：

• 性能： TeDiO は運動の滑らかさ（+0.62 対 +0.06）および被写体の一貫性（+1.68 対 -0.69）においてより大きな改善を達成した。
• 効率性： TeDiO は1 GPUで動作し、1.1 倍のランタイムオーバーヘッドであるのに対し、FlowMo はフル逆伝播により2 GPUを必要とし、2.39 倍のランタイムオーバーヘッドを伴う。

ユーザー調査

VideoJAM-Bench プロンプトを使用した 10 名の参加者による知覚的調査において、TeDiO によって生成された動画は、優れた時間的コヒーレンスによりベースモデルに対して強く好まれた。

5. 主要な貢献

1. 構造的関連性の発見： 時間的注意対角と運動安定性の間の定量化可能な関係を明らかにし、動画拡散トランスフォーマーを分析する新たな視点を提供する。
2. TeDiO フレームワーク： 時間的注意における対角変動を正則化して入力潜在変数を最適化する、学習不要の推論時アプローチを導入する。重みの更新や外部監督を必要としない。
3. 実証的検証： 複数の拡散バックボーン（Wan2.1、CogVideoX）およびベンチマークにわたって、時間的滑らかさ、知覚的安定性、動画リアリズムにおける一貫した改善を実証する。

6. 意義と主張

本論文は、動的リアリズムの大幅な向上が必ずしもモデルサイズや学習データのスケールアップを必要とするものではないと主張する。代わりに、拡散トランスフォーマー内に既に符号化されている時間的構造を利用することが、効率的な前進の道を提供する。

TeDiO は、以下のような推論時最適化への転換を表す：

• モデル非依存： さまざまなアーキテクチャ（フローマッチングまたはノイズ除去）およびスケールに適用可能。
• 実用的： 高価な再学習や複雑なマルチ GPU 設定の必要性を排除する。
• 解釈可能： 内部注意信号を直接的な診断および最適化ツールとして使用する。

限界

著者らは控えめに、TeDiO は以下の点において限界があることを指摘する：

• ベースモデルに固有のセマンティックエラーやプロンプト整合性の問題を修正しない。
• 極めて長い動画や複雑なシーン遷移に対しては、収穫逓減の可能性がある。
• 基礎モデルで十分に表現されていない精密な長距離協調を必要とする本質的に困難な運動（例：曲芸）に対しては効果が低い。
• 中間注意マップへのアクセスを必要とするため、クローズドソース実装では公開されていない場合がある。