技術概要：自己回帰拡散モデルによる動画逆問題ソルバの高速化

問題定義

動画逆問題は、$y = A(x) + n$ で定義される劣化測定値 $y$（例：低解像度、マスク付き、またはぼやけ）から、クリーンな動画 $x$ を再構成することを目的としています。拡散モデルやフローベースモデルは、これらのタスクに対する強力なゼロショット事前分布として登場しましたが、そのリアルタイム展開は、以下の 2 つの重大な非効率性によって妨げられています：

1. 高い初期レイテンシ: 既存の拡散モデルベースの動画逆問題ソルバ（DVIS）は通常、動画全体を包括的に復元し、シーケンス全体を同時にサンプリングします。その結果、最初のフレームは動画全体の復元が完了するまで表示できず、復元に要する総時間と等しいレイテンシボトルネックが生じます。
2. 低いスループット: 最新の動画拡散モデルは、多くの場合、変分オートエンコーダ（VAE）の潜在空間で動作します。測定値の一貫性を強制するため、現在のソルバは復元プロセス中に複数の VAE 通過（エンコードとデコード）を必要とし、スループットを 1 FPS 未満に制限しています。

手法

著者らは、これらのボトルネックに対処するために自己回帰（AR）動画拡散モデルを活用する自己回帰動画逆問題ソルバ（AVIS）と、その高速化版であるAVIS Flashを提案します。

コアフレームワーク：AVIS

動画全体を共同で処理する非自己回帰ソルバとは異なり、AVIS は動画のチャンクを逐次的に生成するストリーミング方式で動画を復元します。このアーキテクチャは、初期レイテンシボトルネックを自然に排除します。スループットの問題と拡散モデル固有の遅さを解決するため、AVIS は測定値一貫性のある初期化を導入します：

• 初期化: 純粋なガウスノイズから逆拡散を開始する代わりに、AVIS はまず、多段階最適化アルゴリズム（共役勾配法）を用いて目的関数 $\|y - A(x)\|^2$ を最小化することにより、ピクセル空間において粗い測定値一貫性のある推定値 $x_{init}$ を計算します。
• 高速サンプリング: この推定値を潜在空間にエンコードし、中間タイムステップ $t_0$ まで拡散させます。その後、逆拡散プロセスは $t=1$ ではなく $t_0$ から開始され、必要なサンプリングステップ数が大幅に削減されます。
• 反復ガイダンス: 動画の各チャンクに対して、AVIS は分解拡散サンプリング（DDS）フレームワークを用いて、各ノイズ除去ステップで測定値の一貫性を強制します。これには、潜在推定値をデコードし、測定値と整合させるために近接最適化問題を解き、再エンコードすることが含まれますが、高価なヤコビアン計算は必要ありません。

高速化版：AVIS Flash

効率をさらに向上させるため、AVIS Flashはガイダンス戦略を変更します：

• 単一チャンクガイダンス: 測定値の一貫性（反復的な VAE 通過による）を最初の動画チャンクのみで強制します。
• 自己回帰伝播: 後続のチャンク（$n \ge 2$）は、修正されたプレフィックスからの自己回帰伝播（KV キャッシュを使用）によってのみ生成され、明示的な測定ガイダンスをバイパスします。
• 理論的正当性: 著者らは誤差分解分析（命題 1）を提供し、最終誤差は初期誤差（初期化によって軽減される）と、以前のチャンクから伝播するコンテキスト誤差によって上限が決まることを示しています。彼らは、コンテキスト誤差が乗法的な増幅器ではなく加法的な摂動として作用することを観察しており、これにより連続的なガイダンスなしでも忠実度を維持できることを示しています。
• 長動画の安定性: 非常に長いシーケンスの場合、フレームワークは時間的ドリフトを防ぐために、測定値の一貫性を定期的に再注入できます（例：$N$ チャンクごと）。

主な貢献

1. AVIS フレームワーク: ゼロショット動画復元における自己回帰動画拡散モデルの調査。AVIS は、測定値一貫性のある推定値で逆拡散プロセスを初期化することで復元を高速化し、サンプリングステップを削減しながら各チャンクの一貫性を維持します。
2. AVIS Flash: 測定値の一貫性を最初のチャンクのみで強制する、極めて高速化された変種です。このアプローチは、競争力のある性能を維持しながらスループットを大幅に向上させ、効率と性能の有利なトレードオフを提供します。
3. 性能向上: 本論文は、これらの手法が最先端の非自己回帰ソルバと比較して初期レイテンシを劇的に削減し、スループットを増加させることを実証しており、リアルタイム展開への道を開いています。

実験結果

これらの手法は、5 つの逆問題（4 倍スーパー解像度、50% マスクのランダムインペインティング、ガウスデブラー、時間平均、空間時間平均）にわたる 100 本の高分解能動画で評価されました。

• 効率性:
  • レイテンシ: AVIS は初期レイテンシを 114 秒（LVTINO）から 4 秒 に削減します。
  • スループット: AVIS はスループットを 0.71 FPS から 1.18 FPS に向上させます。AVIS Flash は単一の RTX 4090 GPU で 5.91 FPS（H100 では 10.2 FPS）を達成し、ベースラインに対して 8 倍から 12 倍の高速化を実現しています。
• 復元品質:
  • AVIS は、DiffIR2VR-Zero、VISION-XL、LVTINO などのベースラインと比較して、忠実度指標（PSNR、SSIM、LPIPS、FVD）および知覚指標（VBench）において、優れているか非常に競争力のある結果を達成します。
  • AVIS Flash は競争力のある性能を維持し、AVIS と比較して特定の指標でわずかな低下が見られるものの、速度において劇的な改善を提供します。
• アブレーション研究:
  • 自己回帰 KV キャッシュを除去すると性能が低下し、コンテキスト伝播の価値が確認されました。
  • 初期化なしで純粋なノイズから逆プロセスを開始するとドリフトが発生します。忠実度のために測定値一貫性のある初期化が不可欠です。
  • 開始時間 $t_0 = 0.1$ および $K=2$ のサンプリングステップが、速度と品質の間の最良のバランスを提供することが判明しました。

意義と主張

本論文は、AVIS および AVIS Flash が、拡散モデルベースの動画逆問題ソルバの実用的なリアルタイム展開のための堅固な基盤を確立すると主張しています。自己回帰生成と新しい初期化戦略を活用することで、このフレームワークは、拡散モデルの高品質な生成事前分布と、実世界アプリケーションの厳格なレイテンシ/スループット要件との間のギャップを埋めています。

著者らは、これらの手法が最先端を大幅に前進させている一方で、初期のピクセル空間ガイダンスのために依然として複数の VAE 通過に依存していることに注意を促しています。今後の研究では、プロセスをさらに高速化するために、測定値の一貫性を直接潜在空間で強制する可能性が探求されるかもしれません。さらに、劣化入力から高忠実度の動画を復元する能力は、誤情報や機密データの復元に関する倫理的懸念を提起しており、著者らはこれを考慮すべき広範な影響として認識しています。