Improving Diffusion Posterior Samplers with Lagged Temporal Corrections for Image Restoration

技術的概要：遅延時間補正（LAMP）による拡散事後サンプリャの改善

問題定義

拡散モデルに基づく事後サンプリング（PS）は、画像逆問題（例えば、デブラリング、超解像、インペインティング）を解決するための主要なフレームワークとして浮上している。これらの手法は、学習された拡散事前分布と測定制約を組み合わせ、$y = Kx_0 + e$ となる事後分布 $p(x_0|y)$ からサンプリングを行う。DiffPIR や DDRM などの標準的な PS 定式化は、拡散モデルからのノイズ除去ステップとデータ整合性補正 $D_t$ を用いて、現在の推定値 $x_t$ を反復的に更新する方式で動作する。

しかし、著者らはこれらの標準的なアプローチに根本的な構造的限界があることを特定した。すなわち、これらは各逆反復ごとに再計算される瞬時的なステップごとのデータ整合推定値（$D_t$）に依存している点である。この設計は、逆ダイナミクスにおいて時間的変動と不安定性をもたらす。力学系という観点から見ると、標準的な PS 更新は、拡散ダイナミクスに対する1 次離散化と、残差補正項の和として対応付けられる。この残差項は、時間変化する強制信号として作用し、軌道を攪乱させ、無条件生成で用いられる高次ソルバ（DPM-Solver など）が仮定する滑らかで明確な連続時間ダイナミクスから軌道が逸脱する原因となる。その結果、標準的な PS 手法における時間的記憶の欠如は、一貫性のない更新と最適ではない安定性、特に不適切な問題領域において引き起こされる。

手法：LAMP

本論文は、これらの不安定性に対処するために遅延時間補正を導入するモジュール型プラグイン方式である**LAMP（LAgged Multistep Posterior）**を提案する。

1. 力学系の再解釈：著者らは、標準的な PS 更新を、強制された拡散ダイナミクスに対する 1 次離散化として再解釈する。彼らは、更新 $x^{PS}_{t-\Delta t}$ が、測定を考慮したターゲット $D_t$ によって駆動される 1 次指数ステップと、不一致 $(D_t - \hat{x}_{0|t})$ に比例する残差補正項とに分解できることを示す。
2. 2 次離散化：安定性を向上させるため、LAMP は基礎となるダイナミクスに対する2 次離散化を採用する。滑らかな ODE を仮定する標準的な高次ソルバとは異なり、LAMP は逆問題に固有の残差依存強制項を明示的に考慮する。
3. 遅延補正メカニズム：中核的な革新は、連続する推定値の変動に基づいた時間補正の導入である。LAMP 更新は、2 次離散化と残差補正を組み合わせる：
   $$x^{LAMP}_{t-\Delta t} = x^{PS}_{t-\Delta t} + \alpha_{t-\Delta t} A_1(h) \gamma \frac{D_t - D_{t+\Delta t}}{h_{prev}}$$
   ここで、項 $(D_t - D_{t+\Delta t})/h_{prev}$ は離散時間微分として機能する。負の係数 $\gamma$ を選択することで、この手法は遅延補正を適用し、外挿するのではなく現在の推定値をわずかに以前の推定値の方へ引き戻す。これにより軌道が滑らかになり、瞬時的補正によって引き起こされる変動が相殺される。
4. 構造の維持：重要なのは、著者らが（命題 1 で）LAMP が標準的な事後サンプリング構造を維持することを証明している点である。更新は、$\tilde{D}_t$ が現在のデータ整合推定値と以前のデータ整合推定値の凸結合として定義される時間的にフィルタリングされた推定値である、標準形式 $x_{t-\Delta t} = \alpha_{t-\Delta t} \tilde{D}_t + \sigma_{t-\Delta t} \epsilon_\Theta(x_t, t)$ に書き換えられる。$\tilde{D}_t = (1-\beta_t)D_t + \beta_t D_{t+\Delta t}$。これにより、LAMP はノイズ除去器や学習手順を変更することなく、既存の任意の PS バックボーン（DiffPIR、DDRM など）と互換性のあるモジュール型拡張であることが保証される。

理論的解析

本論文は、遅延補正のバイアス - バラつきトレードオフを特徴づける1 ステップリスク解析（命題 2）を提供する。この解析は、時間的平滑化による推定誤差の分散の減少が、事後ターゲットのドリフトに起因する遅延によって導入されるバイアスを上回る場合、LAMP が逆遷移を改善することを示している。著者らは、この条件が通常、拡散プロセスの後期段階で満たされることを実証し、LAMP を短いウォームアップ段階後に活性化させるハイブリッド戦略を動機づけている。

主な貢献

• 構造的ミスマッチの特定：著者らは、拡散ソルバの標準的な ODE ベースの解釈が、逆問題の事後サンプリングに存在する残差依存強制項を捉えられておらず、それが時間的不安定性につながっていることを強調する。
• LAMP フレームワーク：遅延時間補正を事後サンプリング更新に統合する、2 次補正された方式である LAMP を提案する。
• モジュール性と互換性：LAMP は、再学習や前方モデルの変更なしに、既存の任意の PS 手法（DiffPIR、DDRM など）の上にプラグインとして実装可能な、有効な事後サンプリャであることが証明されている。
• 理論的正当性：局所誤差解析により、遅延補正がリスクを低減する条件、具体的には隣接する事後ターゲットが推定ノイズに対して滑らかに進化する場合に確立されている。

実験結果

著者らは、FFHQ、ImageNet、CelebA の 3 つのデータセットにおける標準的な線形逆問題（ガウスデブラリング、モーションデブラリング、超解像）において LAMP を評価した。LAMP 強化版（DiffPIR-LAMP、DDRM-LAMP）を、ベースラインおよび単純な高次変種（1M、2M）と比較した。

• 性能：LAMP は、強力なベースラインに対して一貫して再構成品質を向上させる。ノイズ環境（$\sigma_y = 0.05$）において、DDRM-LAMPは全体的に最高の性能を達成し、すべてのタスクで PSNR、SSIM、LPIPS において一貫した改善を示した。DiffPIR-LAMP も、特にデブラリングと超解像において改善を示した。
• 効率性：これらの改善は、ノイズ除去評価回数（NFE）を増やすことなく達成されており、ベース手法の計算コスト（例：DDRM で 20 NFE、DiffPIR で 100 NFE）を維持している。
• 単純な高次手法との比較：特定の残差補正なしの単純な 1 次および 2 次 ODE 離散化は、一貫して性能を低下させ、提案された遅延残差補正が改善の鍵となる要因であることを確認した。
• 定性的結果：視覚的比較により、LAMP はベースラインと比較して滑らかなテクスチャ、鮮明な境界、細部（CelebA の髪質、イグアナ画像の鱗など）のより良い保存を生み出し、粒状感やぼやけのアーティファクトを低減することが示された。

意義と主張

本論文は、測定を考慮した推定値の時間的フィルタリングが、拡散ベースの逆ソルバを安定化させるための、これまで十分に探索されていなかった重要なメカニズムであると主張する。事後サンプリングを、残差依存強制項を持つ力学系として再定義することで、著者らは単純な遅延補正が再構成品質と安定性を大幅に向上させることができることを実証した。

その意義は、このアプローチのモジュール性にある。LAMP は、新しい事前分布、再学習、または複雑な条件付け戦略を必要としない。代わりに、既存の最先端の事後サンプリャに対する汎用的で低コストの強化策を提供する。著者らは、LAMP がそのバックボーン手法の限界（例えば、根本的なモデルミスマッチを補償できないこと）を継承し、その有効性は基礎となるソルバの補正シーケンスの時間的挙動に依存することを控えめに指摘している。しかし、結果は、安定したベースラインに対して、LAMP が特に微細な構造において、データ忠実度の一貫したかつ知覚的に意味のある改善を提供することを示唆している。