技術要約：線形逆問題における、証明可能なDDIMベースの後方分布サンプリング

問題設定

本論文は、未知の信号 $X_0 \in \mathbb{R}^d$、既知の線形測定演算子 $A \in \mathbb{R}^{n \times d}$、およびガウスノイズ $\varepsilon \sim \mathcal{N}(0, \sigma^2 I_n)$ からなる、ノイズを含む線形逆問題 $Y = AX_0 + \varepsilon$ の解決という課題に取り組んでいる。目的は、観測値 $y$ に条件付けられたベイズ後方分布 $p_{X_0|Y}$ からサンプルを生成することである。

拡散モデルは、複雑な信号分布を捉えるための強力なデータ駆動型事前分布として台頭しているが、既存の後方分布サンプリング手法には、以下のいずれかの制限があることが多い：

1. 理論的保証の欠如： 多くのヒューリスティックな手法（投影ベースの手法や近似的なスコア補正など）は、生成されたサンプルが真の後方分布に収束するという厳密な証明を欠いている。
2. 計算オーバーヘッド： 後方分布のスコアを近似しようとする手法や、逐次モンテカルロ法（SMC）を用いる手法は、スコア関数の勾配計算や大量のパーティクルを必要とするため、計算コストが極めて高くなる。

手法：Posterior-DDIM

著者らは、標準的なDenoising Diffusion Implicit Models (DDIM) サンプラーを適応させることで、後方分布サンプリングを行うシンプルかつ効率的なアルゴリズムである Posterior-DDIM を提案している。核心となる革新は、信号空間に対する特異値分解（SVD）に基づく分割であり、観測信号の信号対雑音比（SNR）と拡散過程のSNRの相対的な強さに応じて更新を調整する点にある。

1. SNRガイド付き分割

測定行列 $A = U\Sigma V^\top$ のSVDを用いて、問題を各特異方向 $v_s$ に沿ったスカラー推論問題へとデカップル（分離）する。著者らは、各方向における閾値時刻 $\tau_s$ を、拡散のSNR ($\alpha_t/\sigma_t$) が観測のSNR ($\Sigma_{ss}/\sigma$) と等しくなる点として定義している。これに基づき、任意の時刻 $t$ において、特異方向は以下の3つのグループに分割される：

• 観測優位方向 ($S^{meas}_t$): 観測のSNRが拡散のSNRを上回る方向 ($t \ge \tau_s$)。
• 事前分布優位の観測方向 ($S^{prior}_t$): 観測のSNRが拡散のSNRより低いものの ($t < \tau_s$)、依然として観測されている方向。
• 未観測方向 ($S^c$): 測定情報が存在しない、$A$ の零空間（null space）内の方向。

2. 座標ごとの更新規則

アルゴリズムはこれらのグループに対して異なる更新規則を適用し、標準的なDDIMの更新に対する軽量な修正のみを必要とする：

• $S^{meas}_t$（観測優位）に対して： 学習された事前分布をバイパスし、校正されたノイズを含む観測値を直接注入する。具体的には、測定 $y$ による補助的な前方プロセスを用いて座標 $v_s^\top \hat{X}_{t_{i+1}}$ を生成し、その方向への前方拡散プロセスに周辺分布が一致するようにする。
• $S^{prior}_t$（事前分布優位の観測方向）に対して： 学習されたデータ予測器 $\mu_t(\cdot)$ によって駆動される標準的なDDIMのダイナミクスに従う。特異値が同一でない一般的なケースでは、更新が条件付き後方分布と整合性を保つように、予測器に補正項が追加される。
• $S^c$（未観測方向）に対して： これらの座標は、観測された座標に条件付けられた学習済み拡散事前分布から完全にサンプリングされる。未観測の部分空間を十分に探索することを促すため、より大きな確率性パラメータ $\eta_1$ が使用され、更新がよりランジュバン的な挙動を示すようになる。

3. 確率性パラメータ

本手法は、$S^{prior}_t$ および $S^c$ のDDIM更新におけるノイズ注入を制御する2つの確率性パラメータ $\eta_0$ と $\eta_1$ を利用する。

• $\eta_0$ は、事前分布が主要なガイドとなる観測方向において決定論的な更新を維持するため、小さく（多くの場合0）保たれる。
• $\eta_1$ は、未観測の部分空間が効果的に探索されることを確実にするために十分に大きく設定され、その分布は事前分布のみによって決定される。

主な貢献

1. アルゴリズムの簡潔性： 提案手法は、後方分布サンプリングを一連の単純な座標ごとのDDIM更新へと還元する。複雑な投影ステップ、尤度勾配の計算、あるいは拡散モデルの再学習を必要とせず、測定モデルを明示的に組み込んでいる。
2. 理論的保証： 著者らは、**漸近的な後方分布の正しさ（asymptotic posterior correctness）**を確立した。正確な拡散事前分布と十分に細かい時間離散化を仮定の下で、Posterior-DDIMによって生成されたサンプルの分布が、全変動距離において真のベイズ後方分布 $p_{X_0|Y}$ に収束することを証明している。これは、特異値が同一である特殊なケースと、任意の特異値を持つ一般的なケースの両方に成立する。
3. 実験的性能： 画像復元タスク（インペインティング、超解像、ガウスぼかし、圧縮センシング）における広範な実験により、Posterior-DDIMが主要な評価指標（PSNR、SSIM、LPIPS、FID）の大部分において、既存の拡散ベースのサンプラー（DPS、DDRM、DDNM+、ProjDiffを含む）を凌駕していることが示された。

実験結果

著者らはCelebAおよびImageNetデータセットを用いてアルゴリズムを評価した。主な知見は以下の通りである：

• 優位性： Posterior-DDIMは、ほとんどのタスクにおいて少なくとも3つの指標で最高の性能を達成し、検討されたすべてのタスクにおいて少なくとも2つの指標で優れた性能を示した。
• 堅牢性： 本手法は、異なるノイズレベルや劣化タイプに対しても一貫してベースラインを上回った。
• 効率性： アルゴリズムは、安定した性能に達するためにわずか100回の関数評価（NFE）を必要とし、これは（1000 NFEを必要とすることが多いDPSなどの）他の手法と同等、あるいはより高速である。
• ハイパーパラメータの感度： 実験により、$\eta_0 = 0$（事前分布優位の方向に対する決定論的更新）とし、十分に大きな $\eta_1$（例：16または32）を設定することが最適結果をもたらすことが示された。

意義と主張

本論文は、拡散事前分布と線形測定モデルを統合するための原理に基づいた証明可能なフレームワークを提供すると主張している。複雑な後方分布サンプリングの問題を、単純な方向ごとのDDIM更新に変換することで、著者らは理論的な厳密さと実用的な効率性の間の溝を埋めている。

本研究の意義は、以下の能力によって強調される：

• 多くのヒューリスティックな手法における収束保証の欠如に対処し、DDIM型のサンプラーに対して厳密な理論的裏付けを提供する。
• 標準的な拡散サンプラーの計算効率を維持しながら、測定モデルを明示的に扱う、実装が容易なソリューションを提供する。
• 逐次モンテカルロ法の計算上の制約や、投影ベースの手法のヒューリスティックな近似なしに、**後方分布の一致性（posterior consistency）**が達成可能であることを示す。

著者らは、現在の研究は線形逆問題に焦点を当てているが、このフレームワークを非線形の設定に拡張することや、収束率を特徴付けることは、将来の研究に向けた自然な方向であると述べている。