技術的サマリー：拡散事後サンプリングが失敗するタイミング、理由、および方法：有限サンプルの視点

問題定義

拡散モデルは、強力な統計的事前分布として機能することで、画像逆問題の解決における支配的なアプローチとなっています。ベイズ逆問題における目的は、学習された事前分布 $p_{pr}(x)$ と測定モデル $y = A(x) + \eta$ から導かれる尤度 $p(y|x)$ を組み合わせた事後分布 $p(x|y)$ からサンプリングすることです。

スコアベースの拡散法は、事後スコアを事前スコアと尤度スコアに分解することで、理論的には正確な事後サンプリングを可能にしますが、尤度スコアは一般的に計算不可能です。これは、ノイズ除去分布 $p_{0|t}(x_0|x_t)$ に対する高次元の積分を評価する必要があるためです。計算の実用性を達成するために、既存の「プラグアンドプレイ」またはゼロショット手法（例：DPS [16]、$\Pi$GDM [17]、TMPD [18]）は、モーメントマッチング近似を採用しています。これらの手法は、ノイズ除去分布をディラックのデルタ（第一モーメント）またはガウス分布（第二モーメント）のいずれかで近似します。

これらの近似はしばしば高品質な再構成をもたらしますが、測定と矛盾するモードの幻覚（ハルシネーション）や事後モードの不適切な重み付けなど、断続的で説明不能な失敗に悩まされています。これらの失敗の根本原因、特に中間時間ステップにおける近似誤差が最終的な事後分布にどのように伝播するかは、未だ十分に理解されていません。重要なのは、これらの失敗が非線形測定モデル、多峰性の事後分布、あるいは近似そのものに起因するものなのか、明確でない点です。

手法：有限サンプルの視点

これらのサンプリングの挙動を厳密に分析するために、著者は事後拡散サンプリングに対する有限サンプルの視点を導入します。データから学習された連続的な事前分布を仮定する代わりに、事前分布 $p_{pr}$ が $N$ 個の i.i.d. サンプル $\{x^{(i)}\}_{i=1}^N$ で構成される離散的な経験的測度であると仮定します。

主要な理論的洞察

1. 解析的扱いやすさ: この領域において、離散事前分布に作用する順方向拡散プロセスは、ガウス混合の周辺分布 $p_t(x_t)$ を生み出します。その結果、ノイズ除去分布 $p_{0|t}(x_0|x_t)$ は既知の離散測度（重み付きディラックのデルタの和）となります。
2. 正確な尤度と事後分布: ノイズ除去器が離散測度であるため、周辺尤度 $p_{y|t}(y|x_t)$ と事後分布 $p_{t|y}(x_t|y)$ は、非線形測定演算子 $A(x)$ であっても、任意の時間ステップ $t$ において解析的に計算可能です。これは、標準的な連続設定ではアクセスできない事後進化の「グランドトゥルース（真値）」代理を提供します。
3. 収束性: $N \to \infty$ において、有限サンプル事後分布はモンテカルロレート $O(N^{-1/2})$ で真の事後分布に収束します。著者は、$t=0$ 付近の精度には大きな $N$ が必要ですが、中間時間ステップにおける事後分布の挙動を正確に特徴づけるには、中程度の $N$ で十分であることを実証しています。

診断フレームワーク

著者は、この有限サンプル領域を診断レンズとして使用し、既存のモーメントマッチング近似を解析的に計算された有限サンプル事後分布と比較します。評価対象は以下の通りです：

• ディラック近似（DPS）: ノイズ除去器を平均点での点質量に置き換えるもの。
• ガウス近似: ノイズ除去器をガウス分布に置き換えるもの。ここでは、ヒューリスティックな共分散増幅（Song ら [17]）またはツイーディの公式による正確なノイズ除去器共分散（Boys ら [18]）のいずれかを利用します。

主要な貢献と知見

1. 失敗モードは非線形性や多峰性に限定されない

非線形測定演算子や多峰性の事後分布が主な原因であるという一般的な信念とは対照的に、著者は、事前分布が多峰性であれば、線形測定モデル、ガウスノイズ、単峰性の事後分布であっても失敗が発生することを示しています。

2. 人気のある近似手法の特定の失敗メカニズム

有限サンプルのレンズを用いて、論文は異なる近似戦略に対する明確な失敗モードを特定しています：

• ガウス近似（第二モーメント）:

  • スプレッドの過大評価: 事前分布が多峰性の場合、これらの手法は中間時間ステップにおいて事後共分散を過大評価する傾向があります。
  • 結果: これにより「幻覚」が発生し、サンプリング器は測定と矛盾する事前分布のモード（すなわち、それらのモードに対する尤度が低い）からサンプルを生成します。サンプリング器は、事前スコアが不正確な尤度スコアを支配するこれらの領域において、事実上条件付き生成なしの生成のように振る舞います。
  • タイミング: 彼らはサンプリングプロセスの初期段階で、事前分布のモードに过早に「コミット」する傾向があり、その結果、事後モードの相対的な重み付けが不正確になります。

• ディラック近似（第一モーメント、例：DPS）:

  • ハイパーパラメータ $\zeta$ による重み付けの誤り: 尤度勾配をスケーリングするスカラーハイパーパラメータ $\zeta$ の選択は、事前分布と尤度のバランスを決定的に左右します。
  • 結果:
    • $\zeta$ が小さすぎる場合、サンプリング器は測定と矛盾する事前分布のモードを抑制できなくなります。
    • $\zeta$ が大きすぎる場合、サンプリング器は尤度を過大評価し、「モードの崩壊」を引き起こしたり、事前分布の下では不自然な測定整合性モードを生成したりします。
    • 最適チューニングを行っても、ディラック近似は正しい事後分散を捉えきれず、事後モードを見逃したり、測定と矛盾する事前分布のモードを幻覚させたりする可能性があります。

3. 中間時間ステップの決定的な役割

論文は、最終サンプル（$t=0$）の品質が、手法の信頼性の貧弱な指標であることが多いことを強調しています。誤差が伝播するのは中間時間ステップの分布です。

• 既存の手法は、無条件事前分布 $p_t(x_t)$ において低確率の領域を探索することがよくあります。
• これらの領域では、スコアマッチングを通じて学習されたスコア関数が明示的に制御されていないため、予測不能な挙動が生じます。
• 中間事後分布のスプレッド（分散）における誤差は、最終的な再構成における誤ったモードの重み付けや幻覚など、下流の失敗を直接引き起こします。

結果

著者は、離散、ガウス、ガウス混合の事前分布と、線形および非線形（二次、三次、正弦波）の順方向モデルの両方を用いた合成 1 次元および 2 次元問題の実験を通じて、フレームワークを検証しました。

• 収束性: 有限サンプル事後分布は $N$ が増加するにつれて真の事後分布に収束し、グランドトゥルースの代理としての有効性が確認されました。
• 視覚的証拠: 時間ステップ全体にわたる事後密度のヒートマップは、以下のことを明らかにしています：
  • ガウス近似は、真の事後分布が単峰性であっても「太いテール」を生成し、誤ったモードからサンプルを抽出します。
  • ディラック近似は、中間時間において正しい平均を捉えられず、不適切な分散を示すことが多く、測定によって排除されるべき事前分布の原子（アトム）からのサンプリングを引き起こします。
• ハイパーパラメータ感度: DPS における $\zeta$ のチューニングは、いくつかの誤差（例えば、モード重みの修正）を軽減できますが、すべての時間ステップにわたる近似の構造的な不一致を単一のスカラーで修正できないという根本的な問題があるため、幻覚やモードの崩壊を普遍的に防ぐことはできません。

意義と主張

本論文は、条件付きサンプリング（無条件サンプリングとは対照的に）を理解するために特別に設計された、有限サンプルの視点を提供すると主張しています。その意義は以下の点にあります：

1. 診断能力: 尤度近似の種類や順方向モデルに依存しない「ドロップイン」診断ツールを提供します。これにより、研究者は複雑な実世界の問題に対する解析的グランドトゥルースを必要とすることなく、既存および将来のサンプリング器の精度と失敗モードを評価できます。
2. 失敗の再定義: 失敗が問題の複雑さ（非線形性/多峰性）のみによるものであるという仮定に挑戦します。代わりに、失敗は単純な線形設定でさえ多峰性の事前分布において、中間時間ステップにおける事後スプレッドの不適切な伝播に起因すると帰属させます。
3. 実用的含意: 高品質な最終再構成は、中間ステップにおける不確実性定量化（事後分布）の重大な誤りを隠蔽する可能性があります。これは、医療画像（例えば、腫瘍とノイズの区別）や自動運転など、信頼性の高い不確実性推定を必要とする応用において重要です。ここで「幻覚」されたモードは、危険な誤解を招く可能性があります。

著者は、事後分布の中間ダイナミクスを理解することが、拡散ベースの逆問題ソルバーの診断と改善に不可欠であり、彼らの有限サンプルのレンズがこの分析のための厳密な枠組みを提供すると結論付けています。