技術的サマリー：逆問題のための双対上昇拡散

問題定義

逆問題とは、前方演算子 $A(\cdot)$ によって支配される、ノイズ混じりかつ劣化された観測データ $y$ から未知の信号または画像 $x$ を推定する問題である。これらは天体物理学や医療画像診断からタンパク質構造決定に至るまで、多岐にわたる分野で普遍的に存在する。これらの問題は通常、不適切（ill-posed）であり、解空間を制約するために事前分布の活用が必要となる。

近年の手法では、強力な事前分布として事前学習済み拡散モデルを利用しているが、最大事後確率（MAP）問題を解く、あるいは事後分布からサンプリングする既存の手法には重大な限界がある。多くの手法は、観測モデルの尤度と拡散事前分布を組み合わせるために計算上の近似に依存している。これらの近似は、不正確なサンプリング、最適ではない再構成品質、あるいは観測データの忠実な表現の欠如（すなわち、高い残差）を招くことが多く、生成された解において「幻覚（hallucinations）」として現れることがある。さらに、多くの最先端手法は高レベルの測定ノイズに対して脆弱であり、誤差の蓄積や補助的なマルコフ連鎖モンテカルロ（MCMC）ステップの必要性に起因する計算的非効率性に悩まされている。

手法：双対上昇拡散（DDiff）

著者らは、事前学習済み拡散モデルを用いて MAP 問題を解くための新しい枠組み DDiff を提案する。事後分布からのサンプリングを証明的に試みる手法とは異なり、DDiff は MAP 問題を正確かつ効率的に解く最適化戦略の導出に焦点を当てる。この手法は、乗数付き交互方向法（ADMM）に触発されているが、拡散モデルに特化して適応させた新たな**双対上昇（dual ascent）**構造を導入している。

中核的なアルゴリズム構成要素

DDiff 枠組みは、各ステップ内で 3 つの主要な更新を反復し、主変数（$x, z$）と双対変数（$u$）の間で交互に更新を行う。

1. x-更新（データ忠実性）: 制約付き最小二乗問題を厳密に解く代わりに、DDiff は線形化された ADMM アプローチを採用する。データ忠実性項 $-\log p(y|x)$ に対して単一の勾配降下ステップを実行することで、線形・非線形を問わず、任意の微分可能な前方モデル $A(\cdot)$ に直接適用可能となる。
   $$x \leftarrow v - \gamma \nabla_v \|y - A(v)\|_2^2, \quad \text{where } v = z - u$$

2. z-更新（ノイズ除去）: このステップは、拡散モデルを単純なノイズ除去器として適用する naive な手法を置き換える。著者らは、標準的なスコアモデル $s_\theta(x, t)$ が時刻 $t$ における拡散多様体上でのみ正確であることを指摘する。変数 $x+u$ が一般にこの多様体上に存在しないという事実に対処するため、DDiff はノイズ除去プロセスを固定する再帰的変数 $x_t$ を構築する。この更新には、「予測された $x_0$"が現在の主変数推定値 $x$ であり、双対変数 $u$ が再スケーリングされて加えられることで信号レベルとの整合性を保つ、DDIM 風の逆拡散ステップが含まれる。
   $$z \leftarrow \frac{1}{\sqrt{\bar{\alpha}_t}} (x_t + (1-\bar{\alpha}_t)s_\theta(x_t, t))$$
   ここで、$x_t$ は双対変数 $u$ を組み込んだ DDIM ステップを通じて更新される。

3. 双対更新: 双対変数 $u$ は、主変数間の残差誤差を蓄積することで制約 $x=z$ を強制するために更新される。
   $$u \leftarrow u + x - z$$

潜在空間への拡張

この枠組みは、潜在拡散モデル（LDM）で使用するために LatentDDiff へと拡張されている。この変種は、コンパクトな潜在表現上で動作し、メモリおよび計算要求を低減する。データ整合性を強制するための 2 つのモードをサポートする。

• Latent-DC: 潜在空間内で直接整合性を強制する。デコーダを通じた逆伝播を必要とする。
• Pixel-DC: 潜在変数をピクセル空間にデコードし、データ整合性の修正を適用した後、再エンコードする。著者らは、Pixel-DC が一貫して高品質な再構成をもたらすと指摘している。

主要な貢献

1. 拡散事前分布のための双対上昇枠組み: 本論文は、双対上昇（ADMM に触発された）と拡散モデルを統合する新たな最適化戦略を導入する。このアプローチは、既存の事後サンプリング手法に共通する近似を回避する。
2. 固定点収束の証明: 著者らは、拡散ベースの事後最適化手法における最初の固定点収束証明を確立した。有界なノイズ除去器および勾配の仮定の下で、主変数および双対変数の系列が、凸な事前分布を仮定しなくても、固定点 $(x^\star, z^\star, u^\star)$ に収束することを示した。
3. 向上したロバスト性と忠実性: この手法は、観測データをより忠実にモデル化する解を生成するように設計されており、最先端の手法と比較して残差がゼロに近くなることで裏付けられている。これにより、生成事前分布によって引き起こされる幻覚の発生可能性が低減される。
4. 効率性: DDiff は、DAPS などの手法で必要とされる補助的な MCMC 平衡化ステップを排除し、高品質な結果に必要なニューラル関数評価回数（NFEs）を削減することで、より高速な推論時間を達成する。

実験結果

著者らは、超解像、画像修復、ガウシアンおよびモーションブラー除去、位相復元、非線形ブラー除去、高ダイナミックレンジ（HDR）イメージングなど、広範な線形および非線形の逆問題において DDiff を評価した。実験は FFHQ および ImageNet データセットで行われた。

• 定量的性能: DDiff は、DAPS、DMPlug、DCDP、DPS、DiffPIR、DDR M などを含む最先端のベースラインの大半のタスクで上回った。ピーク信号対雑音比（PSNR）、構造的類似性指数（SSIM）、学習された知覚的画像パッチ類似度（LPIPS）において優れたスコアを達成した。特に、より低い残差誤差を達成し、より良いデータ整合性を示した。
• ノイズに対するロバスト性: この手法は、高レベルの測定ノイズに対して著しく高いロバスト性を示した。いくつかのベースラインはノイズの増加に伴い PSNR が急速に劣化するのに対し、DDiff は安定した性能を維持した。高ノイズシナリオ（例：$\sigma=0.3$ の位相復元）において、他の手法が破損したアーティファクトを生成する中で、DDiff は一貫した大域的構造と意味を回復した。
• 効率性: 時間効率の観点から、DDiff は DAPS と比較して、より少ない NFEs でより良い知覚的品質を達成した。線形タスクでは約半分のサンプリング時間、非線形タスクでは約 6 分の 1 の時間で、同等またはそれ以上の結果を達成した。
• アブレーション研究: 実験により、双対変数の更新と特定のノイズ付与ステップ（論文の式 12）の両方が重要であることが確認された。双対変数を除去（DiffPIR を模倣）したり、ノイズ付与ステップを除外したりすると、特に高周波アーティファクトとデータ整合性の面で性能が大幅に低下した。

意義と主張

本論文は、DDiff が、事後サンプリングの近似から堅牢な双対上昇最適化枠組みへの転換を通じて、拡散事前分布を用いた逆問題の解決において重要な進展であることを主張している。著者らは、自らの手法が以下の点に優れていることを強調している。

• 観測データの忠実なモデル化: 残差を最小化することで、生成逆問題ソルバーでよく見られる「幻覚」効果を低減する。
• 計算効率性: MCMC ステップというボトルネックを排除し、勾配計算の計算負荷を軽減する。
• 理論的基盤: 提供された収束証明は、多くの先行する拡散ベースの最適化アプローチに欠けていた、手法の安定性に対する理論的保証を提供する。

著者らは、DDiff が、低線量 CT 再構成など測定ノイズが顕著なシナリオにおいて、大規模で複雑な逆問題に対する実用的な解決策であると結論付けている。今後の研究として、3D ボリュームや動画などの高次元データへの枠組みの拡張が提案されている。