技術要約：決定性と確率性のインタラクティブ学習による拡散モデルベースの画像復元

問題提起

画像復元（IR）は、劣化した観測結果から潜在的な視覚情報を再構成することを目的としているが、このタスクは、異なる種類の劣化（ノイズ、雨、影、低照度など）の間で特徴空間における分布の乖離が著しいという点において困難を伴う。CNN、Transformer、GANを含む既存のディープラーニング手法は、タスク固有の設計変更なしに、多様なIRタスク間で汎化することに苦慮することが多い。拡散モデルは高い忠実度と解釈可能性を提供する一方で、現在のアプローチには主に2つの制限がある：

1. IRにおける非効率性： 標準的な拡散モデルは純粋なノイズから逆過程を開始するが、これは、入力にすでに構造的情報が含まれているIRタスクにおいては非効率である。
2. 決定性と確率性の静的なモデリング： 決定論的（残差ベース）および確率論的（ノイズベース）な拡散を統合しようとする従来の手法（Residual Denoising Diffusion Model: RDDMなど）は、それぞれのパスに対して独立したU-Netを採用している。この静的な分離は、異なる劣化タイプの異なる確率分布を捉えることができず、精密な再構成を妨げる過剰な多様性を導入する可能性がある。

手法

著者らは、これらの制限に対処するために、**決定性と確率性のインタラクティブ学習（ILDS）**を採用した新しい拡散フレームワークを提案している。コアアーキテクチャは、2つの単純なU-Netに基づくデュアルパスネットワークを利用している。

1. 前向き拡散プロセスの構築

純粋なノイズのみを加える標準的な拡散とは異なり、提案された前向きプロセスは、残差（決定性）とノイズ（確率性）の両方を組み込んでいる。遷移は以下のように定義される：
$$x_t = x_{t-1} + \alpha_t x_{res} + \beta_t \epsilon_{t-1}$$
ここで、$x_{res} = x_{in} - x_0$ は劣化残差を表し、$\epsilon$ はガウスノイズである。これにより、前向きの軌跡は劣化に関連する構造を保持することが可能となり、逆過程が純粋なノイズよりもターゲットに近い状態から開始できるため、必要なサンプリングステップ数を削減できる。

2. インタラクティブ学習メカニズム

RDDMにおける独立したモデリングの限界を克服するため、著者らはU-Netアーキテクチャ内にインタラクティブ学習戦略を導入した：

• デュアルパス予測： ノイズ ($\epsilon_\theta$) と残差 ($x_{res}^\theta$) をそれぞれ予測するために、2つのU-Netが使用される。
• 特徴融合： 孤立して動作するのではなく、2つのU-Netのエンコーダは特徴を共有する。具体的には、最初のダウンサンプリングブロックの後、両方のパスからの特徴が結合され、$1 \times 1$ 畳み込み（$\tilde{h}_{res}$ および $\tilde{h}_\epsilon$）を通じて処理される。
• 動的な時間依存モデリング： 2つのパスへのタイムステップ入力は、時間的蓄積（$\bar{\alpha}_t$）とノイズ強度（$\bar{\beta}_t$）を制御するパラメータによって動的に変調される。これにより、モデルは劣化タイプの特定の機能確率分布に基づいて、決定論的成分と確率論的成分の寄与を適応的に調整できる。
• 共有コンテキスト： インタラクトした特徴は、デコーディングフェーズ中に共有のクロスパス・コンテキスト情報を提供し、決定論的なガイダンスと確率的な多様性が互いに影響し合うことを保証する。

3. 学習と生成

モデルは、真の事後分布と学習された逆遷移との間のKullback-Leibler（KL）ダイバージェンスを最小化するように学習される。最終的な損失関数は、ノイズ予測と残差予測の二乗誤差の和である：
$$L = L_{res}(\theta) + L_{\epsilon}(\theta)$$
注目すべきは、これらは重み付けされていない点であり、これはインタラクティブなメカニズムが学習中に自己適応的な平衡を促進するためである。推論時、モデルは条件付き分布から反復的にサンプリングすることで高品質な画像を生成し、ノイズスケール因子 $\eta = 0$ のとき、プロセスは完全に決定論的になる。

主な貢献

1. 新しい拡散フレームワーク： 画像の劣化を決定論的および確率的な側面からインタラクティブにモデリングするフレームワークの設計。これにより、拡散プロセスは高精度（精密さ）または多様性を必要とするタスクに適応できる。
2. 動的な時間依存モデリング： 2つの拡散パスに対してタイムステップ入力を動的に変調するために、時間的蓄積とノイズ強度のパラメータを組み込み、多様なIRシナリオにおける汎化性能を高めた。
3. 効率的なデュアルパスアーキテクチャ： 共有エンコーダ特徴を持つ2つの単純なU-Netのみを使用して、デュアルパス拡散を実装。この設計は、最小限のパラメータオーバーヘッドと高いスケーラビリティで、競争力のある性能を実現している。

実験結果

提案手法は、4つの代表的なIRタスク（画像デノイジング、影除去、低照度強調、および画像デレイン）で評価された。

• 性能： 本手法はすべてのタスクにおいて優れた、あるいは競争力のある性能を達成した。
  • デノイジング (SIDD): 最良のPSNR (41.67 dB) と SSIM (0.9385) を達成し、RDDMや他のベースラインを上回った。
  • 影除去 (ISTD): 最良のPSNR (29.29 dB) と MAE (8.776) を確保し、SSIMでは2番目の成績となった。
  • デレイン (Raindrop): 最良のPSNR (31.30 dB) と SSIM (0.9460) を達成し、他の手法がアーティファクトを残す箇所でも雨線を正常に除去した。
  • 低照度強調 (LOL): 2番目の性能（PSNR 24.04, SSIM 0.9118）を達成。指標ではLLFormerに僅かに及ばないものの、強い構造保持能力を維持している。
• 効率性： インタラクティブ学習はサンプリング効率を大幅に向上させた。他の拡散ベースの手法（例：DiffusionVIは1000ステップを必要とする）と比較して、本モデルは高品質な結果を得るためにわずか1〜4ステップのサンプリングを必要とした。
• アブレーション研究：
  • インタラクションモジュールを除去すると、すべてのタスクで性能低下が見られ、特徴融合の有用性が確認された。
  • 動的な時間依存モデリング（$\bar{\alpha}_t, \bar{\beta}_t$）を使用することで、静的なタイムステップモデリング（$t$）よりも優れた性能を示した。
  • 最適なサンプリングステップはタスクによって異なった（低照度で1、デノイジングで2、影除去で3、デレインで4）。

重要性と主張

本論文は、提案されたフレームワークが、再構成の正確さと多様性のバランスを取る、マルチタスク画像復元のための統一的なソリューションを提供すると主張している。決定論的および確率的モデリングをインタラクティブ学習を通じて統合することにより、このアプローチは、GANベースの手法よりも強い解釈可能性を提供し、タスク固有のCNNやTransformerよりも優れた汎化性能を提供する。

著者らは、特に大きな照度勾配を持つ低照度強調タスクにおいて、明るさの復元が専門的なベースラインと比較して不十分である可能性があるという制限を認めている。また、現在の教師あり学習におけるペアとなるクリーンな画像と劣化した画像のデータへの依存についても述べている。今後の研究は、照明に敏感なタスクのための拡散方程式の最適化、およびデータ依存性を減らすための教師なし学習戦略の開発に向けられている。

全体として、本研究は、シンプルでインタラクティブなデュアルパス拡散アーキテクチャが、画像の劣化プロセスの不均一性を効果的に扱うことができ、多様な画像復元の課題に対してスケーラブルで効率的な代替手段を提供できることを示している。