技術概要：自己教師あり動的異質劣化モデリングによる統合ゼロショット画像復元

1. 問題定義

ゼロショット画像復元は、タスク固有の再学習なしに、多様で予測不可能な劣化から清浄な画像を復元することを目指す。既存のアプローチは柔軟性を提供しているが、重大な限界に直面している：

• 不十分な劣化事前知識： 現在の手法は、劣化をブラックボックスの擾乱として扱い、暗黙的な特徴学習や積層された層に依存することが多い。これは物理的に整合性のある事前知識を欠き、表現能力の弱さにつながっている。
• 高いトレーニングおよびサンプリングコスト： 明示的な物理的プロンプトの欠如により、拡散モデルは劣化を段階的な確率的サンプリングを通じて推論せざるを得ず、重いトレーニング負担と高いサンプリングコストを課している。
• 最適でない収束： 固定された推論軌道は、複雑または混合した汚損（例：ノイズと霞を伴う低照度）の下で局所最小値に陥りやすく、大域的最適解を達成できない。
• 汎化の限界： タスク固有のモデルは異なる劣化タイプ間での汎化に欠け、「オールインワン」モデルはしばしば深層ネットワークに依存して劣化特性を暗黙的に捉えることで、表現能力を制限している。

2. 手法：UP-ZeroIR

著者は、暗黙的な特徴学習から明示的な劣化分布モデリングへと転換するフレームワーク「UP-ZeroIR（Unified Physical Zero-shot Image Restoration）」を提案する。核心的な洞察は、異質な劣化が潜在拡散空間内で物理的に整合する最小限のパラメータのセットに再パラメータ化可能であるという点にある。

このフレームワークは、以下の 4 つの主要コンポーネントで構成される：

A. 物理的に整合する劣化モデリング（PCDM）

高次元の劣化特徴を学習する代わりに、UP-ZeroIR は潜在空間内で異質な劣化を統合された均質分布としてモデル化する。

• パラメータ化： 著者は、劣化画像の潜在分布を近似するために**一般化ガウス分布（GGD）**を採用する。この分布は、スケール（$\sigma$）と形状（$\alpha$）という 2 つの低次元十分統計量によって定義される。
• 均質変換： 経験的解析により、多様な劣化（ノイズ、霞、低照度）はピクセル領域分布における体系的なシフトとして現れることが示された。PCDM は、これらの異質な劣化を、潜在拡散空間内の単一の物理的基盤を持つパラメトリック表現にマッピングする。
• 実装： 軽量ネットワークは、推定された GGD パラメータを用いて、予測された清浄な潜在表現（$\hat{z}_0$）を物理的に妥当な劣化観測値 $\phi(\hat{x}_0)$ にマッピングする。

B. 劣化認識事後サンプリング

このフレームワークは、事前学習された潜在拡散モデル（LDM）を利用するが、サンプリングプロセスを PCDM によって提供される明示的な劣化の手がかりに基づいて条件付ける。

• 尤度勾配： 事後サンプリングの方向は、尤度勾配 $\nabla_{z_t} \log p(x_{lq} | z_t)$ から導出された補正項によって誘導される。
• 明示的制御： 劣化尤度 $p(x_{lq} | \hat{z}_0)$ を推定することで、サンプリング器は誘導されない拡散ではなく、劣化認識の更新を実行し、物理的に整合した復元へとプロセスを誘導する。

C. 劣化整合損失（DegLoss）

推定された潜在分布が物理的劣化モデルと整合することを保証するため、著者は新しい損失関数を導入する。

• カルバック・ライブラー発散（KLD）： この損失は、合成された劣化画像（$\phi(\hat{x}_0)$）の分布と、実際の入力劣化画像（$x_{lq}$）の分布との間の発散を潜在空間で測定する。
• 総合目的関数： 最適化は、DegLoss と標準的な再構成損失（MSE、知覚的、敵対的）および輝度と色度を評価して知覚的忠実度を確保する品質項（$Q$）を組み合わせる。

D. 動的品質洗練（DQR）戦略

複雑な汚損下での最適でない収束の問題に対処するため、UP-ZeroIR は適応的推論戦略を導入する。

• 自己評価： 推論中、事前学習された参照不要画像品質評価モデル（Arniqa）が、特定のインターバルで復元品質を評価する。
• 適応的軌道： 品質スコアが十分に向上しない場合、この戦略はサンプリング軌道を適応的に調整する。具体的には、プロセスが停滞する場合、現在の潜在表現にノイズを再導入して事後サンプリングを再開始し、モデルが局所最小値から脱出して大域的最適解へと向かうことを可能にする。

3. 主要な貢献

1. 統合物理パラメータ化： 本論文は、解釈可能な GGD パラメータのコンパクトなセットを用いた異質劣化の統合物理パラメータ化を提案する。これにより、暗黙的な特徴学習から離れ、ゼロショット復元のための潜在空間分布の明示的制御が可能になる。
2. 動的品質洗練： 自己評価に基づく動的戦略が導入され、拡散軌道を適応的に調整する。これにより、複雑な汚損下での局所最小値からの脱出を通じて、最小限の推論コストで大域的最適性を確保する。
3. 最先端のパフォーマンス： 広範な実験により、UP-ZeroIR が単一劣化（ノイズ除去、霞除去、低照度強調）および混合劣化において、先行する手法（タスク固有およびゼロショット事後サンプリング手法の両方）を一貫して上回ることを示している。

4. 実験結果

この手法は、標準データセットを用いた 3 つの主要タスクで評価された：

• 低照度強調（LOLv1, LOLv2）： UP-ZeroIR は最高 PSNR と SSIM を達成し、2 番目に優れたゼロショット手法（LD-RPS）をそれぞれ0.95 dBおよび0.98 dB上回った。また、いくつかの指標において教師ありオールインワン手法をも凌駕した。
• 画像霞除去（RESIDE の HSTS サブセット）： この手法は、2 番目に優れたゼロショット手法に対して PSNR を1.03 dB改善し、微細な詳細や色忠実度を保持しながら効果的に霞を除去した。
• 画像ノイズ除去（Kodak24）： UP-ZeroIR は、2 番目に優れた手法に対して PSNR で0.85 dBの改善を達成し、テクスチャやエッジなどの構造的詳細を保持しながらノイズを効果的に抑制した。
• 混合劣化： 低照度、ノイズ、霞を組み合わせるシナリオにおいて、この手法は絡み合った劣化により性能低下を被ることが多い他の事後サンプリング手法と比較して、優れた頑健性を示した。

5. 意義と主張

本論文は、UP-ZeroIR が物理的に解釈可能な画像復元への転換を表すと主張している。劣化を特徴学習タスクではなく、分布レベルの整合問題として明示的にモデル化することにより、この手法は以下の点を実現する：

• 不確実性の低減： 制御可能で劣化認識の解探索を可能にすることで、固定軌道拡散に内在する不確実性を軽減する。
• 効果的な汎化： 統合分布モデルにより、フレームワークはタスク固有の再学習なしに、未見の劣化や混合劣化に汎化する。
• 効率性の向上： 動的品質洗練戦略は、収束を改善しながら、固定軌道ベースラインと比較して推論時間を約**30%**削減する。

著者は、この研究を、明示的な分布レベルの制御可能性を介した物理的に解釈可能な復元パラダイムの最初の探求として位置づけ、劣化タイプが未知かつ可変である現実世界のシナリオにおけるゼロショット展開のための実用的な解決策を提供している。