Leveraging Phase Information to Boost Unrolled Network Learning for Image Deblurring

技術要約：UPADNet – 画像デブラーのための展開された位相および振幅分解ネットワーク

問題提起
画像デブラー（deblurring）は、通常、加法的ノイズを伴う線形シフト不変畳み込みとしてモデル化される、ぼけとノイズを含む観測値 ($z = h * u + n$) から、鮮明な潜在画像 ($u$) を復元することを目的としている。ディープラーニングの手法は大きな成功を収めてきたが、大規模なアノテーション付きデータセットへの過度な依存、多様な実世界の劣化（例：変動するノイズレベル、カメラの動き）に対する限定的な汎化性能、および高い計算コストといった課題に直面している。さらに、標準的な深層ネットワークは画像を空間変数として扱うことが多く、鮮明な画像復元に不可欠な構造的・幾何学的詳細を符号化するフーリエ位相情報の重要な役割を見落とす可能性がある。

手法
著者らは、UPADNet（Unrolled Phase and Amplitude Decomposition Network）を提案する。これは、画像の復元問題をフーリエ領域における振幅成分と位相成分に明示的に分解する、モデル駆動型のディープアーキテクチャである。本手法は以下の3つの段階で進行する：

1. 振幅と位相のLMMSE推定：
   ナイーブなフーリエ領域の関係（振幅は乗法的であり、位相は加法的であるという関係）は、ノイズやカーネルの不確実性の下では機能しないことを認識し、著者らは新しい**線形最小平均二乗誤差（LMMSE）**推定量を導出している。

   • ぼけた観測値の振幅 ($\hat{A}_Z$) と位相 ($\hat{\theta}_Z$) を推定するための一般化線形演算子を定式化する。
   • 理論的解析（定理1および定理2）により、これらの推定器が振幅と位相の分布の統計的モーメント（平均、分散、共分散）を活用することで、ナイーブな乗法的/加法的モデルと比較して期待二乗誤差を最小化することを証明している。

2. 交互方向法による反復最適化：
   潜在的な鮮明画像を復元するために、正則化された目的関数を最小化する反復最適化アルゴリズムを開発した。この目的関数は、導出されたLMMSE推定器との統計的一貫性を強制し、以下を含む：

   • データ忠実度項： 推定された振幅および位相と、観測されたものとの間の整合性を強制する。
   • 正則化： フーリエ領域でのスパース性を促進するための画像振幅 ($M \circ A_U$) に対する $\ell_1$ 正則化、および平滑性を確保するためのブラカーネル成分に対する $\ell_2$ ペナルティ。画像位相 ($\theta_U$) に対する追加の $\ell_1$ 項は、構造的対称性を強制する。
   • 解法戦略： 非凸な目的関数は、非平滑なペナルティを分離するために補助変数を用いる**半二次分割（Half-Quadratic Splitting: HQS）**を用いて解かれる。これにより、振幅および位相の変数を更新するための一連の閉形式のサブ問題が得られる。

3. 深層ネットワークへの展開（UPADNet）：
   固定された統計パラメータを使用する代わりに、反復最適化アルゴリズムが学習可能な深層ネットワークへと「展開（unrolled）」される。

   • アーキテクチャ： 最適化アルゴリズムの各反復は、一つのUPADBlockに対応する。UPADBlockは、潜在画像 ($A_U, \theta_U$) およびブラカーネル ($A_H, \theta_H$) の振幅と位相を逐次的に更新する4つのサブブロックで構成される。
   • 学習可能なパラメータ： 従来の定式化では理論的に固定されていた統計行列 $\{W_i\}$ および周波数領域のフィルタ $M$ は、データから学習される。
   • 重み生成器： 軽量なモジュールが、SimpleGate (SG) や Simplified Channel Attention (SCA) といったメカニズムを用いて、反復ごとの重みやフィルタを動的に生成する。
   • 活性化関数： ソフト閾値近接作用素を近似しつつ、滑らかな勾配フローを確保するために、ReLUの代わりに GELU 活性化関数を採用している。
   • マルチスケール設計： 複数のUPADBlockを、中間的なダウンサンプリングとアップサンプリングを伴ってスタックすることで、実効的な受容野を拡大している。

主な貢献

• 位相・振幅分解： 本論文は、画像を直接復元するのではなく、フーリエ領域において振幅と位相の両方を明示的にモデル化し、推定する原理的なフレームワークを導入している。
• 新規なLMMSE推定器： ノイズの下でナイーブなフーリエ領域の関係よりも優れた、ぼけた振幅および位相のための最適な線形推定器の導出。
• UPADNetアーキテクチャ： 導出された最適化アルゴリズムを展開した、エンドツーエンドで学習可能なネットワークの開発。これにより、ネットワークはペアとなるクリーンな画像と劣化したデータから、基礎となる統計パラメータを直接学習できる。
• 堅牢性： 設計は、展開された最適化の解釈可能性と位相情報の構造的事前知識を活用することで、高ノイズおよび限定的なデータ環境における堅牢性を明確にターゲットとしている。

実験結果
著者らは、GoPro（合成モーションブラー）、RealBlur（実世界のカメラシェイク）、および制御されたノイズとモーションカーネルを持つ合成 COCO データセットの3つのベンチマークでUPADNetを評価した。

• 性能： UPADNetは、GoPro（PSNR 34.63 dB, SSIM 0.975）およびRealBlur（RealBlur-RでPSNR 41.29 dB）において、最新のトランスフォーマーベース（例：Stripformer, FFTformer）や拡散ベースの手法を上回る最先端（SOTA）の結果を達成した。
• 効率性： モデルはわずか27Mのパラメータを使用しており、AdaRevD（220M）のような大規模な競合モデルよりも大幅に少ない。
• ノイズへの堅牢性： ガウスノイズが増加する実験（$\sigma = 0.01$ から $0.05$）において、UPADNetは安定した性能を維持したが、他の展開型および深層ネットワークは著しい性能低下を示した。
• データ効率： データ比率を減少させた場合（データセットの60%まで低減）でも、UPADNetは競合他社と比較して最小限の性能低下しか示さず、低データ環境における優れた汎化性能を証明した。
• アブレーション研究： 展開されたブロックの数（最大72個まで）を増やすこと、および学習率 $1\times10^{-3}$ でGELU活性化関数を使用することが、最適な性能をもたらすことを確認した。

意義と主張
本論文は、特に困難な実世界のシナリオにおいて、高品質な画像デブラーリングのためにはフーリエ位相と振幅の明示的なモデリングが極めて重要であると主張している。LMMSE理論から導出された最適化アルゴリズムを展開することで、UPADNetは伝統的な反復手法の解釈可能性と、ディープラーニングの適応性の間のギャップを埋める。著者らは、このアプローチが、構造化された周波数領域モデリングの価値を強調しており、変化するブラーの種類、ノイズレベル、および限定的なトレーニングデータに対して良好に汎化する堅牢なソリューションを提供すると断言している。