A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

技術的概要：深層画像事前分布のための原理的自己参照型早期停止アプローチ

問題定義
深層画像事前分布（DIP）は、ノイズ除去、超解像、医用画像復元などの逆画像問題（IIPs）を解くための、トレーニングデータ不要の強力な手法として登場しました。ランダムに初期化された畳み込みニューラルネットワーク（CNN）をノイズを含む測定値に適合させるように最適化することで、DIP は効果的に低周波の画像統計を捉えます。しかし、ネットワークの過剰パラメータ化により、DIP は測定ノイズや零空間のアーティファクトに過剰適合しやすいという問題があります。したがって、最適な停止点（早期停止、ES）を決定することが極めて重要です。

既存の ES 手法には重大な限界があります：

1. 分散ベースの手法（例：WMV-ES）： これらはネットワーク出力の移動分散の変動を追跡します。一部の環境では効果的ですが、高解像度の画像や微細な構造を持つ画像（テクスチャのある自然画像や医用スキャンなど）の場合、過剰適合を早期に検知してしまうことが多く、最適な「オラクル」停止点から遠く離れた不安定な復元結果をもたらします。
2. リスクベースの手法（例：SURE）： スティーンの不偏リスク推定量は原理的なリスク推定を提供しますが、正確なノイズレベルの知識を必要とします。インスタンスごとの DIP 設定では、これらの推定量は高い分散を示すことがあり、信頼性の低い判断につながります。
3. 検証データの欠如： 標準的な検証にはクリーンな正解画像が必要ですが、IIP では利用できません。劣化画像の 2 つの完全に独立したノイズ付きコピーを取得すれば、理論的にはほぼ最適な過剰適合検出が可能になりますが、実際には一般的に実行不可能です。

手法
著者らは、疑似自己参照画像を用いて DIP の早期停止を検証問題に帰着させるフレームワークを提案します。核心的な理論的洞察は、疑似参照が適合データと完全に独立である必要はなく、適合信号と検証信号の間で共有される成分が小さいか、あるいは残りのノイズよりも優先的に適合されない場合で十分であるという点です。

この原理に基づき、画像の種類やノイズモデルに合わせて調整された 3 つの具体的なアルゴリズムが導入されます：

1. RGB 画像用のチャネル類似性参照 ES（CSR-ES）：

   • メカニズム： RGB チャネルは構造的な情報を共有しつつ、部分的に非相関したノイズを含んでいるという事実を利用します。
   • 手順： この手法は、距離が最小（類似度が最大）であるノイズ付きチャネルのペア $(i, j)$ を特定します。DIP をフル RGB 画像でトレーニングしますが、停止基準としてチャネル間の一貫性（チャネル $i$ を参照チャネル $j$ に対して適合させること）を使用します。
   • 根拠： これによりクリーンなチャネル間バイアスを低減しつつ、チャネル固有のノイズが適合チャネルと相関しにくいことを保証します。

2. グレースケール画像用のマスク参照 ES（MR-ES）：

   • メカニズム： 高保持マスク $M$ を通じてピクセルの小さな部分集合（例：ピクセルの 2%）を保持することで、疑似参照を構築します。
   • 手順： DIP は、保持されたピクセルを最適化から明示的に除外したマスク付き損失 $\|M \odot (f_\theta(z) - y)\|^2$ を用いてトレーニングされます。停止基準は保持されたピクセルにおける誤差：$\|H \odot (\hat{x}_t - y)\|^2$（ただし $H = 1-M$）です。
   • 根拠： 保持されたピクセルはトレーニング損失から除外されているため、これらの位置におけるノイズは適合軌道と独立しており、有効な検証信号を提供します。

3. 拡張チャネル参照 ES（ACR-ES）：柔軟性/困難なノイズ用：

   • メカニズム： シンプルなマスクやチャネル分割が信頼できない場合（信号依存性のポアソンノイズなど）に対処するため、DIP ネットワークの出力空間を拡張します。
   • 手順： 2 つのノイズ付き画像の疑似コピーを生成します：$y^{(1)} = y + \zeta_1$ および $y^{(2)} = y + \zeta_2$（ここで $\zeta_1, \zeta_2$ は独立した補助的な摂動）。2C チャネルの DIP ネットワークを $Y = \text{concat}(y, y^{(1)})$ に適合させるようにトレーニングします。主チャネルは画像を復元し、補助チャネルは独立した疑似コピー $y^{(2)}$ に対して監視されます。
   • 停止指標： 生の MSE の代わりに、ACR-ES は周波数バイアスコア（残差スペクトルの 2 次モーメント）を使用します。このスコアは、ネットワークが構造的詳細の復元からノイズの適合へ移行する際にピークに達するため、DIP のスペクトルバイアスに対してより敏感です。

理論的貢献
本論文は、これらのアプローチに対する理論的根拠を提供します：

• 単一参照検証： 独立したノイズ付き参照が利用可能であれば、検証損失はクリーン画像の平均二乗誤差（MSE）に一定値を加えた値の周りに集中し、ほぼオラクル的な停止を可能にすることを証明します。
• 疑似検証分析： 適合と検証の間で共有成分 $s$ が存在する場合でも、共有エネルギーが非共有分散の小さな割合であれば、オラクルに対する過剰 MSE は最悪ケースの境界よりも二次的に厳密になることを示します。
• 一般化： 検証理論を一般的な線形逆問題（$y = A(x) + \eta$）に拡張し、測定ドメインの検証が画像ドメインのリスクへ転移する条件を確立します。

実験結果
著者らは、ガウスノイズ、ポアソンノイズ、インパルスノイズの下で、自然画像復元（Set14、CBSD68、Urban100 など）および医用画像復元（MRI、CT、PD、T2）において、ベースライン（WMV-ES および SURE-ES）に対して提案手法を評価しました。

• 性能： 提案手法（CSR-ES、MR-ES、ACR-ES）は、既存の手法よりも一貫してオラクル（最大 PSNR を生む反復）に極めて近い停止点を実現しました。
  • 自然画像の場合、CSR-ES と ACR-ES はオラクルとの PSNR 格差を大幅に縮小しました（多くの場合、約 1.0 dB から約 0.1–0.2 dB へ）。
  • 医用画像の場合、MR-ES と ACR-ES は WMV-ES や SURE-ES を上回り、特に WMV-ES が早期に停止してしまうことが多い困難なポアソンノイズのシナリオにおいて顕著でした。
• ロバスト性： これらの手法は正確なノイズレベル推定を必要としませんでした。ACR-ES は、補助ノイズの大きさの変動やノイズタイプの不一致に対してもロバスト性を示しました。
• 一般化： 停止原理は、分散ベースの手法がオラクル停止領域と一致しなかった超解像およびインペインティングタスクにも成功裏に拡張されました。

意義と主張
本論文は、DIP に対する早期停止を、クリーンな正解画像や正確なノイズ推定なしに解決可能な検証問題に効果的に帰着できると主張しています。検証信号を適合プロセスから十分に非相関させる疑似自己参照画像を構築することで、著者らはヒューリスティックな分散追跡に対する原理的な代替案を提供します。

その意義は以下の点にあります：

1. 原理的アプローチ： ヒューリスティックな分散監視から、集中不等式によって支えられた検証ベースのフレームワークへと移行すること。
2. 実用的適用性： 外部トレーニングデータやノイズレベルの調整を必要とせず、多様な IIP（ノイズ除去、超解像、インペインティング）およびノイズタイプで機能する、タスク適応型の具体的なアルゴリズム（CSR、MR、ACR）を提供すること。
3. 信頼性： 現在の最先端の ES 手法よりも一貫して最適な復元品質に近い反復を選択し、過剰パラメータ化された DIP ネットワークに内在する過剰適合の問題を軽減することを示すこと。