技術的概要：畳み込みニューラルネットワーク逆問題ソルバーの解析的理論

1. 問題定義

教師あり畳み込みニューラルネットワーク（CNN）は、画像の逆問題（ノイズ除去、画像修復、デコンボリューション、高速 MRI など）の解決において最先端のパフォーマンスを達成している。しかし、その経験的な成功にもかかわらず、これらの手法は理論的な理解が限られた「ブラックボックス」として扱われることが多く、その核心課題は、訓練された CNN が逆問題の推定器としてどのように機能するかを説明する解析的枠組みの欠如にある。具体的には、経験的なニューラルネットワークの出力と統計的推定理論との間のギャップを埋めることが必要である。

著者は、加法性白色ガウスノイズを伴う標準的な線形逆問題を考える：
$$y = Ax + e$$
ここで、$A: \mathbb{R}^N \to \mathbb{R}^M$ は線形作用素、$x$ は未知の信号、$e \sim \mathcal{N}(0, \sigma^2 I_M)$ である。目的は、$x$ の推定器 $\hat{x}(y)$ を構築することである。多くのニューラルアーキテクチャが存在する（物理を無視するものから、物理を考慮するものまで）が、本論文は、最小平均二乗誤差（MMSE）基準の下でこれらのネットワークが近似する特定の関数クラスを特徴づけることを目指す。

2. 手法

2.1. 理論的枠組み：制約付き MMSE

著者は、条件付き平均 $\mathbb{E}[x|y]$ として定義される最小平均二乗誤差（MMSE）推定器の観点から、訓練されたニューラルネットワークを分析する。しかし、標準的な MMSE 推定器は複雑な分布に対して扱いが困難である。本論文は、CNN の帰納的バイアスを符号化する特定の関数クラス $\mathcal{M}$ に最適化を制限する制約付き経験的 MMSE 推定器を導入する。

著者は、異なる推定器バリエーションに対応する 3 つの制約レベルを定義する：

1. MMSE（制約なし）： 事後平均に対応する。経験的データセット分布の下では、これは訓練データを「記憶」するカーネル回帰（再重み付けされた最近傍による再構成）として機能する。
2. E-MMSE（並進共変）： 推定器を並進共変に制限する。これは有限受容野の制約のない CNN を近似する。著者は、この推定器が拡張されたデータセット（すべての巡回並進下での訓練データ）を記憶することを示す。
3. LE-MMSE（局所共変 MMSE）： 推定器を並進共変かつ局所的（有限受容野）に制限する。このクラス $\mathcal{M}_{T,loc}$ は、重み共有と小さなカーネルを持つ標準的な CNN およびパッチベースの MLP を捉える。

2.2. 閉形式式の導出

主要な方法的貢献は、経験的訓練分布の下でのこれらの制約付き推定器に対する閉形式の解析式の導出である。

• E-MMSE の場合： 推定器は、重みが測定のガウス尤度によって決定される拡張データセット $\mathcal{T}(D)$ の重み付き平均である。

• LE-MMSE の場合： 著者はピクセルごとの式（定理 3.8）を導出する。ピクセル $n'$ における推定値は、訓練画像のすべてのピクセルの重み付き平均である：
  $$\hat{x}_{T,loc}(y)[n'] = \sum_{x \in D} \sum_{n=1}^N x[n] \cdot w_{n',n}(x|y)$$
  重み $w_{n',n}(x|y)$ は、前処理 $B$ を施した後の $n'$ における観測パッチと、前方作用素 $A$ を適用した後の訓練画像 $x$ における $n$ におけるパッチとの類似性を測定するガウス密度に比例する。

  重要なのは、LE-MMSE が訓練パッチのパッチワークであることが示される点である。データセットの凸包内に留まる制約なしの MMSE と異なり、LE-MMSE は異なる訓練サンプルからの局所パッチを再結合することで外挿することができる。

2.3. 事前逆作用素（$B$）の分析

本研究は、線形作用素 $B$（物理を無視する場合は恒等写像、物理を考慮する場合は疑似逆 $A^+$ など）の役割を調査する。分析は以下のトレードオフを明らかにする：

• 信号の識別： $B$ は、類似および非類似のパッチを区別する能力に影響を与える。
• ノイズ耐性： $B$ はノイズの増幅に影響を与える。
  本論文は、画像修復のようなタスクでは物理を考慮した $B=A^+$ がノイズ感度を低減する一方、デコンボリューションではノイズを過度に増幅する可能性があり、正則化された逆作用素がしばしば好ましいことを実証する。

3. 主要な貢献

1. 解析式： 本論文は、LE-MMSE 推定器に対する扱いやすく解釈可能な閉形式式を提供し、拡散モデルに関する先行研究を任意の線形逆問題に一般化する。
2. CNN の理論的特徴付け： 訓練された CNN（UNet、ResNet、PatchMLP）が LE-MMSE 推定器を近似することを確立する。これにより、CNN はブラックボックスではなく、入力画像ではなく訓練セットからパッチを抽出する古典的な非局所平均（NLM）推定器の構造化されたデータ適応的拡張として再定義される。
3. 記憶と一般化： この理論は、単にデータを記憶する推定器（MMSE、E-MMSE）と、パッチの再結合を通じて一般化する推定器（LE-MMSE）を区別する。
4. スケールを超えた検証： この理論は、多様な逆問題（ノイズ除去、画像修復、デコンボリューション）、データセット（FFHQ、CIFAR-10、FashionMNIST、FastMRI）、およびアーキテクチャにわたって検証されている。

4. 実験結果

著者は、訓練されたニューラルネットワークと導出された LE-MMSE 式との整合性を検証するために、広範な数値実験を行った。

• 高い整合性： すべての設定において、訓練されたニューラルネットワークの出力と解析的 LE-MMSE 推定器間の PSNR は一貫して高い（$\gtrsim 25$ dB）。これは、異なるアーキテクチャ（UNet2D、ResNet、PatchMLP）およびデータセットにおいても同様である。
• アーキテクチャの収束： 異なるアーキテクチャは、解析式によってよく予測される同じ解に収束する。
• 一般化の挙動：
  • 高密度領域： 整合性は、高ノイズレベル（ガウス混合が重なる領域）や訓練セット上など、測定密度の高い領域で最も強い。
  • 低密度領域： 分布外（テストセット）の低ノイズ領域ではギャップが生じる。これは、これらの領域におけるパッチ分布の疎性に起因する。しかし、ネットワークは依然として LE-MMSE の挙動を近似し、未見の画像を再構成するために局所パッチを利用する。
• ハイパーパラメータの影響：
  • パッチサイズ： 大きなパッチは高ノイズレベルでの性能を向上させる（より良い正則化）が、パッチ分布が疎になるため、低ノイズレベルにおける式とネットワークの整合性を低下させる。
  • データセットサイズ： データセットサイズの増加は整合性をわずかに向上させるが、主要な要因ではない。この理論は、より小さなデータセットであっても成り立つ。
• 科学画像： この枠組みは、高速 MRI 再構成（fastMRI）に成功裏に拡張され、ResNet と解析的推定器間の強い整合性（$\ge 28.6$ dB の PSNR）を示した。

5. 意義と主張

本論文は、純粋な経験的検証を超えて、CNN ベースの逆問題ソルバーを理解するための理論的基盤を提供すると主張する。

• 説明可能性： 閉形式式を導出することで、著者は「ブラックボックス」である CNN を予測可能な推定器へと変換する。これにより、安定性や一般化などの特性の理論的分析が可能になる。
• 設計指針： 事前逆作用素 $B$ の分析は、物理を考慮したアーキテクチャの設計に対する原理的な指針を提供し、データの一貫性とノイズ増幅の間のトレードオフを浮き彫りにする。
• データ圧縮： 著者は、ニューラルネットワークが効果的に訓練データを圧縮し、再構成することを指摘する。訓練セットには約 $3.1 \times 10^7$ ピクセルが含まれているが、ネットワークはこれを約 $4 \times 10^6$ のパラメータに圧縮し、複雑な LE-MMSE 推定器の効率的かつほぼ瞬時の評価を可能にする。
• 将来の方向性： 本論文は、この枠組みをスペクトルバイアス（平滑化制約を通じて）、非ガウスノイズ、および他の損失関数（例：$\ell_1$ 損失）の分析に拡張できることを示唆しており、逆問題における深層学習の将来の理論的研究への道筋を提供する。

要約すると、本論文は、逆問題における CNN の成功は偶然ではなく、局所パッチの再結合を通じて記憶と一般化のバランスを取る統計的に最適な推定器である局所共変 MMSEを近似する能力に由来すると論じている。