技術的概要：任意のバックボーンに対する正規化等価性

問題定義

画像から画像への予測タスク、特にブラインド画像ノイズ除去において、ニューラルネットワークは、テスト時のノイズレベルが訓練時のノイズレベルと異なる場合に分布シフトに悩まされることが多い。スケーリング等価性 (SE)（$f(ay) = af(y)$）およびこれよりも厳密に強い正規化等価性 (NE)（$f(ay + b\mathbf{1}) = af(y) + b\mathbf{1}$）は、そのようなシフトに対する頑健性を向上させることが知られているが、現代の深層学習アーキテクチャにおいてこれらの性質を強制することは重大な課題を伴う。

既存の方法は、内部ネットワーク層を特定の NE 互換ファミリー（アフィン制約付き畳み込み、ソート非線形性、アフィナル残差など）に制約することで NE を強制する。このアプローチは理論的に妥当であるものの、以下の 2 つの重大な欠点がある：

1. アーキテクチャとの非互換性: ソフトマックスなどのアフィン変換と可換ではないアテンション機構やレイヤーノーマライズなど、現代のバックボーンに普遍的に存在する標準的なコンポーネントを排除してしまう。
2. ランタイムのオーバーヘッド: 内部層の制約を通じて等価性を強制することは、計算コストを大幅に増加させる。一部のアーキテクチャベースラインでは、標準モデルと比較して最大 1.6 倍の遅延が見られる。

手法：正規化等価性ラッパー (WNE)

著者らは、内部層レベルではなく入力 - 出力レベルで NE を強制する手法を提案する。このアプローチは、NE 関数クラスの完全な特徴付けに依存している。

理論的特徴付け

本論文は特徴付け 1を確立し、関数 $f: \mathbb{R}^d \to \mathbb{R}^d$ が正規化等価性を持つための必要十分条件が、正規化 - 処理 - 非正規化の因数分解を許容することであることを証明した。具体的には、標準偏差 $\text{std}(y) > 0$ を持つ任意の入力 $y$ に対して：
$$f(y) = \text{std}(y) \cdot g(T_{NE}(y)) + \mu(y)\mathbf{1}$$
ここで：

• $\mu(y)$ および $\text{std}(y)$ はインスタンス平均および標準偏差である。
• $T_{NE}(y) = \frac{y - \mu(y)\mathbf{1}}{\text{std}(y)}$ は、$y$ を正規化多様体 $\mathcal{M}$（平均ゼロ、標準偏差 1）上に射影する正規化写像である。
• $g: \mathcal{M} \to \mathbb{R}^d$ は、正規化された入力に対して作用する任意の関数である。

この特徴付けは、NE を強制するために内部アーキテクチャを制限する必要がないことを意味しており、関数クラスの等価な再パラメータ化である。

WNE ラッパー

この理論に基づき、著者らは既存の任意のバックボーン $g_\theta$（CNN やトランスフォーマーを含む）に対して、内部重みや層を変更することなく適用可能なパラメータフリーのラッパーWNEを導入する。順方向パスは以下のように定義される：
$$f^{WNE}_\theta(y) = \text{std}(y) \cdot g_\theta(T_{NE}(y)) + \mu(y)\mathbf{1}$$

• 入力: ノイズ画像 $y$。
• 正規化: インスタンス統計量 $\mu(y), \text{std}(y)$ を計算し、$\tilde{y} = T_{NE}(y)$ に正規化する。
• 処理: 任意のバックボーン $g_\theta$ に $\tilde{y}$ を通す。
• 非正規化: スケールとシフトを適用して出力を再構成する：$\hat{x} = \text{std}(y)g_\theta(\tilde{y}) + \mu(y)\mathbf{1}$。

この構成は、バックボーンの内部コンポーネント（アテンション、レイヤーノーマライズ、バッチノーマライズなど）に関わらず、正確な NE を保証する。数値的安定性のため、標準偏差がゼロに近い場合は小さな $\epsilon$ を加える。

主要な貢献

1. 手法: 内部層を変更することなく、トランスフォーマーを含む任意のバックボーンに対して正確な入力 - 出力正規化等価性を強制する、パラメータフリーのドロップインラッパー (WNE)。
2. 理論: 正規化 - 処理 - 非正規化の因数分解が NE に対して必要十分であることを示す完全な特徴付け。これにより、問題を内部アーキテクチャ制約から入力 - 出力パラメータ化へと変換する。
3. 実験と分析:
   • CNN (DnCNN) およびトランスフォーマー (SwinIR, Restormer) バックボーン両方における、ブラインドノイズ除去のノイズレベル不整合に対する頑健性の向上の実証。
   • アーキテクチャベースラインと比較して GPU オーバーヘッドが negligible であることを示す分析。
   • 頑健性メカニズムを説明する正規化座標分析：NE 下では、ノイズレベルの不整合は主に「難易度」（正規化座標における距離）の分布をシフトさせるだけで、回帰問題そのものを変更しないため、モデルはノイズレベル全体にわたる補間領域で動作できる。

実験結果

著者らは、単一ノイズ不整合診断を用いて WNE を評価した。固定ノイズレベル（$\sigma_{train} \in \{10, 25, 50\}$）でモデルを訓練し、広範な $\sigma_{test}$ 範囲でテストを行った。

• 頑健性: WNE は、ノイズレベル不整合下でラッパーなしのベースラインを大幅に上回る。SwinIR の場合、ベースラインは $\sigma_{test} \neq \sigma_{train}$ のときに性能が著しく劣化するのに対し、WNE は安定した性能を維持する。WNE は、広範な内部修正を必要とするアーキテクチャ NE ベースライン (NE-arch) の頑健性の傾向とほぼ一致する。
• 一致するノイズレベルでの性能: ノイズレベルが一致する場合（$\sigma_{test} = \sigma_{train}$）、WNE はラッパーなしのベースラインと競争力があり、ピーク PSNR の著しい劣化は見られない。
• ランタイム効率: GPU 上では、WNE はベースラインと比較して無視できるオーバーヘッド（比率 $\approx 1.00\times$）しか追加しない。対照的に、内部層で等価性を強制するコストにより、アーキテクチャ NE ベースライン (NE-arch) は最大1.6 倍の遅延を被る。
• 汎化性: 恩恵は以下の領域に及ぶ：
  • 異なるバックボーン (Restormer)。
  • カラー画像（3 チャンネル）。
  • 実センサーノイズ (SIDD データセット)。
  • 非ガウス性破損 (一様分布、ラプラス分布、レイリー分布、JPEG)。
  • 逆問題における反復再利用（制約付きインペインティングで用いられる Noise2Noise 訓練のノイズ除去器）において、WNE はラッパーなしモデルが失敗する高ノイズ初期化からの安定した再構成を可能にする。

意義と主張

本論文は、正規化等価性を強制することは、単なる近似や関数空間の制限ではなく、アーキテクチャ制約なしに達成可能な等価な再パラメータ化であると主張している。

主な意義は、NE の頑健性向上の恩恵を、従来手法のアーキテクチャ的制限から切り離す点にある。ラッパーを介して等価性の強制を入力 - 出力境界へ移動させることで、著者らは、アテンションやレイヤーノーマライズなどの標準的な高性能コンポーネントの使用を可能にしつつ、NE の理論的保証を維持している。このアプローチは、内部層制約に伴う計算ペナルティを負うことなく、ブラインドノイズ除去および関連する逆問題における頑健性を向上させる実用的な解決策を提供する。著者らは、この視点が頑健性に対する明確な幾何学的説明も提供すると指摘している。すなわち、正規化座標における回帰問題を安定化させ、ノイズレベルの大幅なシフト下でも「難易度」における訓練 - テストの重なりを維持することを保証する。