技術要約: GuidNoise

問題提起

画像デノイジングはコンピュータビジョンにおける基本的なタスクであるが、効果的なディープラーニングモデルを訓練するには、大規模で高品質なノイズ付き・クリーン画像のペアデータセットが必要となる。現実世界のデータを取得することは非常に困難かつコストがかかる。なぜなら、複雑なノイズパターンを正確にモデル化するために、特定のカメラメタデータ（ISO、シャッタースピードなど）を用いて、同一のシーンをノイズ付きセンサーとクリーンなセンサーの両方で、同一条件下でキャプチャする必要があるためである。

近年の生成モデル（GAN、Normalizing Flows、拡散モデル）は、データの不足を解消するために現実的なノイズを合成しようと試みてきたが、既存の手法には以下のような重大な限界がある：

1. メタデータへの依存性: 多くの手法は、特定のイメージングシステムを模倣するために特定のカメラメタデータを必要とする。
2. データペアの要件: 他の手法は、ターゲット特有の広範なノイズ付き・クリーン画像のペアに依存しており、異なるデバイス、ISO設定、またはシーンの変化に対する汎用性を制限している。
3. 汎用性の失敗: 特定の環境で訓練されたモデルは、再訓練や詳細な設定なしでは、多様で未知の条件に適応することに苦慮する。

手法

著者らは、汎用的なノイズ合成のために設計された、シングルペア・ガイデッド拡散モデルであるGuidNoiseを提案する。その核心となる前提は、ターゲットドメインからの単一のノイズ付き・クリーン画像ペア（「ガイダンス」）があれば、カメラメタデータやそのターゲットのための広範なペア訓練データを必要とせずに、任意のクリーン画像に対して現実的なノイズを合成するためのガイドとして十分であるという点である。

アーキテクチャと訓練

GuidNoiseは、v-predictionを用いたDenoising Diffusion Probabilistic Model (DDPM) フレームワーク内の条件付きU-Netアーキテクチャに基づいている。この手法は、2つの主要な革新技術を導入している。

1. カスケード・デコーディング・アーキテクチャ:
   本モデルは、入力されたノイズ付き画像 ($x_t$)、クリーン画像 ($c$)、およびガイダンスペア ($x_r, c_r$) から特徴を抽出するための並列エンコーダ $E$ を採用している。また、ドメイン固有のノイズ情報をデコーダに注入するためのGuidance-aware Affine Feature Modification (GAFM) モジュールを導入している。

   • ガイダンスペアはエンコードされ、ノイズ認識ガイダンスモジュール $\tau$ によって処理され、ガイダンス埋め込み $h$ を生成する。
   • この埋め込み $h$ は、時刻埋め込み $t$ と共に、多層パーセプトロン (MLP) によって生成されたアフィンパラメータ ($\alpha_i, \beta_i$) を介して、デコーダの残差ブロックを変調させる。
   • このメカニズムにより、モデルは生の特微量を直接コピーすることなく、ガイダンスペアから微細なノイズ分布を捉え、それを生成プロセスに適用することが可能となり、汎用性が向上する。

2. ノイズ認識リファイン・ロス (Noise-Aware Refine Loss):
   標準的な拡散損失 (L2) は、ノイズ情報が存在する高周波成分を抑制する傾向がある。これに対処するため、著者らは逆拡散プロセスの最終ステップ中に適用されるリファイン・ロス ($L_{refine}$) を導入した。

   • この損失は、微分可能なヒストグラムとKullback-Leiblerダイバージェンス (KLD) を利用して、合成されたノイズ付き画像の分布を、グラウンドトゥルースのガイダンスノイズの分布に整合させる。
   • 全体の損失関数は、標準的な拡散損失とリファイン・ロスを組み合わせたものである：$L = L_{Diffusion} + \lambda L_{Refine}$。

推論

推論時、モデルはクリーン画像 $c$ と、ターゲットドメインからの単一のガイダンスペア $(x_r, c_r)$ を受け取る。モデルは、$x_r$ のノイズ分布を模倣したノイズ付き画像 $\hat{x}$ を合成する。極めて重要な点は、このプロセスにおいて、生成フェーズ中にターゲットのクリーン画像に対応する実際のノイズ付きペアを必要とせず、またカメラメタデータも必要としないことである。

主な貢献

1. GuidNoiseフレームワーク: 単一のガイダンスペアのみを使用して現実的なノイズ画像を生成する、シングルペア・ガイデッド拡散モデルであり、カメラメタデータやターゲット特有の大規模なペアデータセットの必要性を排除する。
2. Guidance-aware Affine Feature Modification (GAFM): アフィン変調を介して、ガイダンスペアから微細なノイズ分布を拡散プロセスに埋め込むための新しいメカニズムであり、効果的なドメイン適応を可能にする。
3. ノイズ認識リファイン・ロス: ヒストグラムマッチングを通じて合成されたノイズ分布をグラウンドトゥルースに整合させることで、高周波のノイズ詳細を保持するように設計された損失関数であり、生成されるノイズのリアリズムを向上させる。
4. 自己拡張（Self-Augmentation）能力: 推論時に合成されたノイズ付き・クリーン画像ペアを効率的に生成する能力を持ち、これにより、特にデータが限られているシナリオや軽量モデルにおいて、訓練データを拡張してデノイジング性能を向上させることができる。

実験結果

著者らは、C2N、Flow-sRGB、NeCA、NAFlowを含む最先端の手法と比較しながら、SIDD-Validation、SIDD+、PolyU、Namのデータセットを用いてGuidNoiseを評価した。

• ノイズの類似性: GuidNoiseは優れた類似性指標を達成した。SIDD-Validationデータセットにおいて、NAFlowやNeCA-Wを上回り、最低のKLD (0.014) およびAKLD (0.113) スコアを達成した。
• 汎用性: 本モデルは、主にスマートフォンベースのSIDDデータセットで訓練されているにもかかわらず、異なるカメラタイプ（DSLR vs. スマートフォン）やデータセット（PolyU, Nam）にわたって強力な汎用性を示した。特定の訓練なしに、未知のデバイスに対するノイズ分布を合成することに成功した。
• デノイジング性能: デノイジングネットワーク（DnCNNおよびNAFNet）の訓練に使用した場合、GuidNoiseが生成したデータは、実際のノイズ付き画像で訓練した場合とほぼ同等の性能をもたらした。SIDD-Benchmarkにおいて、GuidNoiseで訓練されたNAFNetは、実データでの訓練と比較して、PSNR 37.48を達成した（実データは37.60）。
• 自己拡張: 実験により、自己拡張（実データと合成データの混合）が、特に小規模なモデルや限定的なデータセットにおいて、性能を大幅に向上させることが示された。わずか1/16の実データのみで訓練された自己拡張NAFNet-Smallは、フルサイズの実データで訓練されたNAFNet-Mediumを上回る性能を示した。

重要性

本論文は、GuidNoiseが既存の生成的なノイズ合成手法の前提条件を緩和することで、画像デノイジングにおけるデータ取得の決定的なボトルネックに対処することを主張している。メタデータや広範なペアデータセットではなく、単一のガイダンスペアに依存することで、本手法は多様な現実世界のシナリオにおけるノイズ合成の汎用化に対する、柔軟で堅牢なソリューションを提供する。著者らは、このアプローチが合成ノイズの質を向上させるだけでなく、リソースが制限された環境においてデノイジング性能を高める実用的なデータ拡張戦略を可能にすることを強調している。