技術要約：マルチスケール・アテンションとフーリエ変換を組み合わせた低照度画像強調（MSFT）

1. 問題提起

低照度画像強調（LLIE）は、不十分な照明（暗い屋内設定や劇的な明るさの変化を伴う屋外シーンなど）によって特徴付けられる困難な環境でキャプチャされた入力から、高品質で通常の明るさの画像を復元することを目的としている。これらの条件下では、輝度の低下、大幅な画像のぼけ、およびノイズが発生する。

既存のディープラーニングベースのLLIE手法には、いくつかの制限事項が存在する：

• テクスチャと照明の復元： 多くの手法が、現実世界の照明分布を正確に捉えることと、微細なテクスチャの詳細を同時に復元することに苦慮している。
• 適応性の限界： 主要な手法は、領域ごとのテクスチャ情報に基づいて明るさを適応的に調整することができず、過剰露出や露出不足といった問題を引き起こすことが多い。
• 計算量と事前知識への依存性： 拡散モデル（Diffusion Models）は高いリアリズムを提供する一方で、多くの場合、想定された劣化プロセスや重い学習済み事前知識に依存しており、劣化が曖昧な実世界のシナリオにおける適用性を制限している。さらに、セマンティックな事前知識に依存する手法は、過度な計算リソースを必要とする。
• ノイズと背景の処理： SNR（信号対雑音比）を考慮した最適化技術は、SNRを向上させるものの、ディープスケールの情報を十分に捉えられなかったり、オーロラのような前景要素を含む背景領域を適切に強調できなかったりすることが多い。

2. 手法

著者らは、**MSFT（Multi-scale Attention combined with the Fourier Transform：フーリエ変換と組み合わせたマルチスケール・アテンション）**を提案する。これは、フーリエ変換の原理に基づいた、CNNとTransformerを統合した二段階のU字型フレームワークである、教師あり周波数ドメイン・ディープラーニングネットワークである。

コアとなるアーキテクチャ構成要素

A. フーリエ変換誘導型マルチスケール・アテンション (FTG-MSA)
これはネットワーク内のスケール内に埋め込まれたコアとなる復元モジュールである。振幅スペクトルが明るさの情報をエンコードし、位相が構造の詳細に関連しているという観察に基づいている。

• ガイダンスの構築： ネットワークは、低照度画像と、Retinex理論による照明レイヤーから導出された最大グレー値事前マップを結合することで、4チャンネルのガイダンス・ブライトネスマップを作成する。
• 周波数の融合： このモジュールは、低照度画像の特長量と4チャンネルのガイダンスマップの両方に高速フーリエ変換（FFT）を実行する。低照度画像の位相を保持しながら、ガイダンスマップの振幅スペクトルを低照度画像の振幅スペクトルに加算する。
• 逆変換： 逆フーリエ変換（IFFT）によって誘導された特長マップを再構成する。これは、過剰露出や露出不足を防ぐための明るさの事前知識として機能する。
• アテンション・メカニズム： この融合された振幅情報は、マルチヘッド・セルフアテンション・メカニズムをガイドする。アテンションの重みは動的に計算され、テクスチャを保持しながら画像コンテンツを豊かにするために、関連する特徴を選択的に抽出する。

B. マルチシェイプ・シナジスティック・アテンション (MSSA)
ディープスケールのテクスチャ情報を抽出し、高次元の疎な特徴を統合するように設計されたMSSAモジュールは、最高チャンネルスケールに挿入される。これは、以下の3つの直列接続されたコンポーネントで構成される：

1. 空間およびチャンネル・シナジスティック・アテンション (SCSA)： チャンネルの重要性を適応的に重み付けし、重要な空間情報を増強する。
2. マルチシェイプ・アテンション (MSA)： 並列の**拡張正方形アテンション (DSA)と拡張矩形アテンション (DRA)**で構成される。
   • DSA: 低域通過フィルタの制限を回避して高周波成分を強化するために、Softmaxの代わりに双曲線正接関数（Tanh）を使用する。
   • DRA: 矩形領域内で情報を集約し、マルチシェイプの特徴を捉える。
3. CMUNeXt： 全てのチャンネルにわたってグローバルな情報を同時に抽出する軽量モジュールであり、パラメータ数と計算コストを削減しながら、空間・チャンネル情報を統合する。

C. ネットワーク構造
全体的なフレームワークは、3スケールのU字型アーキテクチャである。

• エンコーディング： 低照度画像と4チャンネルのガイダンスマップは、畳み込み層とFTGT（Fourier Transform-Guided Transformer）ブロックを通じて処理され、階層的な特徴を生成する。
• デコーディング： エンコーダからのマルチスケール特徴は、デコーダの対応するチャンネルに直接送られ、再構成をガイドする。これにより、追加の特徴抽出が不要となり、冗長性が削減される。
• 損失関数： モデルは、強化された出力とグラウンドトゥルース（正解）との誤差を最小化するために、Charbonier損失を用いて学習される。

3. 主な貢献

1. MSFTアーキテクチャ： フーリエ変換とCNN-Transformerクロス混合U-netフレームワークを組み合わせた、二段階の統合ネットワークの提案。このハイブリッド設計は、局所的な特徴を捉えるCNNの効率性と、グローバルなコンテキストをモデリングするTransformerの能力のバランスをとっている。
2. FTG-MSAモジュール： 周波数ドメインの振幅情報を動的なガイダンス信号として組み込んだセルフアテンション・メカニズムの設計。これにより、ネットワークは低照度領域の最大グレー値に基づいて、明るさの重みを適応的に調整でき、露出のアーティファクトを防ぐことができる。
3. MSSAモジュール： 最高次元のガイダンス空間におけるマルチシェイプ・シナジスティック・アテンション・モジュールの導入。このモジュールは、SCSA、MSA（DSA/DRA）、およびCMUNeXtの組み合わせにより、疎な情報を効果的に統合し、チャンネル密度を均一化し、ディープスケールのテクスチャ情報を抽出する。
4. 優れた性能： 広範な実験により、MSFTが複数のデータセット（LOL, SID, SMID, SDSD）において、PSNRおよびSSIMの観点からSOTA（State-of-the-Art）手法を凌駕していることが示された。特に、テクスチャの詳細保持と、過剰露出のない照明復元において優れている。

4. 実験結果

著者らは、7つのデータセット（LOL-v1, LOL-v2-real, LOL-v2-synthetic, SID, SMID, SDSD-indoor, SDSD-outdoor）を用いてMSFTを評価した。

• 定量的性能：
  • SDSD-outdoorデータセットにおいて、MSFTは41.76 dBのPSNRと0.988のSSIMを達成した。これは、Retinexformerに対して11.92 dBの向上、およびSSIMにおいて**13.80%**の向上を意味する。
  • 教師あり学習のSOTA手法であるRetinexformerと比較して、MSFTはすべてのベンチマークにおいて、0.11 dBから11.92 dBの範囲で大幅なPSNRの向上を実現した。
  • 教師なし学習の手法であるRetinexformerと比較した場合、改善はさらに顕著であり、特定のデータセットでは最大16.48 dBの向上が見られた。
• 効率性：
  • MSFTは1.25百万個のパラメータと18.07 GFLOPsを持つ。これは、SNR-Net（4.01M パラメータ、26.35 GFLOPs）のような他の高性能なモデルと比較して比較的低く、性能と計算コストのより良いバランスを提供している。
• アブレーション研究：
  • Retinexガイダンス（4チャンネル入力）を除去すると、性能が大幅に低下した（例：SDSD-outdoorで約9 dB）。これは、照明の事前知識の重要性を検証している。
  • MSSAモジュールを除去すると、PSNRとSSIMの両方が大幅に低下し、構造的類似性とテクスチャ復元の役割が確認された。
  • FTGT内のFFTコンポーネントを除去すると、最も深刻な性能低下を招き、周波数ドメインのガイダンスがグローバルな一貫性のために不可欠であることが証明された。
• 定性的結果： 視覚的な比較により、MSFTは背景のテクスチャを効果的に捉え、現実的な照明を維持しているのに対し、他の手法は暗い部分、アーティファクト、または明るい領域での過剰露出を引き起こすことが多いことが示された。

5. 意義と限界

意義：
本論文は、MSFTが周波数ドメインの振幅情報とマルチスケール・アテンション・メカニズムを効果的に融合させることで、低照度強調のための堅牢なソリューションを提供することを主張している。これは、拡散モデルのような重い計算負荷や、固定されたViT構造の制限を受けることなく、精密な照明復元と詳細なテクスチャ強調のバランスを実現する、周波数ドメイン誘導型アテンションを用いたモデル構築の参照となる。

限界：
著者らはいくつかの制約を認めている：

• 光害： 本手法は、強い光による汚染がある画像には限定的であり、過剰露出部分からのノイズ除去に苦慮する。
• リアルタイム処理： 自然光シナリオにおけるリアルタイム処理には、十分な効率性を備えていない。
• データ依存性： モデルは学習のために大量のペアデータ（対となるデータ）を必要とし、現在はペアデータが存在しない教師なしの拡張分野には適していない。
• ノイズへの感度： 本モデルは、深刻なノイズ汚染を伴う画像取得シナリオを考慮しておらず、比較的クリーンなペアデータ、あるいは事前のクリーニングを必要とする。

今後の展望：
著者らは以下の将来の研究方向を示唆している：

• フーリエ変換をアテンション層に真に統合し、周波数ドメイン（振幅および位相スペクトル）で直接アテンション計算を行うこと。
• 拡散モデルを周波数ドメインに応用すること。具体的には、生成能力を活用しながら計算リソースを削減するために、拡散構造を最適化すること。