技術要約：構造的照明の学習による非教師あり低照度画像強調（RISE）

1. 問題提起

低照度画像強調（LLIE）は、低露出の観測画像から適切に露出された画像を復元することを目的としている。教師あり学習手法は存在するが、それらはコストが高く偏りのあるペアデータに依存しており、これが非教師あり学習への移行を促す動機となっている。しかし、現在の非教師ありLLIE手法には主に3つの制限がある：

1. 固定された露出ターゲット： 多くの手法は、代理の教師信号として統計的な事前知識や固定された露出値に依存している。これは「シーンに依存しない」基準を生み出し、多様なシーンを一様な明るさレベルへと強制してしまうため、変化する照明条件への適応に失敗する。
2. 照明推定のバイアス： 極端な低露出下では、画素の観測値はセンサーノイズ（低SNR：信号対雑音比）に支配される。既存の手法は、低照度画像全体を一様に信頼できるものとして扱うことが多く、暗い領域が暗いまま残り、ハイライトが過剰に露出するといった不安定な強調につながる。
3. 絡み合った表現： 現在のアプローチは通常、単一の強調表現（例：照明マップやカーブ）を予測するが、これは空間的に変化する相対的照明構造（明るさの関係性）と絶対的露出レベル（グローバルな明るさ）を絡み合わせている。これにより、独立した制御と解釈可能性が妨げられる。

2. 手法：RISEフレームワーク

著者らは、相対的照明構造を絶対的露出から分離し、信頼できる明るい領域から照明を推論するフレームワークであるRISE（Relative Illumination Structure Estimation）を提案する。

2.1 相対的照明構造の推定

光の物理的な伝播に触発され、RISEは照明を単一の量としてではなく、**主要照明キュー（KIC: Key Illumination Cues）**から導出される構造化された場としてモデル化する。

• KICの選択： 本手法は、入力画像から空間的に分散した$N$個の明るいパッチを選択する。これらの領域はより高いSNRを持ち、推定のための信頼できるアンカーとして機能する。
• 相対的照明マップ： 入力は輝度チャネル$Y$に変換され、対数比正規化（$Z = \log(P / \text{mean}(P))$）を介して相対的照明マップ$Z$が計算される。
• 関係場モデリング： RISEは、パッチ$p$とKIC $\{k_n\}$との関係に基づき、任意のパッチの相対輝度を推定する。モデルは以下を組み合わせる：
  • 偏差（$\delta$）： パッチとKICの間の観測された輝度差。
  • 空間減衰（$\rho$）： 3Dシーン再構成を必要とせずに光の減衰をシミュレートする、画像平面上の距離に基づくソフト減衰事前知識。
  • シーンコンテキスト： 照明マップのグローバル統計量。これらはシーンレベルの変動を処理するためにエンコードされる。
• 分離（Decoupling）： 最終的な強調ゲイン $\hat{G}$ は、相対的構造項 $S(p)$ と絶対的露出項 $\eta$ の和として定式化される：
  $$\hat{G}(p) = \underbrace{b + \beta^\top c_{scene} + R(p)}_{\text{相対的構造 } S(p)} + \underbrace{\eta}_{\text{絶対的露出}}$$
  これにより、構造パラメータ（$\Theta$）は同じシーンの異なる露出に対して安定したまま、$\eta$ がグローバルな強度変化を吸収することが可能になる。

2.2 二重計量露出リファレンス（DMER）

固定された露出ターゲットをシーン適応型の教師信号に置き換えるため、RISEは2つの補完的なメーターを用いて各入力画像から露出リファレンスを生成するDMERを導入する。

1. 絶対メーター： 保守的なグレーワールド仮定を用いてグローバルな露出傾向を推定し、安定したベースラインを提供する。
2. 相対メーター： 信頼できる輝度キュー（高信頼領域）を拡散させることで「ライトフィールドマップ」を構築し、空間的な照明変化をモデル化する。これは領域間の相対的な照明強度を捉える。
   最終的なリファレンス $T$ はこれら2つのメーターのブレンドであり、モデルが多様な照明分布にわたって汎用可能な露出マッピングを学習することを促す、入力依存の教師信号を提供する。

2.3 学習目的

フレームワークは、DMERによって導かれる非教師あり目的関数を用いて訓練される：

• 露出制御損失： 出力の輝度、ゲイン、およびKICの輝度をDMERのリファレンスに整合させる。
• スケール等変性正則化（Scale Equivariance Regularizer）： 入力がスケール変更されても構造パラメータが安定することを保証し、絶対的露出項に強度変化を吸収させる。
• 冪等性正則化（Idempotence Regularizer）： すでに強調された出力に対してさらなる強調が行われるのを防ぐ。
• エッジ認識平滑化： 輝度のエッジに支持されないゲインの変化を抑制する。

3. 主な貢献

1. 新しい問題定式化： 本論文は、非教師ありLLIEを、相対的照明構造を絶対的露出から明示的に分離した、構造的かつ関係的な問題として再定義する。
2. RISEフレームワーク： 疎で信頼できる明るい領域（KIC）から照明構造を推論する新しいアーキテクチャを提供し、低SNR領域による不安定性を軽減する。
3. DMER： 固定されたターゲットを置き換える入力依存の露出リファレンスメカニズムを提供し、シーン適応型の強調と、多様なデータセットに対する優れた汎用性を実現する。

4. 実験結果

7つのペアデータセット（LOLv1, LOLv2-Real/Synthetic, LSRW, UHD-LL, SICE）および5つの非ペア実世界データセット（DICM, LIME, MEF, NPE, VV）を用いて広範な実験を行った。

• 定量的性能： RISEは、すべてのベンチマークにおいて非教師あり手法の中でSOTA（最高水準）の性能を達成した。特に、LOLv2-Real（21.33 dB）およびLOLv2-Synthetic（18.72 dB）において最高のPSNRを達成しており、他の手法と比較してパラメータ数（0.35M）および計算リソース（1.43 GFLOPs）が大幅に少ない。
• 汎用性： 再学習なしで未知の実世界シーン（例：iPhone 16 Proの写真）に適用した場合、RISEは優れた汎用性を示し、色彩の忠実度とダイナミックレンジをよく保持した自然な露出補正を実現した。また、すべての非ペアデータセットにおいて、無参照指標（IQA, IAA）で競合手法を上回った。
• アブレーション研究： 実験により以下が確認された：
  • 最も明るいKICを選択することが極めて重要であり、ランダムまたは最も暗いKICを使用すると性能が低下する。
  • DMERにおける絶対メーターと相対メーターの両方が必要であり、どちらか一方のみを使用すると性能が低下する。
  • 構造と露出の分離は不可欠であり、分離を排除すると強調が不安定になる。

5. 意義と主張

本論文は、RISEが非教師ありLLIEへのアプローチにおける根本的な転換を提供すると主張している。照明をグローバルな平均としてではなく、信頼できるキューから導出される構造化された量として扱うことで、本手法は非教師ありの設定においてこれまで到達不可能であった堅牢性と適応性を実現している。

著者らは、RISEが視覚的に自然な結果を生み出し、ペアとなるグラウンドトゥルースやデータセット固有の再学習を必要とせずに、多様な照明条件下で効果的に汎用することに重点を置いている。ただし、信号がセンサーノイズフロアを下回る場合、露出補正のみでは欠落したコンテンツを復元できないという限界についても謙虚に認めており、将来的には生成的な復元技術を組み込む必要があることを示唆している。