PixIE: Prompted Pixel-Space Low-Light Image Enhancement

技術概要：PixIE – プロンプト駆動のピクセル空間低照度画像增强

問題定義
低照度画像增强（LLIE）は、ノイズ除去、コントラスト復元、意味的詳細の回復という複合的なタスクを伴う複雑な課題である。現実世界の低照度撮影では、信号依存性の強い深刻なノイズ、崩壊したテクスチャ、歪んだ色調に悩まされる。近年の深層学習手法（CNN、Transformer、Mamba、Diffusion モデル）は分野を進展させたが、それらは往々にして訓練データの分布に制約される。極端に露出不足の領域では、ノイズとテクスチャが区別不可能となり、学習されたマッピングが過度な平滑化、色調のドリフト、または意味的に異なる領域間の一貫性のない增强をもたらす。さらに、基盤モデル（DINO、CLIP、SAM など）を活用する既存のアプローチは、概して粗い、グローバルな、またはパッチ単位の条件付けを採用する。これにより「意味的・空間的ギャップ」が生じ、高忠実度な詳細回復に不可欠なピクセルレベルの操作と高レベルの意味的ガイダンスとの整合性が取れず、領域間の一貫性の欠如や局所構造の過度な平滑化を招くことが多い。

手法
著者らは、ビジョン基盤モデル（DINOv3）によって意味的にプロンプトされる、フィードフォワード型・エンドツーエンドのピクセル空間 LLIE フレームワークであるPixIEを提案する。画像を圧縮する潜在空間アプローチとは異なり、PixIE は高周波詳細を保持するために直接ピクセル空間で動作する。アーキテクチャは以下の 3 つの主要コンポーネントで構成される：

1. クロススケールノイズ除去ストリーム：
   意味プロンプト以前に、入力画像は意味フリーのクロススケールノイズ除去ストリームを通過する。このモジュールは、Restormer 風の Transformer ブロックを使用して重篤なノイズを抑制し、粗い構造を保持する。特徴量は微細なスケールから粗いスケールへと伝播される。重要なのは、このストリームが「意味フリー」のまま保たれることで、深刻なノイズが意味的事前知識を汚染するのを防ぎ、DINO 条件付けはこの初期のノイズ除去フェーズの後にのみ導入される点である。

2. 多受容野ピクセル埋め込み（MRPE）：
   意味注入に先立ち、フレームワークはノイズ除去された特徴量に対して MRPE を適用する。このモジュールは、1×1、3×3、5×5 のカーネルサイズを持つ並列畳み込みを用いて局所的文脈を集約する。点ごとの（1×1）ブランチよりも大きな受容野（3×3 および 5×5）により多くのチャネルを割り当てることで、MRPE は近隣認識型の表現を生成する。これは、空間受容野を欠き信号依存性ノイズから信号を区別することに苦慮する標準的な点ごとの埋め込みの限界を克服する。

3. DINO プロンプト駆動ピクセルブロック（DPPB）：
   これは核心的な意味統合モジュールである。粗いパッチ単位の連結を使用する代わりに、DPPB は凍結された DINOv3 エンコーダ（具体的には層 2、5、8、11）からの中間特徴量をピクセル空間パイプラインに注入する。

   • メカニズム：DINO トークンは特徴量グリッドに一致するようにリサイズされ、軽量 MLP によって処理されて AdaLN-Zero 変調パラメータを予測する。
   • 空間的連続性：これらのパラメータは双線形補間と深度方向畳み込みによってアップサンプリングされ、空間的に連続したフル解像度の変調フィールドを生成する。これにより、ハードなパッチ境界が排除され、滑らかでピクセル単位の意味的ガイダンスが保証される。
   • 変調：予測されたパラメータ（$\alpha, \beta, \gamma$）は、残差ブロックのアテンションおよびフィードフォワードサブレイヤを変調し、空間的に一貫性のある增强を可能にする。

4. 空間・チャネル圧縮（SCC）：
   多スケール設計（チャネル次元が増加する）全体でピクセル空間アテンションを計算可能にするため、アテンションブランチに SCC が適用される。これは空間特徴マップを非重複パッチに折りたたみ、Multi-Dconv Head Transposed Attention（MDTA）を適用する前にチャネル次元を圧縮する。これにより、アテンションコストを $O(HW \cdot C^2)$ から $O(H_p W_p \cdot D_{attn}^2)$ に削減し、粗いスケールにおける増加するチャネル幅に依存しないコストを実現する。

主要な貢献

• PixIE フレームワーク：空間的に連続したピクセル単位の変調を通じて、基盤モデルの意味を直接ピクセル空間 LLIE パイプラインに注入する初の手法であり、真のピクセルから意味への增强を可能にする。
• DINO プロンプト駆動ピクセルブロック（DPPB）：DINO パッチトークンを滑らかなフル解像度の変調フィールドに変換する新規残差ブロックであり、パッチ単位条件付けに伴うグリッド継ぎ目や不連続性を回避する。
• 空間・チャネル圧縮（SCC）：空間トークングリッドとチャネル次元を同時に削減する効率化戦略であり、ピクセル空間アテンションが多スケールアーキテクチャにおいて依然として実行可能であることを可能にする。
• 多受容野ピクセル埋め込み（MRPE）：意味プロンプト以前に近隣文脈を集約する軽量モジュールであり、点ごとの埋め込みと比較して信号依存性ノイズに対する堅牢性を向上させる。

実験結果
実験は、標準的な LLIE ベンチマークである LOLv1、LOLv2（実写および合成）、および大規模な実世界データセット LSRW 上で実施された。

• 定量的性能：PixIE は 4 つのデータセットのうち 3 つで最先端（SOTA）の性能を達成する。最近の SOTA 手法と比較して平均 PSNR を**1.9% から 15.0%改善し、LPIPS（知覚的損失）を8.5% から 44.4%**削減する。LOLv2-Real においては、PSNR 29.08 dB、SSIM 0.902 を達成する。
• 汎化性：ペアリングされていないデータセット（LIME、VV、DICM、NPE、MEF）において、PixIE はノーリファレンス指標（NIQE および CLIP-IQA）で一貫してトップ 3 に入り、グランドトゥルースなしで実世界シナリオへの強力な汎化性を示す。
• 定性的分析：視覚的比較により、PixIE が RetinexFormer、WaveMamba、DiffLL などの競合他社よりも鋭い詳細（テキスト、テクスチャなど）とより安定した色調を回復することが示される。これは、他の手法で見られる過度な平滑化や色滲みなしに、構造的な高周波詳細を重篤なノイズから効果的に分離する。

意義と主張
本論文は、PixIE が計算効率や詳細の忠実度を犠牲にすることなく、高レベルの意味的事前知識をピクセル空間復元パイプラインに成功裡に統合することで、LLIE に重要な転換をもたらすと主張する。著者らは、彼らのアプローチがグローバルな意味的一貫性と局所的なピクセルレベルの詳細回復の間のトレードオフを解決していると強調する。粗いパッチ条件付けではなく空間的に連続した変調を使用することで、PixIE は既存の基盤モデル誘導手法が悩まされる境界アーティファクトを回避する。この研究は、ノイズ除去プロセスを意味的洗練から分離し、近隣認識型埋め込みを活用することが、現実世界の低照度撮影に特有の深刻な信号依存性ノイズを処理する上で不可欠であることを示している。