技術要約：単一フレームISPパイプライン評価のためのリファレンスフリー・フレームワーク

問題提起

現代のカメラにおける画像信号処理（ISP）パイプラインの評価には、デノイジング、デモザイキング、トーンマッピング、圧縮などの操作によって導入される低レベルなアーティファクトを定量化する必要があります。PSNR、SSIM、LPIPSといったフルリファレンス（FR）指標は、ピクセルレベルの差異や構造的類似性を効果的に測定できますが、これらは処理済み画像と、極めて高品質なグランドトゥルース（正解）リファレンスとの完全な整合（アライメント）を必要とします。実用的な環境において、これらのリファレンスを得るために、正確な取得条件（露光、照明、シーンの動き）を再現することは不可能です。

対照的に、ブラインド画像品質評価（IQA）手法はリファレンスなしで動作しますが、通常はセマンティックな内容、美学、または高レベルの知覚スコア（平均意見スコア：MOS）に焦点を当てています。これらの手法は、微細な低レベルのISPアーティファクト（色の変化、ブロッキング、デモザイキングエラーなど）を検出できないことが多く、また、アノテータ間のばらつきが生じやすいコストの高い人間によるアノテーションに依存しています。特定のISP構成に対して、グランドトゥルースのリファレンスや人間のラベルにアクセスすることなく、標準的なFR指標（PSNR、SSIM、LPIPS）を推定できる手法が不足しています。

手法

著者らは、単一の処理済みsRGB画像とそのISOメタデータから、フルリファレンス指標を推定するリファレンスフリーの学習フレームワークを提案しています。核心となるアイデアは、直接的にスカラーの品質スコアを回帰するのではなく、「プロキシ・リファレンス（代理参照）」画像を予測することです。

1. フレームワークの概要

本アプローチでは、ISPパイプライン $F$ を、ノイズを含むロー画像 $x$ からsRGB出力 $y = F(x)$ への変換としてモデル化します。ロー画像 $x$ は、理想的なクリーンなロー画像 $x_0$ のノイズ版（$x = s(x_0 + \epsilon)$）としてモデル化されます。ここで $\epsilon$ はセンサとISOに依存するノイズを表します。

• 入力: 処理済み画像 $y$ とそのISO値（ノイズの激しさのプロキシとして機能）。
• ネットワーク: SwinIRをベースとしたニューラルネットワーク $\phi_\theta$ が、プロキシ・リファレンス $y_\theta = \phi_\theta(y, \text{ISO})$ を予測します。
• 指標の推定: 本フレームワークは、処理済み画像と予測されたプロキシとの間の標準的なFR指標 $C(y, y_\theta)$ （PSNR、SSIM、LPIPS）を算出します。

2. ネットワーク・アーキテクチャとコンディショニング

ネットワーク $\phi_\theta$ はSwinIRバックボーンを利用しています。ロー入力を必要とせずにノイズレベルをネットワークに条件付けるため、著者らは標準的なLayerNormを**適応型レイヤー正規化（Adaptive LayerNorm: AdaLN）**に置き換えました。AdaLNのスケールおよびシフト・パラメータは、ISO値のエムベディングから予測され、これにより単一のモデルで、低ゲインから高ゲインのシナリオまで、変動するノイズの激しさを扱うことが可能になります。

3. 学習戦略

モデルは、固定されたベースラインISPパイプラインを通じて処理されたクリーンな画像（DIV2K、Flickr2K、Waterloo）から生成された合成データを用いて、マルチ指標結合最適化戦略を用いて学習されます。損失関数は以下を組み合わせたものです：

• データ損失 ($\ell_{data}$): プロキシ $y_\theta$ とグランドトゥルースのリファレンス $y_{GT}$ の間のピクセル単位の再構成損失（$L_2$）。
• 指標一貫性損失 ($\ell_C$): PSNRおよびSSIMについて、予測された指標 $C_m(y, y_\theta)$ とグランドトゥルースの指標 $C_m(y, y_{GT})$ の差を最小化する損失項。
• 知覚損失 ($\ell_{perc}$): 知覚的な妥当性を確保するための、事前学習済みエクストラクターを用いた特徴ベースの損失。

著者らは、PSNRとSSIMを共同で最適化することで、特定のLPIPS損失項を必要とせずにLPIPSとの高い相関を実現し、多様な指標間で良好に汎化するモデルが得られることを見出しました。

4. LoRAによる高速な適応

合成トレーニングパイプラインと実世界のISP（例：Adobe Lightroom）の間のドメインギャップに対処するため、著者らは**低ランク適応（Low-Rank Adaptation: LoRA）**を採用しています。ネットワーク全体を再学習する代わりに、ベースとなる重み $\theta$ を凍結し、少数のLoRAパラメータ $\omega$ を微調整します。これにより、最小限のデータ（フューショット学習）を用い、わずか数時間で、新しいISP構成（異なるデノイザー、デモザイキング手法、または圧縮設定）へ効率的に適応させることが可能になります。

主な貢献

1. リファレンスフリーの指標推定: 処理済み画像とISOメタデータを用いて、FR指標（PSNR、SSIM、LPIPS）を学習可能なブラインド基準へと変換するフレームワーク。これにより、整列されたペアや主観的なアノテーションの必要性を排除します。
2. マルチ指標結合最適化: 単一のモデルが、非線形な操作（トーンマッピングやJPEG圧縮など）を含む多様なISPステージに汎化することを可能にし、複数の異なる指標との高い相関を維持する戦略。
3. 堅牢な汎化と適応: 合成データで学習したモデルが未知の現実的なパイプライン（Adobe Lightroomなど）に汎化できること、およびLoRAによる微調整が最小限のデータでドメインギャップを効果的に緩和できることを実証。

実験結果

本手法は、Adobe Lightroomで処理された合成ベンチマークおよびSIDDデータセット（Google Pixel, LG G4, Motorola Nexus 6）からの実世界データを用いて評価されました。

• 合成データの性能: 合成データにおいて、この復元ベースのアプローチは、直接的な指標回帰を大幅に上回りました。PSNRとSSIMの共同最適化により、PSNRで約0.96、SSIMで約0.94のPLCCスコアを達成し、LPIPSに対しても強い相関を示しました。
• ブラインドIQAとの比較: 提案手法は、低レベルのISP歪みに基づいて画像をランク付けする際、最先端のブラインドIQA手法（MUSIQ、MANIQA、CLIP-IQA、VCRNetなど）を一貫して上回りました。既存のブラインドIQA手法は、セマンティックな内容が同一でISP処理のみが異なる場合、品質の違いを区別できないことが多いのに対し、提案手法はこれらのバージョンを正しくランク付けできました。
• 実世界への適応: Adobeで処理された実画像に直接適用した場合、合成学習済みモデルは、特にSSIMとLPIPSにおいて性能低下を示しました。しかし、少数のAdobe処理済みパッチ（シーン分離プロトコル）を用いたLoRA微調整後、性能は大幅に回復し、PLCCスコアは0.958 (PSNR)、0.957 (SSIM)、0.922 (LPIPS) に達しました。
• 効率性: LoRA微調整により、適応時間をフル再学習の数日間から数時間へと短縮しつつ、同等の精度を維持しました。

意義と主張

本論文は、実用的なカメラパイプライン評価のための、フルリファレンス指標のリファレンスフリー推定の実現可能性を示すことを目的としています。著者らは、本アプローチが、セマンティックな内容よりも低レベルのアーティファクトを優先することが多い従来の知覚的ブラインドIQAとは異なることを強調しています。プロキシ・リファレンスを予測することにより、PSNR、SSIM、LPIPSに内在する構造的およびピクセルレベルの比較を保持しています。

その意義は、完璧に整列されたグランドトゥルース・リファレンスの取得というロジスティックな負担なしに、ISP開発者がパイプラインの構成要素（デノイザー、デモザイキング、圧縮）をチューニングし、比較できるツールを提供することにあります。本フレームワークは、限定的なトレーニングデータしか利用できない商業用ISPパイプラインを評価するための実用的なソリューションとして提示されており、効率的なLoRA適応を通じて、合成トレーニングと実世界での展開の間の溝を埋めるものです。著者らは、現在の研究は固定されたカメラセンサのノイズプロファイルに焦点を当てており、異なるメーカーやセンサ間での普遍的な転移を主張するものではなく、特定のISP構成およびコンポーネントの変化の評価を対象としていることを注記しています。