技術要約: 画像強調のための NamedCurves+

問題提起

画像強調は、自動化された品質向上と解釈性およびユーザー制御のバランスを取るという点で、コンピュータビジョンにおける永続的な課題であり続けています。ペアデータセット（生の画像と専門家によるレタッチ）を利用したディープラーニング手法は強力な性能を実現していますが、以下の2つの決定的な制限があります：

1. 解釈性の欠如: エンドツーエンドのアーキテクチャ（例：U-Net）や複雑な重み付けメカニズム（例：3Dルックアップテーブル）はブラックボックスとして機能するため、特定の編集がどのように適用されているかを理解することが困難です。
2. 限定的なインタラクティビティ: 既存のモデルは、パラメータ化が不適切であることが多く、ユーザーによる調整に適していません。ユーザーは、モデルを再学習させることなく、特定の好みに合わせて出力を変更したり、個人の美的嗜好を補正したりすることが容易にはできません。

さらに、プロフェッショナル用ソフトウェアが提供する手動制御（「赤」、「緑」、「青」といった馴染みのある色の名前に基づいていることが多い）と、現在の自動化システムの硬直した出力との間には乖クトが存在します。

手法: NamedCurves+

本論文では、Color Naming（色彩命名）の概念とTone Curves（トーンカーブ）、およびTransformerベースの融合メカニズムを統合した学習ベースのフレームワークである**NamedCurves+**を提案しています。そのアーキテクチャは、主に4つのコンポーネントで構成されています。

1. 標準化バックボーン (Standardization Backbone)

照明やカメラ設定の変動に対処するため、入力画像 $x$ はまずLPIENetに着想を得たUNet風のバックボーンによって処理されます。このモジュールは、入力を標準的な潜在空間 ($\hat{y}_b$) に標準化し、元のキャプチャ条件に関わらず一貫したカラーネーミング分解を保証します。バックボーンは、MobileNetレイヤー、CBAMアテンションモジュール、およびマルチレゾリューション・スキップ接続を利用しています。

2. 色彩命名分解 (Color Naming Decomposition)

画像を全体として処理する代わりに、この手法は標準化された画像を普遍的な色の名前に基づく尤度マップへと分解します。

• 分解: Van de Weijerらによるモデルを用いて、画像を11のカラーカテゴリ（赤、青、緑、黄、ピンク、紫、オレンジ、茶、白、グレー、黒）にマッピングします。
• グルーピング: 色相は類似しているが強度の変化がある場合（例：オレンジ対茶、またはピンク対紫）に対処するため、これら11のマップを6つの明確なチャンネル（オレンジ・茶・黄、ピンク・紫、赤、緑、青、および無彩色［白・グレー・黒］）にグループ化します。

3. ベジェ・トーンカーブ推定 (Bezier Tone Curve Estimation)

6つの各カラーグループおよび各RGBチャンネルに対して、ネットワークはグローバルなトーンカーブを推定します。

• パラメータ化: カーブは $M$ 個の制御点を持つベジェ曲線を使用して定義されます。最初の点は $(0,0)$、最後の点は $(1,1)$ に固定されます。
• 学習: ネットワークは、単調性を確保するために、前の点に対する制御点の増分 ($\Delta P$) を予測します。これらの増分は正規化され、最終的な制御点を形成するために累積されます。
• 適用: これらのカーブは、対応するカラー確率マップに対して1次元ルックアップテーブル（1D LUT）として適用され、6つのグローバルに調整された中間画像を生成します。このステップは、各カーブが特定の色の名前がどのように操作されているかを明示的に表しているため、解釈性を提供します。

4. Transformerベースの画像融合 (Transformer-Based Image Fusion)

単純な加重平均から生じる局所的な変動やアーティファクト（色の境界におけるハロー現象など）に対処するため、6つのグローバルに調整された画像はTransformerブロックを使用して融合されます。

• メカニズム: このブロックは、空間的な位置ではなくチャンネル間のクロス共分散を計算する**転置アテンション (Transposed Attention)**を採用しています。これにより、計算量は画像サイズに対して二次関数的ではなく線形に減少します。
• プロセス: 18チャンネルの入力（6画像 $\times$ 3チャンネル）を連結し、畳み込み特徴抽出器を通じて処理された後、マルチヘッド転置アテンションモジュールとそれに続くフィードフォワードネットワーク（FFN）によって精緻化されます。
• 出力: 最終層は、強化されたsRGB画像 $\hat{y}$ を生成します。このステップは、グローバルなカーブだけでは達成できない、空間的な依存関係とコンテキストに応じた編集を捉えます。

損失関数 (Loss Function)

学習目的関数は、以下の3つの項を組み合わせたものです：

1. 標準化された画像 $\hat{y}_b$ とグランドトゥルース $y$ の間のL2損失（$\alpha=0.5$ で重み付け）。
2. 最終出力 $\hat{y}$ と $y$ の間のL2損失。
3. $\hat{y}$ と $y$ の間のSSIM損失。

主な貢献

著者らは、この拡張研究において3つの主要な貢献を特定しています。

1. 効率的な融合アーキテクチャ: 効率的なTransformerブロック（転置アテンション）を用いた画像融合コンポーネントの再設計により、画像の品質が向上し、色の境界におけるハローアーティファクトが軽減され、高速な推論速度が維持されます。
2. 複数タスクへの汎用性: 本フレームワークは、画像レタッチを超えてトーンマッピングや露出補正にも拡張されており、標準的なベンチマークにおいて最先端（SOTA）の結果を達成しています。
3. 強化されたインタラクティビティと解釈性: モデルの重みをトーンカーブから切り離すことで、本手法は推論時に特定の色の名前に関連付けられたベジェ曲線を直接操作することを可能にします。これにより、再学習なしでのパーソナライズされた調整が可能となり、従来の自動化システムでは不可能であったレベルの制御を提供します。

実験結果

本手法は、MIT-Adobe-5K、PPR10K、MSEC、およびSICEの4つのデータセットで評価されました。

• 定量的性能: NamedCurves+は、PSNR、SSIM、LPIPS、および色差指標（$\Delta E_{00}$、$\Delta E_{ab}$）において、既存の最先端手法（3DLUT、AdaInt、RSFNet、および著者の以前のNamedCurvesを含む）を上回っています。
  • MIT-Adobe-5Kにおいて、PSNR 25.75、SSIM 0.940を達成しました。
  • MSEC（露出補正）において、PSNR 23.15、SSIM 0.878を達成しました。
• アブレーション研究:
  • バックボーンを除去すると最大の性能低下が発生し、標準化の必要性が確認されました。
  • 色彩命名分解を除去すると性能が大幅に低下し、意味的なガイダンスの妥当性が検証されました。
  • Transformerモジュールを除去すると結果が悪化し、局所的なコンテキストモデリングの必要性が浮き彫りになりました。
  • 6つのグループ化された色の名前を使用することで、11個の個別の名前やランダムな分割戦略よりも優れた結果が得られました。
• 効率性: Transformerブロックを追加したにもかかわらず、新しい融合メカニズムは、転置アテンションの効率性により、以前のアプローチと比較して推論時間を27%（26msから19msへ）、FLOPsを**6%**削減しました。
• ユーザー調査: 15名の観察者を対象とした2AFC（二肢強制選択）調査において、NamedCurves+はBGLUTおよび以前のNamedCurvesの両方に対して統計的に有意に好まれました。

意義と主張

本論文は、NamedCurves+が自動化された画像強調とユーザー制御の間のギャップをうまく埋めていると主張しています。その意義は以下の通りです。

• 説明可能性: 色の名前が付いたトーンカーブを使用することで、画像強調プロセスが透明になります。ユーザーは「赤」や「緑」の領域がどのように調整されているかを正確に把握できます。
• インタラクティビティ: 柔軟な事後的カスタマイズを可能にします。ユーザーは、個人の好みに合わせて特定のカーブを修正することで、レタッチされた画像を微調整できます。これは、ほとんどのエンドツーエンドのディープラーニングモデルにはない機能です。
• 堅牢性: グローバルな色条件付きカーブと局所的なTransformer融合の組み合わせにより、グローバルな露出・コントラストの問題と局所的な色の境界の両方を効果的に処理し、従来の色彩分解手法に共通するハローアーティファクトを軽減します。

著者らは、本手法は高度に局所化された意味的な編集に対してはトーンカーブの表現性に制約を受けるものの、解釈可能でインタラクティブ、かつ高品質な画像強調システムを作成するための重要な一歩であると結論付けています。