PhaSR: 物理的に整合した事前知識を用いた一般化された画像影除去

1. 問題定義と背景

画像からの影の除去（Shadow Removal）は、リモートセンシング、セグメンテーション、追跡、3D 再構築など、多くのコンピュータビジョンタスクの性能を向上させるために不可欠な課題です。しかし、既存の手法には以下の主要な課題が存在します。

• 影と素材の暗さの混同: RGB 情報のみでは、影による暗さと物体本来の暗さ（材質）を区別することが困難であり、テクスチャ境界付近で色歪みが発生します。
• 複雑な照明環境への汎化不足: 従来の手法は単一の光源による直接的な影（アウトドアなど）では高い性能を示しますが、複数の光源が存在する室内環境や、拡散した間接照明、色ずれが生じる環境（Ambient Lighting）では性能が著しく低下します。
• 物理的事前知識の整合性の欠如: 既存のエンコーダ - デコーダ型フレームワークでは、幾何学的な情報（深度、法線）と意味的な情報（セマンティクス）が競合したり、ボトルネックを通じて物理的な事前知識が失われたりすることで、エッジのぼやけや物理的に不自然な復元が生じます。

2. 提案手法：PhaSR (Physically Aligned Shadow Removal)

PhaSR は、単一の光源から複数の光源による環境照明まで対応可能な、**「物理的に整合した事前知識（Physically Aligned Priors）」**に基づく新しいフレームワークです。この手法は、グローバルレベルとローカルレベルの 2 段階で事前知識を整合させることで、影と反射率を効果的に分離します。

2.1. 物理的に整合した正規化 (Physically Aligned Normalization: PAN)

モデルフリー（学習不要）の前処理モジュールであり、入力画像の照明偏りを物理的に補正します。

1. グレーワールド正規化: 照明の色偏り（ホワイトバランスのズレ）を除去し、チャンネルごとの照明バランスを調整します。
2. 対数ドメインの Retinex 分解: 画像形成モデル $I = R \otimes S$（反射率 $\otimes$ 照明）に基づき、対数領域で照明成分と反射率成分を分解します。これにより、非ランバート的な効果（鏡面反射など）も考慮した反射率の推定が可能になります。
3. ダイナミックレンジの再結合: 分解された成分を再結合し、有効な放射度関係を維持したまま出力を正規化します。
   • 効果: 色偏りを抑制し、照明分布を安定化させることで、後続のネットワークがより一貫性のある入力を受け取れるようにします。

2.2. 幾何・意味的補正アテンション (Geometric-Semantic Rectification Attention: GSRA)

ネットワーク内部において、幾何学的な事前知識と意味的な事前知識を統合・補正するモジュールです。

• マルチモーダル事前知識の注入:
  • 幾何学的事前知識: DepthAnything-v2 によって推定された深度マップと法線マップ（Depth & Normals）。
  • 意味的事前知識: DINO-v2 によって抽出されたセマンティック埋め込み（物体の識別や材質の安定性）。
• 微分アテンションの拡張 (Cross-Modal Differential Attention):
  • 従来の自己アテンションではなく、異なるモダリティ間のアテンションマップを演算します。
  • 具体的には、意味的アテンション $A_{sem}$ から幾何学的アテンション $A_{geo}$ を重み $\lambda$ だけ減算する操作 $A_{rect} = A_{sem} - \lambda \cdot A_{geo}$ を行います。
  • 意図: 幾何学的な情報は影の境界で鋭敏ですが、均一な照明域ではノイズになり得ます。一方、意味的情報は安定していますが空間的に粗い場合があります。この減算操作により、意味的な平滑化が影の境界を消去するのを防ぎつつ、幾何学的なノイズを抑制し、両者の長所を調和させます。

2.3. 全体アーキテクチャ

• Stage 1 (PAN): 入力画像に対して物理的に整合した正規化を施します。
• Stage 2 (Transformer Encoder-Decoder): 多スケールのトランスフォーマー構造を採用。エンコーダ段階では DINO-v2 の特徴を、ボトルネックでは DepthAnything-v2 の幾何学情報を注入します。GSRA を用いてこれらの情報を補正・統合し、デコーダ段階で影のない画像を復元します。
• 損失関数: 画素単位の忠実度（Charbonnier Loss）と構造的類似性（SSIM Loss）を組み合わせます。

3. 主な貢献

1. PAN (Physically Aligned Normalization) の提案: 学習パラメータを必要とせず、グレーワールド仮説と Retinex 理論に基づく閉形式（closed-form）の前処理モジュール。これにより、多様な照明条件下で既存のアーキテクチャの性能を 0.15〜0.34 dB 向上させます。
2. GSRA (Geometric-Semantic Rectification Attention) の提案: 微分アテンションを異種モダリティ間の整合に拡張。深度とセマンティクスを明示的に統合し、複雑な環境照明下でのモダリティ間の競合を解決します。
3. SOTA 性能と汎化性: 従来の影除去ベンチマークだけでなく、複数の光源や拡散照明を含む「環境照明正規化（Ambient Light Normalization）」タスクにおいても、既存の手法を凌駕するロバストな性能を示しました。

4. 実験結果

• 定量的評価:
  • 従来の影除去データセット（ISTD, ISTD+, INS, WSRD+）および、複雑な環境照明データセット（Ambient6K）で評価を行いました。
  • WSRD+ と Ambient6K において、OmniSR や DenseSR などの最先端手法を上回る PSNR/SSIM 値を記録しました。特に Ambient6K（多光源・間接照明）では、専用手法（IFBlend, RLN2-Lf）よりも大幅に高い性能を示しました。
  • クロスデータセット評価: 一つのデータセットで学習し、別のデータセットでテストする評価でも、PhaSR は最も高い汎化性能を示しました（例：Ambient6K で学習し ISTD でテストした場合、OmniSR より +1.46 dB 改善）。
• 計算効率:
  • Diffusion ベースの手法（ShadowDiffusion など）に比べて推論時間が圧倒的に短く（640x480 画像で約 87.9ms）、FLOPs も最も低いレベル（55.63 G）を維持しています。
  • パラメータ数も 18.95M と軽量です。
• 定量的比較:
  • 多モーダル LLM（Qwen-image-edit など）との比較では、影除去タスクにおいて PhaSR は画質（PSNR で 12dB 以上優位）と速度（0.2 秒 vs 数分〜数十分）の両面で圧倒的な優位性を示しました。

5. 意義と結論

PhaSR は、単なるデータ駆動型のアプローチを超え、「物理的な法則（Retinex 理論、幾何学、色の一貫性）」を明示的にモデルに組み込むことで、複雑な照明環境下でもロバストな影除去を実現しました。

• 技術的意義: 影と材質の暗さを区別する難問に対し、幾何学的な局所精度と意味的な大域安定性を「補正（Rectification）」という形で調和させる新しいアプローチを提示しました。
• 応用可能性: マスクを必要としない（Mask-free）ため、実世界の複雑なシーンや、影の検出が困難な環境下での実用化に適しています。また、計算コストが低いため、リアルタイム処理や組み込みシステムへの展開も期待されます。

この研究は、物理的な事前知識を適切に整合させることが、単一のタスク（影除去）からより広範な照明正規化タスクへの汎化を可能にする重要な鍵であることを示しています。