CFSR: Geometry-Conditioned Shadow Removal via Physical Disentanglement

論文要約：CFSR - 物理的制約に基づく幾何学・意味情報統合影除去

1. 問題定義 (Problem)

従来の影除去（Shadow Removal）技術の多くは、画像修復を「制約のない画像から画像へのマッピング（Image-to-Image Mapping）」として扱っており、深層学習モデルを「ブラックボックス」として機能させています。このアプローチには以下の根本的な課題があります。

• 物理的解釈性の欠如: 局所的なテクスチャの回復と大域的な照明の一貫性のバランスを取るための物理的制約が不足している。
• 2D 領域の限界: 影は単なる 2D の暗い領域ではなく、3D 幾何学構造と光の相互作用（吸収・散乱）によって生じる物理現象である。従来の 2D RGB 領域のみでの処理は、暗いテクスチャと実際の影を区別できず、不自然なアーティファクト（偽影）や照明の不一致を引き起こす。
• 頻度領域の課題: 局所詳細と大域照明のトレードオフを解決できず、周波数領域（FFT）においてスペクトル誤差が大きくなる傾向がある。

2. 提案手法 (Methodology)

著者は、CFSR（Geometry-Conditioned Shadow Removal）を提案し、影除去を「決定論的なピクセル回帰」から「物理制約付きの劣化逆転（Physics-Constrained Degradation Inversion）」問題へと再定義しました。このフレームワークは、3D 幾何学情報と大規模基盤モデル（Foundation Model）の意味情報を統合します。

主要な構成要素:

1. 3D 幾何学推定と意味情報抽出:

   • 単眼深度推定器を用いて、入力画像から深度（Depth）と表面法線（Surface Normals）を推定し、3D 幾何学事前知識（Priors）を取得。
   • 凍結された DINOv2 エンコーダを用いて、照明に不変な高密度の意味特徴（Semantic Features）を抽出。

2. マルチモーダル特徴初期化と HVI 色空間:

   • 従来の RGB 空間ではなく、HVI 色空間（Hue, Value, Intensity）へ変換。
   • Intensity Collapse Mechanism (ICM): 深い影領域（Value が 0 に近い）で発生するセンサーノイズを、学習可能なべき乗則変換を用いて動的に抑制し、信頼性の高いマルチモーダル特徴ベースを構築。

3. 幾何学・意味双方向明示的ガイダンスアテンション (GSGA):

   • 従来の暗黙的な特徴学習ではなく、アテンション重み行列（Affinity Matrix）を明示的に制御するモジュール。
   • 幾何学ガイダンス: 3D 表面法線のコサイン類似度を用い、同一平面（Co-planar）の領域同士のみを強く結合させ、境界での誤った特徴混合を防ぐ。
   • 意味ガイダンス: DINO 特徴を用いて、照明変化に頑健な意味的類似性をアテンションに注入。
   • これにより、物理法則（照明の一貫性）を特徴集積プロセスに構造的に組み込む。

4. CLIP によるグローバル意味注入:

   • 影が深く情報が失われた領域（ボトルネック）において、凍結された CLIP エンコーダから抽出したグローバルな意味トークンをクロスモーダルアテンション経由で注入。これにより、文脈に基づいた「ハルシネーション（推論）」を行い、失われたテクスチャを復元する。

5. 周波数協調再構成モジュール (FCRM):

   • 復号化プロセスを解離（Disentangle）させ、高周波（テクスチャ・境界）と低周波（照明・大域構造）の 2 つのブランチに分割。
   • 高周波ブランチ: 密結合 CNN を用いて、シャープな境界とテクスチャを復元。
   • 低周波ブランチ: ハールウェーブレット変換とミニトランスフォーマーを用いて、大域照明を滑らかに復元。
   • 3D 法線情報を条件として与えながら、両ブランチを協調的に融合し、物理的に整合性の取れた画像を生成。

3. 主要な貢献 (Key Contributions)

1. 物理意識型の定式化と表現:
   • 制約のない 2D マッピングから、物理制約付きの復元フレームワークへの転換。
   • 独自の HVI 空間と ICM による、影誘起ノイズの抑制と 3D 幾何学事前知識との融合。
2. 幾何学・意味ガイド付き抽出:
   • GSGAの提案により、2D 意味情報（DINO）と 3D 表面法線をアテンション行列に明示的に注入。2D-3D のドメインギャップを構造的に埋め、物理的照明制約を特徴学習に強制する。
3. 幾何学条件付き協調デコーディング:
   • FCRMにより、高周波テクスチャ復元と低周波照明平滑化を解離。CLIP によるグローバル意味注入と 3D 平面制約を組み合わせ、フォトリアリスティックなテクスチャ回復と物理的一貫性の最適なバランスを実現。

4. 実験結果 (Results)

• 定量的評価: ISTD, ISTD+, SRD, INS, WSRD+, Ambient6K などの 6 つのベンチマークで SOTA（State-of-the-Art）を達成。
  • 例：ISTD データセットで PSNR 30.91 dB、SSIM 0.979 を記録。
  • 複雑な間接照明を含む「Ambient6K」ベンチマークでも、既存手法を大きく上回る性能（PSNR 23.62 dB）を示した。
• 質的評価: 境界アーティファクトや残存影を最小化し、背景テクスチャと色の一貫性を厳密に保持。
• クロスドメイン一般化: 学習データと異なるテストデータ（例：ISTD+ → SRD）に対しても、微調整なしで高い性能を発揮し、物理的に意味のある事前知識を学習していることを示した。
• アブレーション研究:
  • 多モーダル事前知識（DINO, CLIP, 幾何学）の組み合わせが性能向上に不可欠であることを確認。
  • 平らなテクスチャ領域では意味情報が、3D 曲面領域では幾何学情報がそれぞれ支配的であることを示し、両者の役割分担が有効であることを実証。

5. 意義 (Significance)

本論文は、低レベルの画像復元タスクにおいて、単なるデータ駆動型のブラックボックスアプローチから脱却し、「物理法則（3D 幾何学・光の挙動）」と「大規模基盤モデルのセマンティック知識」を明示的に統合する新しいパラダイムを示しました。
特に、影除去を「物理的劣化の逆転問題」として再定義し、周波数領域での解離と物理的制約の導入によって、局所詳細と大域照明の矛盾を解決した点は、自動運転、物体検出、追跡などの高次元タスクの前処理として極めて重要です。このアプローチは、他の画像復元タスク（ノイズ除去、超解像など）への応用可能性も秘めています。