CFSR: Geometry-Conditioned Shadow Removal via Physical Disentanglement

1. 研究背景与问题 (Problem)

• 核心挑战：传统的阴影去除网络通常将图像恢复视为无约束的“图像到图像”（Image-to-Image）映射问题。这种“黑盒”范式缺乏物理可解释性，难以在局部纹理恢复与全局光照一致性之间取得平衡。
• 现有局限：
  • 大多数现有方法仅在 2D RGB 域内操作，忽略了阴影产生的根本物理原因——即由 3D 场景几何结构引起的光线遮挡。
  • 由于缺乏物理约束，现有模型难以区分“固有的暗色纹理”和“由复杂几何结构投射的真实阴影”，导致恢复后的图像常出现伪影、颜色失真或光照不一致。
  • 在频域上，现有方法往往为了局部细节而牺牲全局光照，导致频谱误差较大。
• 研究目标：将阴影去除任务从确定性的盲像素回归，重新定义为物理约束的退化逆变问题（Physics-constrained Degradation Inversion），确保恢复后的图像严格遵循潜在干净场景的物理流形。

2. 方法论 (Methodology)

作者提出了 CFSR，这是一个多模态先验驱动的框架，旨在通过整合 3D 几何线索和大规模基础模型语义，弥合 2D-3D 域差距。其核心架构包含以下四个关键阶段：

2.1 3D 先验估计与语义提取

• 几何先验：利用预训练的单目深度估计器从输入图像中提取伪深度图（Depth），并基于逆透视映射计算 3D 点云和表面法线图（Normals）。
• 语义先验：使用冻结的 DINOv2 编码器提取鲁棒的区域级语义特征，以提供光照不变的高层语义信息。

2.2 多模态特征初始化 (HVI 空间与强度坍缩)

• 自定义 HVI 颜色空间：将输入图像投影到自定义的 HVI（Hue, Vertical, Intensity）颜色空间，以解耦光照与色度。
• 强度坍缩机制 (Intensity Collapse Mechanism, ICM)：针对深阴影区域信噪比（SNR）极低的问题，引入可学习的幂律变换。该机制动态抑制深阴影区域的噪声波动，将低幅度的传感器噪声与真实的结构梯度解耦，构建鲁棒的多模态特征基础。

2.3 物理引导的特征提取 (GSGA 模块)

• 几何与语义双重显式引导注意力 (GSGA)：这是网络的核心。不同于隐式特征学习，该模块利用 3D 表面法线（几何）和 DINO 特征（语义）直接调制注意力亲和矩阵（Attention Affinity Matrix）。
  • 几何引导：基于朗伯反射理论，计算局部窗口内法线的余弦相似度，强制网络聚合共面区域的特征，防止跨越 3D 几何边界（如遮挡边缘）的错误融合。
  • 语义引导：利用 DINO 特征计算语义亲和度，保留纹理细节，防止过度平滑。
  • 效果：数学上保证了注意力权重仅分配给几何共面且语义一致的区域，显式地将物理光照约束注入特征聚合过程。
• 全局语义注入 (CLIP)：在 U-Net 瓶颈处，利用冻结的 CLIP 视觉编码器提取全局语义 Token，通过跨模态注意力机制注入到深层特征中。这有助于在局部信息严重丢失的深阴影区域，基于全局场景理解“幻觉”并恢复合理的纹理。

2.4 频率协同重建模块 (FCRM)

• 解耦策略：将解码过程解耦为高频分支（纹理/边缘）和低频分支（全局光照）。
  • 高频分支：使用密集 CNN 块，专注于恢复锐利的遮挡边界和局部细节。
  • 低频分支：结合 Haar 小波变换（DWT）和 Mini Transformer U-Net，专注于建模长程依赖和全局光照平滑。
• 几何条件融合：在融合阶段，持续注入 3D 表面法线先验，确保恢复的梯度严格遵循平面几何约束。最终通过残差连接输出，专注于学习退化残差。

3. 主要贡献 (Key Contributions)

1. 物理感知的形式化与表示：
   • 将阴影去除从 2D 映射任务提升为物理条件恢复框架。
   • 提出自定义 HVI 空间和强度坍缩机制，实现了阴影噪声的动态抑制及 RGB 数据与 3D 几何先验的鲁棒融合。
2. 几何与语义引导的提取：
   • 提出双重显式引导注意力 (GSGA) 机制。通过将稠密 2D 语义（DINO）与空间 3D 表面法线对齐，显式地将物理光照和结构约束注入注意力矩阵，有效 bridging 2D-3D 模态差距。
3. 几何条件协同解码：
   • 设计频率协同重建模块 (FCRM)，将合成过程解耦为专用的高频和低频分支。结合 CLIP 引导的全局语义注入，显式引入 3D 平面约束，解决了依赖几何的光照退化问题，实现了逼真纹理恢复与物理一致性之间的最佳平衡。

4. 实验结果 (Results)

• 数据集：在 ISTD, ISTD+, SRD, INS, WSRD+, 以及具有挑战性的 Ambient6K 等多个基准数据集上进行了评估。
• 定量性能：
  • CFSR 在多个基准上达到了 State-of-the-Art (SOTA) 水平。
  • 在 ISTD 数据集上，PSNR 达到 30.91 dB，SSIM 达到 0.979。
  • 在复杂的 Ambient6K 数据集（多光源间接光照）上，PSNR 达到 23.62 dB，显著优于现有方法。
• 定性分析：
  • 相比 ReHiT, OmniSR 等方法，CFSR 能更准确地消除边界伪影和残留阴影，同时保持背景纹理和色彩的一致性。
  • 频谱分析显示，CFSR 在频域上的误差（|FFT - GT|）最小，结构完整性保持最好。
• 泛化能力：
  • 跨数据集测试（如 ISTD+ 训练，SRD 测试）表明，CFSR 具有极强的泛化能力，证明了其学习的是物理意义的先验而非数据集偏差。
• 消融实验：
  • 验证了多模态先验（DINO, CLIP, 几何）的互补性：语义先验主导纹理丰富区域，几何先验对 3D 曲面光照恢复至关重要。
  • 证明了 FCRM 模块在解耦高低频特征、防止颜色渗透方面的有效性。

5. 意义与价值 (Significance)

• 范式转变：CFSR 突破了传统阴影去除仅依赖 2D 像素回归的局限，开创性地将基础模型（Foundation Models）的语义能力与显式的物理几何约束相结合。
• 物理可解释性：通过引入 3D 法线和物理光照约束，模型不再是一个黑盒，其恢复过程符合物理规律（如朗伯反射），显著减少了不合理的伪影。
• 应用前景：该方法不仅提升了阴影去除的质量，其“物理约束 + 多模态先验”的设计思路为其他底层视觉任务（如去雾、低光照增强、图像复原）提供了新的解决范式，特别是在处理复杂光照和几何场景时具有巨大潜力。

总结：CFSR 通过物理解耦和多模态先验的深度融合，成功解决了阴影去除中局部细节与全局光照难以兼顾的难题，在保持物理一致性的同时实现了高质量的图像恢复。