💻 computer science

Single Image Reflection Removal with Patch Reflectance Prior

本文提出了一种新颖的单图像反射去除方法，该方法利用通过反射先验提取网络（RPEN）学习到的通用反射强度先验，并将其基于 Transformer U-Net 的先验反射去除网络（PRRN）中集成，从而在真实世界基准测试中实现最先进的性能。

原作者： Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图透过一扇窗户拍摄美丽的风景。不幸的是，窗户很脏，你所在房间（也许还有一盏灯或一个人）的倒影叠加在窗外的景色之上。结果得到了一张混乱、令人困惑的图像，你无法分辨什么是真实的，什么是倒影。这正是本文要解决的问题：单张图像反射去除（SIRR）。

以下是作者如何解决的简单分解，使用了日常类比。

问题：“脏窗户”

通常，计算机试图通过猜测特定规则来修复这个问题。例如，它们可能会假设“反射总是模糊的”，或者“反射总是像鬼影一样”。

缺陷： 在现实世界中，反射并不总是模糊或像鬼影。有时它们清晰锐利。当计算机依赖特定规则（如“它必须是模糊的”）时，一旦看到清晰的反射就会失败。这就像试图只在台灯下寻找丢失的钥匙；如果钥匙在沙发下，你就找不到它。

解决方案：一种衡量“混乱程度”的新方法

作者不再猜测反射看起来像什么（模糊、像鬼影等），而是决定测量图像不同部分中反射的强度。他们称之为“反射强度先验”。

将图像想象成不是整张大照片，而是一张切成 49 小块（图像块）的披萨。

旧方法： 试图一次性猜出整张披萨的味道。
新方法： 单独品尝每一小块。有些小块可能是 90% 的反射（主要是你房间的倒影），而另一些则是 90% 的透射（主要是窗外的景色）。

两步机器

作者构建了一个包含两个主要部分的系统，它们像侦探团队一样协同工作：

1. 侦探：反射先验提取网络（RPEN）

这是行动的“眼睛”。

它做什么： 它查看那张脏窗户的照片，并分析 49 块披萨中的每一块。它会问：“这块中有多少是反射？”
它如何学习： 它在海量照片库上进行了训练，以理解什么是“正常”的图片。当它看到一块与正常图片相比显得怪异或“杂乱”的切片时，就会将其标记为具有强反射。
输出： 它生成一张地图（“热力图”），精确显示反射在哪里强、在哪里弱。

2. 清洁工：基于先验的反射去除网络（PRRN）

这是执行清洁的“手”。

它做什么： 它接收脏照片以及来自侦探的地图。
它如何工作： 它不是盲目地擦拭整张图片，而是利用地图变得聪明。如果地图显示“这块 90% 是反射”，清洁工就会强力去除反射。如果地图显示“这块主要是窗外的景色”，清洁工就会让它保持原样。
架构： 它们使用了一种"Transformer U-Net"，这是一个聪明、高效的清洁结构的华丽名称，它非常擅长连接图像的不同部分（就像 Transformer 连接句子中的单词一样）。

为什么这效果更好

该论文在真实世界的照片上（而不仅仅是计算机生成的假照片）测试了这种方法。

“锐利”反射测试： 许多旧方法在反射清晰锐利（如镜子）时会失败。因为作者没有假设反射是模糊的，所以他们的系统完美地处理了锐利的反射。
“图像块”优势： 通过将图像分解成小块，系统意识到反射并不是均匀的。反射可能在左上角很强，但在右下角很弱。将整个图像视为一个大块会忽略这些细节。

结果

当他们将该系统与现有的最佳方法进行比较测试时：

它生成了更清晰、更锐利的图像。
它在反射强烈或锐利的困难场景中表现更好。
它在标准测试中达到了“最先进”（最高可能分数）的水平。

总结

想象一下，你正试图在嘈杂的房间里听朋友说话。

旧方法试图过滤掉所有噪音，假设噪音听起来像某种特定的嗡嗡声。如果噪音是喊叫声，过滤器就会失效。
这种新方法在房间的不同部位放置了麦克风。它精确找出喊叫声来自哪里（即“反射强度”），并且只静音那些特定的位置，让朋友的嗓音在其他地方保持清晰。

该论文声称，这种方法更灵活、更准确，因为它关注的是反射在特定区域的强度，而不是猜测它是什么类型的反射。

技术摘要：基于补丁反射先验的单图反射去除

问题陈述
单图反射去除（SIRR）旨在从单个输入图像（ $I$ ）中恢复干净的透射图像（ $T$ ），其中场景与反射（ $R$ ）叠加。该问题被表述为 $I = g(T) + f(R)$ ，其中 $g(\cdot)$ 和 $f(\cdot)$ 代表多种退化，如模糊、光吸收、折射和景深效应。由于未知变量以及现实场景中缺乏真实值（ground truth），该任务是一个病态问题。

现有方法通常依赖特定的先验假设（例如图像梯度稀疏性、重影线索或相对平滑性）来分离图层。然而，这些假设在复杂的现实环境中经常失效，因为反射特性差异显著（例如锐利与模糊的反射、不同的物体距离以及自然光照）。此外，真实世界数据的稀缺导致了对合成数据集的过度依赖，致使模型在应用于多样化的非结构化现实场景时缺乏鲁棒性。

方法论
作者提出了一种框架，摒弃了僵化的特定先验假设，转而采用通用的反射强度先验。该先验定义局部区域内反射现象的强度，而非假设特定类型的退化（如模糊或重影）。该框架包含两个主要组成部分：

反射强度先验定义：
不同于标准的反射与透射比率（对于强反射可能产生无限值），作者将反射强度重新定义为 0 到 1 之间的归一化分数：
$\text{反射强度} = \frac{\text{Mean}(R)}{\text{Mean}(R) + \text{Mean}(T)}$
该指标按区域补丁计算，以考虑叠加图像中反射的非均匀性。
反射先验提取网络（RPEN）：
RPEN 旨在估计输入图像每个补丁的反射强度先验。
- 架构： 它利用在 ImageNet 上预训练的 ResNext101 骨干网络来理解规则的无反射图像。
- 训练： 该网络在一个包含合成图像（通过将 CEILNet 生成的反射叠加到 PASCAL VOC 图像上创建）和来自 CDR 数据集的真实世界图像的数据集上进行微调。
- 细化： 采用级联方法，在高层特征上使用空洞空间金字塔池化（ASPP）来捕捉补丁间的全局关系，并细化对 49 个（ $7 \times 7$ ）补丁中每一个的强度估计。
基于先验的反射去除网络（PRRN）：
PRRN 利用估计的反射强度先验自适应地去除反射。
- 架构： 它采用简单的 Transformer U-Net 结构，该结构在图像恢复任务中已知表现优异。
- 先验嵌入： 每个补丁的反射强度先验使用正弦嵌入机制（类似于 Transformer 中的位置编码）编码为特征。
- 自适应处理： 编码后的先验特征通过 ResBlock 内的特征仿射（FWA）层注入网络。这引导网络在上下采样过程中聚焦于反射区域，并自适应地去除噪声区域。

主要贡献

通用反射强度先验： 本文提出了一种不依赖特定反射类型假设（如模糊或重影）的先验定义，转而关注反射现象的局部强度。
RPEN 与 PRRN 框架： 作者提出了一个两阶段流程，其中 RPEN 提取区域反射强度先验，PRRN 在 Transformer U-Net 架构内利用这些先验执行去除任务。
基于补丁的分析： 研究表明，将图像分割为补丁允许学习非均匀的反射先验，这对于处理多样化的现实场景至关重要。
数据集创建： 创建了一个反射强度先验数据集用于训练 RPEN 模块。

实验结果
该方法在CDR（分类、多样化且真实世界）数据集以及Real20、SIR2和Nature基准上进行了评估。

性能： 提出的PRRN+RPEN在大多数基准上实现了最先进（SOTA）的精度。在 CDR 测试集上，其 PSNR 达到24.31（优于之前最佳的 YTMT-UCS 的 22.04），SSIM 达到0.815。
鲁棒性： 该方法在SRST（锐利反射，锐利透射）类别中表现出卓越的性能，许多基于先验的方法因缺乏重影等特定线索而在此类别中失效。它在BRST（模糊反射）和强反射场景中也表现良好。
消融研究：
- 补丁分辨率： 实验表明，虽然使用更小的补丁（更高分辨率）训练 RPEN 更具挑战性，但使用更细粒度的先验真值作为 PRRN 的输入显著提高了去除精度。
- RPEN 影响： 将 RPEN 模块添加到 PRRN 中使 PSNR 提高了0.87 dB。使用 LayerCAM 进行的视觉分析证实，RPEN 引导网络将注意力集中在实际的反射区域，而没有 RPEN 的 PRRN 则倾向于关注非反射区域。

意义与主张
本文声称其主要意义在于解决了现有 SIRR 方法依赖特定且往往脆弱的先验假设的局限性。通过定义通用的反射强度先验并通过 RPEN 进行学习，所提出的方法在反射特性不可预测的多样化现实场景中实现了鲁棒性。作者指出，虽然他们的方法实现了 SOTA 精度，但在某些情况下，反射强度先验的预测精度未来可能通过多分辨率 RPEN 设计得到进一步提升。这项工作强调，由学习到的强度先验而非固定假设引导的区域自适应反射去除，是迈向现实世界图像恢复的关键一步。