🤖 AI

SIRR-LMM: Single-image Reflection Removal via Large Multimodal Model

本文介绍了 SIRR-LMM，这是一种将物理精确的合成数据集生成框架与微调后的多模态大模型相结合的新颖方法，旨在实现最先进的单幅图像反射去除与分离性能。

原作者： Yu Guo, Zhiqiang Lao, Xiyun Song, Yubin Zhou, Heather Yu

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Guo, Zhiqiang Lao, Xiyun Song, Yubin Zhou, Heather Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

论文解析：SIRR-LMM —— 揭开“窗户里的幽灵”

问题所在：窗户里的“幽灵”

想象一下，你正试图拍摄博物馆内悬挂的一幅精美画作，但它前面的玻璃罩反射出了你身后的人影和灯光。相机捕捉到的是一个混乱的混合体：画作（你想要的内容）和反射（你不想要的内容）。

在计算机视觉领域，这被称为单图反射去除（Single-Image Reflection Removal, SIRR）。这是一个棘手的谜题，因为相机只有一张照片可以利用。这就像是试图将两首同时被录入同一个麦克风的歌曲进行分离。

长期以来，计算机一直难以解决这个问题，原因在于：

真实数据难以获取： 要教计算机如何修复这个问题，你需要“标准答案”（即展示没有反射的画作以及没有画作的反射的照片）。在现实世界中，如果不移动玻璃或画作，几乎不可能拍到这样的照片。
伪造数据太假了： 之前的尝试通过简单地将两张照片叠加在一起来制作“伪造”训练数据。但真实的玻璃并不只是简单地覆盖在图像之上；它会折射光线，产生模糊的重影，并根据角度改变颜色。简单的叠加忽略了这些物理特性。

解决方案：一个“物理完美”的模拟器

作者构建了一种全新的方式来创建训练数据，使其表现得像一个超精准的视频游戏模拟器。

他们没有仅仅进行图像堆叠，而是使用了被称为**路径追踪（Path Tracing）**的技术。想象一下，光线是一颗微小的台球。模拟器向一个 3D 玻璃窗模型发射数百万个这样的“光球”：

有些球从玻璃表面弹回（产生反射）。
有些球穿过玻璃（产生看到的画作视图）。
有些球在玻璃内部发生多次碰撞后才出来（产生那些模糊的、双重影像的“重影”）。

他们将这些物理模拟与现实世界的照片相结合。其结果是，生成的数据库让计算机能够学习现实生活中光线的真实行为，包括那些棘手的过曝亮点或模糊的反射。

大脑：教导一位“多语言”艺术家

他们发明的第二部分是如何教计算机解决这个谜题。他们并没有从零开始构建一个新的计算机模型，而是使用了一个大型多模态模型（Large Multimodal Model, LMM）。

你可以把 LMM 想象成一位超级艺术家，他见过数十亿张图片，并且可以用语言来描述它们。这位艺术家已经知道玻璃长什么样，因为他见过无数关于窗户的照片。

作者使用了一个巧妙的技巧来教这位艺术家完成这项特定工作：

“三明治”法： 他们没有直接把杂乱的照片交给艺术家并要求其输出干净的照片，而是喂给模型一个“三明治”图像。他们将杂乱的照片、干净的画作和反射图像并排粘贴在一起，组成一张巨大的图像。
秘密配方（LoRA）： 他们并没有重新训练整个庞大的艺术家模型（那将耗时极长且成本高昂）。相反，他们在艺术家的脑中添加了一个轻量级的“适配器”（称为 LoRA）。这个适配器教会了模型：“当你看到这种特定的图像‘三明治’时，请学习如何分离它们之间的模式。”

他们还给了模型一张特定的“食谱卡”（文本提示词），解释了这项任务：“这里有一张带有玻璃的照片，这里是透过玻璃看到的景象，这里是反射内容。” 通过针对这一特定食谱进行训练，模型学会了反射去除的逻辑，而无需每次工作时都重复告知。

结果：更清澈的窗户，更清晰的反射

当他们用这种新方法与现有的最佳工具进行对比测试时：

视觉效果更好： 在反射过于明亮以至于冲淡了图像（过曝）的照片中，他们的方法可以正确地进行“图像修补”（Inpainting），填补缺失的细节。例如，如果反射显示了一个红色的支架，模型知道要在反射层中保留红色，即使主图像已被冲淡。
分离效果更佳： 其他方法通常会在处理后留下“重影”或模糊的污点，而该方法能产生更清晰的玻璃后方物体视图。
还原了反射： 大多数工具只是试图删除反射，而这个工具实际上能重建出独立的、清晰的反射图像。即使在反射几乎不可见的黑暗区域，它也能利用其对光线行为的理解，推测出反射看起来是什么样的。

总结

简而言之，作者通过以下方式解决了“脏窗户”问题：

构建了一个基于物理的模拟器来创建完美的训练数据（因此计算机学习的是光的规律，而不只是模式）。
使用了一个预训练的“超级艺术家”AI，并为其提供了一个微小的、专门化的升级（LoRA），使其学会如何将“幽灵”与“真实事物”分离。

其结果是一个系统，它可以观察单张窗户照片，并神奇地将其拆分为两张完美的图像：一张显示玻璃后方的景象，另一张显示玻璃上精确的反射。

技术摘要：SIRR-LMM

问题陈述

单幅图像反射去除（SIRR）是一项具有挑战性的计算机视觉任务，其难点在于如何分离紧密耦合的反射光与透射光，尤其是在过曝区域，这种分离具有固有的病态性（ill-posed nature）。虽然深度学习已取得显著进展，但由于高质量训练数据的匮乏，该领域的发展受到了瓶颈限制。构建真实的现实世界数据集非常困难，因为捕捉准确的地面真值（即分离反射层与透射层）在物理上极具挑战性。相反，现有的合成数据集通常依赖于简单的图像混合或简化的反射模型，无法捕捉实现鲁棒学习所需的物理真实感，例如复杂的的光传输、折射和衰减。

方法论

1. 物理精确的合成数据集生成

作者提出了一个创新的框架，用于生成高保真的合成数据集，以克服传统图像混合的局限性。

路径追踪渲染（Path-Traced Rendering）： 该框架并非通过混合 2D 图像，而是利用 3D 玻璃模型的路径追踪技术来模拟物理精确的光传输。这涉及求解非发射透明表面的渲染方程，考虑双向反射分布函数（BRDF）、折射以及多次光线弹跳（包括透射 $T$ 和反射 $R$ ）。
混合场景设置： 为了避免从头开始建模完整 3D 场景的复杂性，该方法将高动态范围（HDR）环境贴图与真实 RGB 图像相结合。
- 光照： 使用 HDR 贴图来模拟真实的光照和高光，防止了基于低动态范围（LDR）合成中常见的过曝问题。
- 变化： 该框架支持多样化的配置，包括 HDR-HDR、HDR-LDR（反射中出现摄影师）和 LDR-HDR（玻璃后方是艺术品），以模拟博物馆或户外摄影等现实场景。
参数化： 系统地改变玻璃属性（厚度、颜色、折射率、粗糙度）和相机参数（光圈、焦距、视场角），以生成多样的景深和弥散效果。
后处理： 渲染后的图像经过伽马校正、自动白平衡和 JPEG 压缩伪影处理，以模拟现实世界的成像条件。

2. 大规模多模态模型（LMM）微调

本文利用了 FLUX.1 Kontext 模型（一种基于 Diffusion Transformer (DiT) 的最先进文本生成图像模型）的生成能力。

上下文 LoRA（In-Context LoRA）： 作者没有采用全参数训练，而是使用低秩自适应（LoRA）来微调模型。这使得模型能够在保留其广泛预训练知识的同时，学习特定的反射去除任务。
联合标注与拼接： 将输入图像（ $I$ ）、透射层（ $T$ ）和反射层（ $R$ ）拼接成单个复合图像 $[I:T:R]$ 。一个统一的提示词（prompt）描述整个分解任务，从而隐式地保持各层之间的相关性。
训练策略： 提示词在训练期间被嵌入为任务特定的特征。在推理过程中，提示词是固定的，使模型能够作为一个单幅图像反射去除系统运行，而无需用户提供文本描述。输入图像 $I$ 也被用作控制图像，以增强条件与生成输出之间的相关性。

核心贡献

合成数据框架： 引入了一个结合了 HDR 环境贴图与真实图像的路径追踪数据集生成框架，用于创建物理精确的反射场景，避免了简化混合模型的缺陷。
LMM 应用： 据作者所知，这是首个探索利用微调的大规模多模态模型进行单幅图像反射去除的研究，证明了在数十亿图像上训练的基础模型拥有关于透明材料的先验知识。
性能表现： 实证验证表明，通过任务特定 LoRA 和高保真合成数据进行适配的 LMM，其性能优于现有的专门化神经架构。

结果与分析

定量性能

该方法在三个标准的现实世界基准测试集上进行了评估：Real、Nature 和 SIR2。

指标： 使用 PSNR、SSIM 和 LPIPS 进行性能衡量。
发现： 所提方法（“Ours (syn)”）取得了极具竞争力的结果，在所有数据集上通常优于或匹配了最先进的方法（如 RDNet 和 DSIT）。值得注意的是，该方法仅使用少量高质量合成数据（1,000 对图像）和减少的训练时间（单 GPU 4,000 步）就达到了这些结果。
区域分析： 在专门针对反射区域（而非整幅图像）评估 LPIPS 时，该方法比竞争对手提升了 18.2%，突显了其处理图像中最困难部分的能力。

定性比较

去除效果： 视觉对比表明，该方法生成的透射层更干净，残留伪影更少，特别是在过曝区域和存在复杂遮挡的区域。它成功地对遮挡区域进行了修复，并纠正了色彩偏移（例如，识别红色反射）。
分离效果： 不同于以往方法在处理具有信息量反射内容时的挣扎，该方法即使在低可见度条件下也能重建有意义的反射场景，并遵循斯内尔定律（Snell's law）等光学原理。
鲁棒性： 该方法在未见过的现实世界采集图像（包括智能手机照片以及复杂的博物馆/画廊场景）中表现出良好的泛化能力。

意义与主张

论文声称，反射去除的主要瓶颈在于缺乏高质量、物理真实的训练数据。通过通过路径追踪合成框架解决这一问题，作者证明了 大规模多模态模型（LMM） 可以通过有限的数据有效地适配于专门的视觉任务。

其意义在于实现了范式的转变：从设计复杂的、任务特定的神经架构，转向利用大规模生成模型固有的先验知识。作者断言，通过适当的适配（LoRA）和高保真数据，通用模型可以比专门化系统更有效地处理复杂的视觉现象（如玻璃反射），不仅提高了反射去除和分离性能，还提供了一条在无需承担获取现实世界地面真值的极高成本的情况下，进行物理精确数据训练的可扩展路径。这项工作表明，通过适当的适配（LoRA）和高保真数据，通用模型可以比专门化系统更好地处理像玻璃反射这样复杂的视觉现象。