💻 computer science

NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods

本文综述了 NTIRE 2026 野外观测单图像反射去除挑战赛，介绍了旨在弥合真实世界应用差距的 OpenRR-5k 数据集、参赛情况以及顶尖方法在消除反射方面的显著进展。

原作者： Jie Cai, Kangning Yang, Zhiyuan Li, Florin-Alexandru Vasluianu, Radu Timofte, Jinlong Li, Jinglin Shen, Zibo Meng, Junyan Cao, Lu Zhao, Pengwei Liu, Yuyi Zhang, Fengjun Guo, Jiagao Hu, Zepeng Wang, Fe

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jie Cai, Kangning Yang, Zhiyuan Li, Florin-Alexandru Vasluianu, Radu Timofte, Jinlong Li, Jinglin Shen, Zibo Meng, Junyan Cao, Lu Zhao, Pengwei Liu, Yuyi Zhang, Fengjun Guo, Jiagao Hu, Zepeng Wang, Fei Wang, Daiguo Zhou, Yi'ang Chen, Honghui Zhu, Mengru Yang, Yan Luo, Kui Jiang, Jin Guo, Jonghyuk Park, Jae-Young Sim, Wei Zhou, Hongyu Huang, Linfeng Li, Lindong Kong, Saiprasad Meesiyawar, Misbha Falak Khanpagadi, Nikhil Akalwadi, Ramesh Ashok Tabib, Uma Mudenagudi, Bilel Benjdira, Anas M. Ali, Wadii Boulila, Kosuke Shigematsu, Hiroto Shirono, Asuka Shin, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi, Jiachen Tu, Shreeniketh Joshi, Jin-Hui Jiang, Yu-Fan Lin, Yu-Jou Hsiao, Chia-Ming Lee, Fu-En Yang, Yu-Chiang Frank Wang, Chih-Chung Hsu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章其实是在讲一场**“图像去反光”的超级黑客马拉松**，以及大家是如何利用最新的 AI 技术，把玻璃上的反光“变没”的。

想象一下，你站在商店橱窗前，想拍里面精美的商品，但玻璃上全是你的倒影和外面的街景。你想把玻璃“变透明”，只留下商品，这就是**单张图像去反光（SIRR）**的任务。

下面我用几个生动的比喻来拆解这篇论文的核心内容：

1. 比赛背景：为什么我们需要这场“大考”？

以前的去反光技术，大多是在**“温室”**里练出来的。

旧问题：研究人员以前用的数据，要么是自己合成的（像画出来的假图），要么是在实验室里用黑布挡住背景拍出来的。这就像是在平静的水池里学游泳，一旦到了波涛汹涌的大海（真实世界），那些模型就晕头转向了。
新挑战：NTIRE 2026 挑战赛就是要打破这个温室。他们提供了一个叫 OpenRR-5k 的新数据集，里面全是真实的、复杂的照片：有白天有晚上，有人有动物，反光有强有弱。这就像直接把游泳选手扔进了大海，看谁能游得稳。

2. 核心工具：OpenRR-5k 数据集（大海的地图）

为了让大家有东西练手，主办方（主要是 OPPO 和德国大学的研究人员）搞了一个大工程：

怎么收集数据？ 以前大家是用黑布挡住反光，或者把玻璃拿下来重拍，这很麻烦且容易拍歪。这次他们用了OPPO 手机里的 AI 去反光功能作为“初稿”，然后请专业修图师像精修珠宝一样，用 Photoshop 手动微调，确保每一张“去反光后”的照片都是完美的“标准答案”。
规模：一共收集了 5300 张图，分成了训练集（5000 张，用来学习）、验证集（300 张，用来考试）和测试集（100 张，用来最终大考，连答案都不给，看谁能猜对）。

3. 比赛过程：100 多支队伍，11 支进入决赛

这次比赛吸引了全球 100 多支队伍报名，最后有 11 支队伍进入了最后的“盲测”环节。评委们不仅看机器算出来的分数（比如清晰度、色彩还原度），还邀请了 5 位人类专家像品酒师一样，凭肉眼感受哪张图看起来最自然、最干净。

4. 冠军方案：大家的“独门秘籍”

进入决赛的 11 支队伍都使出了浑身解数，他们的技术路线五花八门，就像不同的烹饪流派：

冠军 RRay (RRay 队)：
- 比喻：“先粗修，后精修”的两步走策略。
- 他们发现，一下子把反光全去掉，容易把原本的画面细节也弄丢了。所以他们分两步：第一步用大网把明显的反光“扫”掉（像用扫帚扫地）；第二步用小网把留下的细节“补”回来（像用针线绣花）。
- 成绩：主观评分最高，看起来最自然。
亚军 Xreflect Master (小米团队)：
- 比喻：“大力出奇迹” + “蒸馏教学”。
- 他们把模型做得非常大（FocalNet-XL），像是一个超级大脑。更厉害的是，他们让一个更强大的“老师模型”（基于扩散模型，类似生成式 AI）来教他们的模型。就像让一个天才学生去模仿大师的笔触，从而学会如何处理极难的反光。
季军 AIIALab (哈尔滨工业大学)：
- 比喻：“多阶段打磨” + “物理打分”。
- 他们分了三个阶段：先学基础，再学像人眼一样的审美（对抗训练），最后引入一个“深度评分员”，检查去反光后的物体深度是否合理，确保没有把物体“拍扁”了。
其他队伍的创意：
- VIP Lab：用了“混合专家”系统，就像一个团队里有不同专长的医生，有的擅长处理大面积反光，有的擅长处理小细节，大家分工合作。
- YuFans：专注于**“频率”**。他们发现反光往往藏在特定的“频率”里（就像噪音藏在特定的音调里），专门针对这些频率进行打击。
- PSU：用了**“双路并行”，一路处理全局的大环境，一路处理局部的纹理，像左右手同时干活**。

5. 比赛结果与启示

谁赢了？ 冠军是 RRay，亚军是 Xreflect Master 和 AIIALab。
发现了什么？
1. 机器分数不等于人眼感受：有时候机器算出的“清晰度”很高，但人看着觉得假（有伪影）。这次比赛特别强调人眼的主观评分，这才是最终标准。
2. 真实世界很难：即使在最好的模型下，处理复杂的真实反光（比如夜晚的霓虹灯倒映在车窗上）依然很有挑战性。
3. 数据是关键：这次比赛证明，只要有了高质量、真实的“标准答案”数据，AI 的进步速度是非常惊人的。

总结

这篇论文不仅仅是一次比赛报告，它更像是一份**“去反光技术进化史”**。它告诉我们：AI 已经从“在实验室里做假题”进化到了“在真实世界里解决真问题”。

未来的手机相机，可能在你按下快门的瞬间，就能自动把玻璃上的倒影“擦”得干干净净，让你直接拍到橱窗里最完美的商品，这背后就是今天这些参赛队伍和 OpenRR-5k 数据集的功劳。

这是一份关于 NTIRE 2026 单图像去反射（SIRR）挑战赛 的详细技术总结，该挑战赛旨在解决真实世界场景下的图像去反射问题。

1. 问题背景 (Problem)

核心任务：单图像去反射（Single Image Reflection Removal, SIRR），即从包含反射层（ $R$ ）的混合输入图像（ $I$ ）中恢复出纯净的透射层（ $T$ ）。
现有挑战：
- 真实世界数据匮乏：大多数现有方法在合成数据或有限的真实数据上测试，导致在真实复杂场景（如不同光照、反射强度、场景内容）中泛化能力差。
- 数据获取困难：获取像素级对齐的真实世界“混合图 - 透射图”对（Ground Truth）极其困难，传统方法依赖移除玻璃或遮挡背景，易受环境因素（风、震动）影响导致错位和色差。
- 学术与工业差距：学术界模型往往难以直接应用于工业级摄影产品，缺乏针对真实场景的鲁棒性评估。

2. 关键贡献 (Key Contributions)

本文的主要贡献在于组织了一场挑战赛并发布了高质量数据集：

OpenRR-5k 数据集：
- 规模：包含 5,300 对高质量真实世界图像（5,000 训练，300 验证，100 盲测）。
- 采集协议创新：摒弃了传统的物理移除玻璃或黑布遮挡法，采用 AI 辅助采集协议。利用 OPPO 手机内置的 AI 去反射工具（结合 YOLO/YOSO 检测、LaMa 修复、NAFNet 去反射）生成初始透射图，再经专业人工（Photoshop/美图秀秀）微调，确保无残留反射且像素级对齐。
- 多样性：涵盖 70% 风景、8% 人物、18% 物体等场景，以及日间、室内、夜间等多种光照条件，且均为真实反射场景，非合成模拟。
挑战赛组织：吸引了超过 100 支队伍注册，11 支队伍进入最终测试阶段，汇聚了学术界与工业界（如 OPPO、小米、Intsig 等）的顶尖团队。
评估体系：结合了客观指标（PSNR, SSIM, LPIPS, DISTS, NIQE）与主观专家评分（清洁度、伪影、整体画质），更贴近人类视觉感知。

3. 方法论与获奖方案 (Methodology & Results)

挑战赛共有 11 支队伍提交最终结果，前三名方案代表了当前 SIRR 领域的最高水平：

第一名：RRay (Intsig)

方法：RdNafNet（两阶段级联网络）。
核心思想：将去反射过程解耦为两个阶段。
1. 第一阶段：使用 RDNet 骨干网络去除明显的反射。
2. 第二阶段：使用 NAFNet 骨干网络对中间结果进行细化，恢复因去反射而丢失的细微纹理和细节。
训练策略：混合了真实数据（OpenRR-5k, RRW, Real-Nature）和合成数据，采用多阶段训练（MSE + 梯度损失 + VGG 感知损失 + 对抗损失），并使用了测试时增强（TTA）和加权融合。

第二名：Xreflect Master (小米)

方法：RDNet-XL with Diffusion Distillation。
核心思想：
- 骨干升级：将原 FocalNet-L 升级为更大的 FocalNet-XL，增强多尺度表征和全局上下文建模能力。
- 知识蒸馏：利用扩散模型（Diffusion Models）强大的生成先验，生成伪真值（Pseudo Ground Truth）来蒸馏模型，提升在极端反射下的鲁棒性。
- 渐进式训练：采用 384 -> 512 -> 768 分辨率的渐进式训练策略，并结合扩散模型进行微调。

第三名：AIIALab (哈尔滨工业大学)

方法：MS-RDNet（多阶段细化 RDNet）。
核心思想：
- 三阶段训练：
  1. 在 OpenRR-5k 上监督预训练。
  2. 引入 Nature 数据集 进行感知微调，结合 对抗损失 提升高频纹理恢复。
  3. 引入 深度一致性评分（Depth-Consistency Scoring）机制，利用深度估计器评估不同阶段结果，通过模型融合技术获得平衡模型。

其他优秀方案亮点：

VIP Lab：提出了 CoME（互补混合专家）和 CoCA（互补交叉注意力）模块，采用双流架构。
YuFans：基于 RDNet，引入 频率感知微调（Focal Frequency Loss）和 随机权重平均（SWA），发现合成数据会因域差距降低性能，坚持仅使用真实数据。
KLETech-CEVI：基于 XReflection 的层级编码器 - 解码器，直接预测反射分量并做减法（残差学习）。
PSU：提出 DUSKAN（双谱 Kolmogorov-Arnold 网络），结合 FFT 频域处理和 KAN 激活函数，仅使用官方数据。
SiGMoid：双头 Restormer 架构，显式预测透射层和反射层，利用 Checkpoint Soup（检查点混合）技术提升稳定性。
NTR：采用 TimeDiffiT，结合掩码扩散自编码（MDAE）自监督预训练和扩散到分数的微调（D2S-SFT）。
refineX：渐进式 Restormer U-Net，多损失训练策略。
ACVLAB：在 RDNet 基础上冻结 DINOv2 作为语义先验，辅助解决强镜面反射下的模糊问题。

4. 实验结果 (Results)

性能表现：
- RRay 以主观评分 4.45 和客观 PSNR 36.17 夺冠。
- Xreflect Master 紧随其后（主观 4.31，PSNR 36.05），并在 DISTS 指标上表现最佳。
- AIIALab 位列第三（主观 4.23）。
指标分析：
- 在真实数据集上，PSNR 与主观评分总体呈正相关，表明像素级保真度对真实场景感知质量至关重要。
- 但 PSNR 并非唯一标准，部分团队（如 YuFans 和 VIP Lab）PSNR 相近但主观评分差异明显，说明感知损失（Perceptual Loss）和纹理恢复能力是关键区分点。
- 低排名方法常出现残留反射、过度平滑或色彩失真。

5. 意义与展望 (Significance)

填补空白：OpenRR-5k 数据集解决了真实世界 SIRR 缺乏高质量对齐数据的痛点，为研究提供了可靠的基准。
推动技术落地：挑战赛验证了深度学习模型（特别是结合扩散模型、Transformer 和特定先验的方法）在真实摄影场景中的有效性，缩小了学术研究与工业应用（如手机摄影去反射功能）的差距。
未来方向：
- 需要进一步解决复杂光照和极端反射场景下的感知一致性问题。
- 探索更高效的模型架构，以适应移动端部署。
- 利用生成式 AI（如扩散模型）作为先验知识提升去反射的语义合理性。

总结：NTIRE 2026 SIRR 挑战赛通过发布高质量的 OpenRR-5k 数据集和严格的评估标准，成功推动了单图像去反射技术在真实世界场景下的发展。获奖方案展示了级联网络、扩散模型蒸馏、频率感知优化以及语义先验融合等前沿技术的有效性，为未来开发更鲁棒的去反射算法奠定了坚实基础。