💻 computer science

UniSER: A Foundation Model for Unified Soft Effects Removal

该论文提出了 UniSER，一种基于 380 万对数据训练的统一基础模型，旨在通过单一框架高效去除镜头光晕、雾霾、阴影和反光等半透明软性伪影，从而在保持场景真实性的同时显著超越现有的专用及通用修复模型。

原作者： Jingdong Zhang, Lingzhi Zhang, Qing Liu, Mang Tik Chiu, Connelly Barnes, Yizhou Wang, Haoran You, Xiaoyang Liu, Yuqian Zhou, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Xin Li, Wenping Wang, Xiaohang Z

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingdong Zhang, Lingzhi Zhang, Qing Liu, Mang Tik Chiu, Connelly Barnes, Yizhou Wang, Haoran You, Xiaoyang Liu, Yuqian Zhou, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Xin Li, Wenping Wang, Xiaohang Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 UniSER 的“全能修图大师”。为了让你更容易理解，我们可以把这张论文想象成是在介绍一位拥有“透视眼”和“橡皮擦魔法”的超级修图师。

1. 核心问题：照片里的“隐形污渍”

想象一下，你拍了一张绝美的风景照，但照片上却有一些讨厌的“软效果”：

镜头光晕 (Lens Flare)：像太阳太刺眼，在镜头上留下的光斑。
雾霾 (Haze)：像给照片蒙了一层灰蒙蒙的纱。
阴影 (Shadow)：像有人不小心把影子投在了你的主体上。
反光 (Reflection)：像隔着玻璃拍照，玻璃上的倒影挡住了风景。

以前的修图软件就像专科医生：治雾霾的医生不懂怎么擦反光，治反光的医生又搞不定阴影。而且，它们往往只能把东西“擦掉”，结果把背景也擦坏了，或者把原本清晰的物体变得模糊不清。

2. UniSER 是什么？

UniSER 就像是一位全科修图专家，它不仅能同时处理上述所有问题，还能处理一些以前从未见过的“奇怪污渍”（比如雨滴、污渍等）。

它的核心能力可以概括为三点：

A. 它有一个巨大的“错题本” (380 万张数据)

以前的修图模型只见过很少的样本，就像学生只做过几道题。UniSER 的创造者收集并制作了380 万张“脏图”和“干净图”的配对数据。

比喻：这就像让这位修图师看了 380 万张“修图前”和“修图后”的对比图，甚至包括很多用 3D 技术模拟出来的极端天气和光影。它因此学会了：“哦，原来这种光晕是这样形成的，原来这种阴影下面藏着什么。”

B. 它有一把“智能橡皮擦” (可控的擦除)

这是 UniSER 最厉害的地方。以前的 AI 修图，你让它“把雾霾去掉”，它可能会把整个画面都重新画一遍，导致原本的山和树都变了样（就像把照片重画了一遍）。
UniSER 则不同，它像一把智能橡皮擦：

精准定位 (Mask Control)：你可以用笔圈出“只要擦掉这块阴影”，它只擦这块，其他地方纹丝不动。
控制力度 (Strength Control)：你可以调节“擦除力度”。比如，你想让阴影变淡一点，而不是完全消失，它就能做到“半透明”的去除，保留一点氛围感。

C. 它不仅能“擦”，还能“画” (添加效果)

既然它能完美地理解“怎么把雾霾擦掉”，那反过来，它也能完美地把雾霾画上去。

比喻：就像你学会了怎么把一杯水里的冰块拿出来，那你自然也知道怎么把冰块放进去。你可以用它给一张干净的照片加上逼真的夕阳光晕，或者制造出电影感的雾气。

3. 它是怎么做到的？(简单的技术原理)

UniSER 基于一种叫 Diffusion Transformer 的先进 AI 架构。

比喻：想象你在玩一个“找不同”的游戏。AI 看着一张满是污渍的照片，它脑海里有一张“完美照片”的蓝图。它不是简单地涂抹，而是像剥洋葱一样，一层一层地把覆盖在照片上的“半透明污渍”剥离掉，同时小心翼翼地保护着底下的“洋葱肉”（也就是照片原本的真实细节和物体身份）。

4. 为什么它比现在的 AI 更强？

现在的很多大模型（比如 GPT-4o 或一些生成式 AI）虽然很聪明，但它们修图时有点像醉酒的画家：

你让它“去掉阴影”，它可能把阴影去掉了，但把旁边的人脸也画歪了，或者把背景的天空颜色都改了。
它们太依赖你输入的指令（Prompt），如果你指令写得不够完美，效果就很差。

UniSER 的优势：

不瞎改：它非常尊重原图，只去掉“污渍”，绝不乱改“物体”。
听指挥：你指哪打哪，力度你说了算。
举一反三：即使遇到它没见过的污渍（比如奇怪的雨痕），它也能靠学到的通用原理把它修好。

总结

UniSER 就是一个懂物理、有耐心、手极稳的修图大师。它不再把“去雾霾”、“去反光”、“去阴影”当成不同的任务，而是把它们看作同一种东西——半透明的遮挡物。通过海量的学习和精细的控制，它能帮你把任何被“软效果”毁掉的野外地照片，还原成清晰、真实、完美的样子。

这就好比以前你需要找四个不同的工匠来修补窗户上的四种不同污渍，现在你只需要找 UniSER 这一位“全能工匠”，他不仅能修得干干净净，还能保证窗户原本的风景分毫未损。

UniSER: 统一软效果去除基础模型技术总结

1. 研究背景与问题定义 (Problem)

核心问题：
现实世界拍摄的图像常受到多种“软效果”（Soft Effects）的退化影响，如镜头光晕（Lens Flare）、雾霾（Haze）、阴影（Shadows）和反射（Reflections）。这些效果通常表现为半透明遮挡，虽然底层像素部分可见，但会严重降低图像的对比度、色彩保真度和细节。

现有方法的局限性：

专用模型（Specialist Models）： 现有的去雾、去阴影、去光晕等方法通常是针对单一任务设计的。它们缺乏可扩展性，难以处理多种退化混合的场景，且在面对极端或未见过的真实世界数据时泛化能力不足。
通用大模型（Generalist Models）： 基于多模态大语言模型（MLLMs）的通用图像编辑模型（如 GPT-4o, Flux Kontext, Nano Banana 等）虽然具备强大的文本驱动编辑能力，但在细粒度的软效果去除任务中存在明显缺陷：
- 过度依赖精心设计的文本提示（Prompts）。
- 缺乏像素级的精确控制。
- 在去除效果时容易破坏场景的原始身份（Identity），导致背景物体变形或内容漂移。

任务定义：
论文提出了**软效果去除（Soft Effects Removal, SER）**这一统一任务。其核心挑战在于：这些效果与场景本身纠缠（而非简单叠加），需要在去除效果的同时精确保留局部结构和像素级身份，并对完全遮挡区域进行合理重建。

2. 方法论 (Methodology)

UniSER 是一个基于数据中心的统一基础模型，旨在通过单一框架解决多种软效果去除问题。

2.1 数据构建 (Data Curation)

为了训练具有强泛化能力的模型，作者构建了一个大规模、高质量、像素对齐的**380 万对（3.8M pairs）**图像数据集：

整合现有数据： 收集了光晕、阴影、雾霾、反射四个领域的公开基准数据集（如 Flare7K, SRD, RESIDE, RRW 等）。
数据扩展与合成： 针对现有数据分布不平衡（如光晕数据稀缺、雾霾场景单一）的问题，通过三种途径扩展数据：
1. 真实世界采集： 利用内部数据合成无阴影版本（LR-SRD 数据集）。
2. 2D 合成： 改进现有合成算法，生成更逼真的非均匀雾霾。
3. 3D 渲染： 使用 Blender 构建了HALO 数据集（7 万对），通过物理渲染生成几何一致、多样化的光晕效果（包括反射、眩光等），解决了传统 2D 叠加缺乏几何真实性的问题。
物理驱动的雾霾合成： 提出了基于辐射传输方程（RTE）的合成管线，结合单目深度图，可精确控制能见度、空气光颜色、散射系数等参数，生成逼真的非均匀雾霾、烟雾和 fog。

2.2 模型架构 (Framework)

UniSER 基于扩散 Transformer (DiT) 架构，受 UniReal 启发，将多种任务重构为潜在扩散模型中的不连续帧生成问题：

编码与条件输入： 输入图像经 VAE 编码为潜在表示，任务提示（如"remove haze"）经文本编码器生成嵌入。
联合条件机制： 将图像潜在表示、文本嵌入与噪声目标潜在表示拼接，输入 DiT。
训练策略：
- 随机掩码策略 (Random Masking)： 训练时合成各种形状的随机掩码（矩形、笔触等），引导模型学习在特定区域去除效果，同时保持掩码外区域不变。
- 强度控制 (Strength Control)： 引入连续强度值 $\alpha \in [0, 1]$ 。训练目标 $I_{target}$ 通过公式 $I_{target} = \alpha M_{blur} \cdot I_{gt} + (1 - \alpha M_{blur}) \cdot I_{input}$ 生成，使模型学习从完全去除到部分去除的连续映射。
- 边界平滑： 对掩码进行模糊处理，消除硬边界伪影，确保过渡自然。
零样本泛化 (Zero-shot)： 通过引入通用提示"remove effects"和辅助去噪任务，使模型能够处理训练集中未定义的软效果（如雨滴、污渍）。

2.3 功能扩展

效果添加与增强： 通过交换输入和目标的角色，UniSER 不仅能去除效果，还能在干净图像上生成逼真的软效果或增强现有效果。

3. 主要贡献 (Key Contributions)

大规模通用数据集： 构建了包含约 380 万对图像的大规模数据集，填补了光晕、阴影等任务在真实世界数据上的空白，为模型提供了强大的泛化基础。
统一的 SER 基础模型： 提出了 UniSER，在单一框架下实现了多种软效果（光晕、雾霾、阴影、反射）的去除，性能超越专用模型，且在真实世界数据上表现优于参数量更大的通用生成模型（如 Nano Banana）。
细粒度可控编辑： 创新性地引入了像素级掩码控制和强度控制，使用户能够精确指定去除区域和去除程度，实现了专业级的图像修复。
零样本泛化能力： 模型能够处理训练集中未见的退化类型（如雨水、污渍），展示了强大的特征学习能力。

4. 实验结果 (Results)

4.1 定量评估

真实世界测试 (In-the-wild)： 在 39 张无真值（No-reference）的真实图像测试集上，UniSER 在 LIQE（图像质量评估）、对比度增益和基于 VLM (Qwen2.5-VL) 的去除率评分上，全面超越了所有专用模型和通用大模型（如 GPT-4o, Flux, Nano Banana）。
- 例如在光晕去除任务中，UniSER 的 QwenQA 去除率评分高达 92.7%，而次优的 Seedream 4.0 仅为 73.6%。
标准基准测试： 在 Flare7K, SRD, SOTS, SIR2 等八个标准基准测试中，UniSER 在 PSNR 和 SSIM 指标上达到了**最先进（SOTA）**水平，通常优于或持平于各领域的专用模型。

4.2 定性评估

身份保持： 相比通用模型容易导致背景物体变形或内容漂移，UniSER 能完美保留场景的原始身份和细节。
可控性： 展示了通过调整掩码和强度滑块，实现从局部轻微减弱到完全去除的平滑过渡。
零样本能力： 成功去除了训练集中未包含的雨滴、污渍等效果。

5. 意义与影响 (Significance)

范式转变： 证明了通过统一的基础模型和大规模数据驱动，可以解决传统上需要多个专用模型处理的复杂图像恢复问题。
实用价值： 为专业摄影后期处理、计算机视觉预处理（如自动驾驶、监控）提供了高效、可控且鲁棒的工具。
技术突破： 解决了通用大模型在细粒度图像编辑中“身份丢失”和“控制力弱”的痛点，同时克服了专用模型泛化性差的缺陷。
局限性： 目前模型训练和推理需要较高的计算资源（8 块 A100 GPU 训练 10k 步），未来可探索轻量化部署。

总结： UniSER 通过构建大规模物理真实数据集和创新的扩散 Transformer 架构，成功实现了软效果去除任务的统一化、可控化和高保真化，是图像恢复领域迈向通用基础模型的重要一步。