💻 computer science

WREN: Low Light Image Enhancement Using Retinex theory-based Double U-Net-like Structures

本文介绍了 WREN，这是一个基于 Retinex 理论的鲁棒低照度图像增强网络，它利用双重类 U-Net 架构将图像稳定地分解为反射率图和照度图，随后通过 Transformer 增强的照度细化和尺度不变性训练，在多种动态范围内实现了最先进的性能。

原作者： Reina Kaneko, Junya Hara, Hiroshi Higashi, Yuichi Tanaka

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reina Kaneko, Junya Hara, Hiroshi Higashi, Yuichi Tanaka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一家阴森、漆黑的派对上给朋友拍张照。你按下快门，结果却是一片模糊、浑浊的景象，脸部细节消失在阴影中，色彩看起来也非常诡异。这就是“低光照图像增强”（Low Light Image Enhancement, LLIE）的日常困境——这是计算机视觉领域一个致力于拯救黑暗照片的分支。要理解计算机是如何尝试修复这一问题的，我们需要了解一个被称为Retinex 理论的概念。不要把一张照片看作一个单一的实体，而要把它看作是由两个截然不同的图层组成的“三明治”：反射率（物体真实的、永久的颜色和纹理，比如墙上的油漆）和光照（照射在物体上的临时光线，比如手电筒的光束）。在黑暗的房间里，“光照”层很微弱且充满噪声，而“颜色”层保持不变。LLIE 的目标是在不抹除或扭曲底层真实色彩的前提下，提升那个微弱的光照层。如果你处理得不好，照片看起来要么太暗，要么颗粒感太重，或者显得异常苍白，这对于夜间监控摄像头或搜救任务等场景来说是一个大问题。

于是，由研究人员 Reina Kaneko、Junya Hara、Hiroshi Higashi 和 Yuichi Tanaka 设计的新型神经网络 WREN 应运而生，旨在解决修复黑暗照片这一棘手问题。团队注意到，以往的方法通常试图一次性修复整张图片，这导致了“过度平滑”——一种高级说法，意指由于计算机在试图清理噪声时意外模糊了真实的色彩，导致照片看起来像塑料娃娃一样。WREN 采取了一种更严谨的方法，严格遵循 Retinex “三明治”的规则。它使用了一个“双 U-Net”结构，这听起来像是一个复杂的建筑方案，但实际上更像是一个两步走的流水线。

首先，该网络扮演着一位细心的厨师，将黑暗的照片分离成两个图层：反射率图（真实的颜色）和光照图（微弱的光线）。这里是巧妙之处：WREN 决定完全不去触碰反射率图。它相信真实的颜色已经存在，不应被改动。然后，它将微弱的光照图交给第二个专门的工人。这个第二个工人是一个超级智能的工具，它使用“Transformer 模块”（一种能够同时观察整幅图像以理解上下文的 AI 类型）和一些特殊的滤波器来清理噪声并提亮光线。因为它只处理光照层，所以不会意外模糊真实的颜色。最后，它将提亮后的光照重新叠加回原始颜色上，从而创造出一张清晰、自然的照片。

研究人员在包括 LOLv1、SICE、LIEQ、NTIRE 2024 和 MIT-Adobe FiveK 在内的五个数据集上对 WREN 进行了测试，并将其与 ReDDiT、Retinexformer 和 LIME 等六种流行方法进行了对比。结果令人印象深刻：WREN 在各项指标上都取得了最佳成绩，其 PSNR（衡量图像质量的指标）比排名第二的 ReDDiT 高出 1 dB 以上，LPIPS（衡量图像自然度的指标）也高出 0.1 以上。其他方法往往会让天空看起来过亮，或者将阴影部分变成嘈杂的混乱堆，而 WREN 则能在提亮黑暗区域的同时，让正常光照区域看起来依然自然。作者认为，这种成功源于他们严格遵守了“真实颜色层绝不应被触碰”这一理念，证明了有时解决问题的最佳方式，就是明确知道哪些东西不应该去碰。

技术摘要：WREN —— 基于 Retinex 理论的双 U-Net 类结构的低照度图像增强

1. 问题陈述

低照度图像增强（LLIE）对于夜视、搜救和监控等应用至关重要，因为在这些应用中，交通事故、灾难和犯罪往往发生在黑暗环境中。现有的 LLIE 方法通常面临三个主要挑战：

非平凡的 Retinex 分解： 将图像分解为反射率（固有颜色）和照度（光照条件）的过程是非唯一的且具有病态性（ill-posed）。
端到端学习的不稳定性： 对照度补偿和细化阶段进行联合训练往往会导致收敛不稳定。
对动态范围的敏感性： 许多最先进的方法无法在变化的照明条件下实现泛化，当测试场景的动态范围与训练数据不同时，往往会导致过度增强或增强不足。

在当前两阶段方法（分解后接细化）中识别出的一个特定局限性是过度平滑（over-smoothing）。由于细化阶段是在合成的正常光照图像（反射率与照度的乘积）上运行的，它隐含地假设噪声存在于反射率图中。然而，根据 Retinex 理论，反射率图应该是无噪声的。因此，对组合图像进行平滑处理会无意中平滑反射率图，从而降低纹理和细节。

2. 方法论：WREN 架构

作者提出了 WREN，一种旨在严格遵循 Retinex 理论原则以克服过度平滑和动态范围敏感性的神经网络。WREN 采用了一种双 U-Net 类结构，由两个子网络组成：

3.1. Retinex 分解网络 ( $U_1$ )

该网络利用共享编码器和两个独立的解码器，将输入低照度图像 ( $I_{low}$ ) 分解为：

反射率图 ( $R$ )： 代表固有的表面颜色。
照度图 ( $L_{low}$ )： 代表入射光强度。

关键设计选择： 与其他改进反射率图的方法不同，WREN 保持分解后的反射率图 $R$ 保持不变。这严格遵循了 Retinex 的假设，即反射率与光照无关且应该是无噪声的。

3.2. 照度补偿网络 ( $U_2$ )

该网络专门负责增强从 $U_1$ 获取的照度图 ( $L_{low}$ )。它采用了定制的 U-Net 架构，包含以下特定组件：

Transformer 模块： 插入在编码器和解码器之间，以捕获非局部特征并促进非局部照度的平滑性，有助于去噪。
注意力模块（Attention Blocks）： 用于聚焦相关特征。
可训练引导滤波器（Trainable Guided Filters）： 用于在解码器中实现强力去噪，同时保留边缘和纹理。
残差块（Residual Blocks）： 用于保持特征完整性。

最终的增强图像通过将保持不变的反射率图 ( $R$ ) 与增强后的照度图 ( $L_{normal}$ ) 进行逐元素相乘来重建： $I_{recon} = R \odot L_{normal}$ 。

3.3. 损失函数

WREN 使用旨在提高鲁棒性的复合损失函数进行端到端训练：

分解损失 ( $L_{decomp}$ )： 包括重建保真项和一个尺度不变（Scale-Invariant, SI）损失。SI 损失至关重要，因为它在数学上对照度图的全局缩放具有不变性，从而提供了针对动态范围变化的鲁棒性。
增强损失 ( $L_{enh}$ )： 是多尺度结构相似性（MS-SSIM）、感知损失（VGG-16 特征）、CIE $L^*a^*b^*$ 色差以及防止数值超过 1.0 的铰链惩罚（hinge penalty）的结合。

3. 核心贡献

双 U-Net 结构： 一种新颖的架构，将分解和照度增强分离，严格遵循反射率无噪声且具有不变性的 Retinex 假设。
尺度不变训练： 引入了尺度不变损失函数，确保模型在不同的动态范围和照明条件下保持鲁棒，解决了现有 LLIE 方法的一个常见失效点。
针对性照度去噪： 通过使用 Transformer 模块和引导滤波器隔离照度图进行增强，该方法避免了因细化组合图像而导致的过度平滑伪影。

4. 实验结果

作者在五个数据集上评估了 WREN：LOLv1, SICE, LIEQ, NTIRE 2024, 和 MIT-Adobe FiveK。模型在 LOLv1 上进行训练，并在所有数据集上进行测试以展示泛化能力。

定量性能： WREN 在所有指标（PSNR, SSIM, LPIPS, 和 MAE）上均取得了最先进（SOTA）的结果，对比了六种基准方法（ReDDiT, Retinexformer, RetinexNet, SNR-Net, KinD++, Zero-DCE, 和 LIME）。值得注意的是，它在 PSNR 上比最近的 ReDDiT 方法高出 >1 dB，在 LPIPS 上高出 >0.1。
定性性能：
- 黑暗区域： 在纯黑暗区域，WREN 的表现与顶尖方法相当。
- 混合光照： 在具有混合光照（例如天空和暗地面）的场景中，WREN 成功增强了低照度区域，而没有导致正常光照区域过曝。相比之下，Retinexformer 等方法会导致天空出现色彩偏移，而其他方法（如 ReDDiT, RetinexNet 等）则会导致图像过曝。
- 噪声处理： 与会放大传感器噪声的方法（如 RetinexNet, LIME）不同，WREN 能有效抑制黑暗区域的噪声，且不会引入令人困扰的色彩变化。

5. 重要性与主张

论文声称，WREN 的重要性在于其能够通过严格遵循 Retinex 理论的假设，在具有不同动态范围的多个数据集上实现稳健的最先进性能。通过将照度细化与反射率保护解耦，该方法消除了限制下游计算机视觉任务的过度平滑伪影。作者强调，与现有的基于深度学习的 LLIE 方法相比，他们的方法提供了一个稳定的端到端解决方案，对训练数据的特定动态范围不那么敏感。