💻 computer science

Learning Structural Illumination for Unsupervised Low-light Enhancement

本文提出了 RISE，一种无监督低照度增强框架，该框架通过从可靠的高亮区域推断相对照度结构，将其与绝对曝光解耦，并采用双计量参考进行场景自适应曝光调整，从而实现了具有自然视觉效果的最先进性能。

原作者： Tianle Du, Peiyuan He, Hainuo Wang, Tianxiu Yu, Xiaojie Guo

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianle Du, Peiyuan He, Hainuo Wang, Tianxiu Yu, Xiaojie Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名数字照片侦探，你的任务不是侦破犯罪，而是试图修复那些在黑暗中拍摄的照片。这个领域被称为低照度图像增强（Low-Light Image Enhancement, LLIE）。把一张在夜间拍摄的照片想象成一声低语；相机试图去倾听，但它听到的主要是噪声（static）而非实际的故事。多年来，科学家们一直试图教会计算机如何“调高音量”，让这些低语重新变得清晰。

棘手之处在于，并非所有的暗部照片都是一样的。有些只是稍微昏暗，而有些则是漆黑一片，仅有一丝微弱的光亮。旧的方法试图用同样的“主音量旋钮”来修复每一张照片，将所有东西都调到完全相同的亮度。但这就像试图用同一个音量设置来修复一声低语和一声呐喊——要么会让低语显得太小声，要么会让呐喊变得失真。此外，当照片非常暗时，相机的传感器会被噪声干扰，导致很难分辨什么是真实的阴影，什么是数字噪点。研究人员面临的一个大问题是：如何教会计算机在不需要完美的“前后对比”照片进行学习的情况下，理解场景中的光影形状？

于是，RISE 出现了，这是由天津大学和敦煌研究院的杜天乐及其团队提出的一种新方法。RISE 并不试图一次性猜测整张图片的亮度，而是像一位聪明的探险家，只信任黑暗房间里最明亮、最清晰的几个点，以此来推断其余的部分。

论文指出，以往的方法犯了一个关键错误：它们试图同时估算整个照明模式和整体亮度水平，这往往会导致被图像中嘈ole的暗部干扰。RISE 通过将这两个任务分离，扭转了局面。首先，它识别出一些“关键照明线索”（Key Illumination Cues, KICs）——这些是暗部图像中微小且可靠的亮点，比如烛火或路灯的反射。计算机将这些点视为值得信赖的锚点。然后，它会询问：“光线是如何从这些亮点向外扩散的？”通过研究这些亮点与暗部区域之间的关系，RISE 构建了一张相对照明结构图。这就像是通过观察山峰来了解山的形状，而不是试图一次性测量整座大山。

一旦理解了光的形状，RISE 就会单独处理绝对曝光（即最终照片应该有多亮）。为此，它使用了一个巧妙的工具——双测光曝光参考（Dual-Metering Exposure Reference, DMER）。想象一位摄影师正在使用两个不同的测光表：一个检查整个房间的整体亮度，另一个检查特定的照明模式。RISE 结合了这两项读数，以决定究竟要提升多少亮度，从而确保它能适应特定的场景，而不是遵循死板的“一刀切”规则。

结果令人印象深刻。研究人员在七个基准测试和五个真实世界数据集上对 RISE 进行了测试。他们发现，RISE 在无监督方法中达到了最先进的性能（state-of-the-art performance），这意味着它超越了所有不使用配对训练数据的技术。具体而言，它在 LOLv2-Real 数据集上达到了 21.33 的 PSNR，在 UHD-LL 数据集上达到了 22.22，同时使用的是一个非常轻量级的模型，仅有 0.35 M（百万）参数和 1.43 GFLOPs 的计算能力。这意味着它不仅是最聪明的，也是最高效的之一。

至关重要的是，论文表明 RISE 不仅仅是在记忆训练数据；它在面对未见过的场景时具有良好的泛化能力，包括在真实低照度条件下使用 iPhone 16 Pro 拍摄的照片。作者证明，通过将光的结构与整体亮度解耦，该方法避免了过度曝光高光或让暗部留下过多噪声的常见陷阱。然而，作者也谨慎地指出，这种方法并非魔法；如果图像的一部分过于黑暗，以至于相机传感器捕捉到的全是噪声（低于传感器噪声底限），那么 RISE 无法凭空创造不存在的细节。在这些极端情况下，单纯依靠曝光校正无法恢复缺失的内容。

简而言之，RISE 表明，修复一张暗部照片的最佳方式不是去猜测整张图片，而是找到那几个可靠的明亮线索，理解光是如何从它们出发传播的，然后为特定场景精准地调节音量。这是一种从粗暴的亮度提升向更智能、更具结构性理解光的转变。

技术摘要：学习结构化照明用于无监督低照度增强 (RISE)

1. 问题陈述

低照度图像增强 (LLIE) 旨在从欠曝光的观测中恢复出曝光良好的图像。虽然存在监督学习方法，但它们依赖于成本高昂且具有偏差的成对数据，这促使研究转向无监督学习。然而，目前的无监督 LLIE 方法面临三个主要局限性：

固定曝光目标： 许多方法依赖于统计先验或固定的曝光值作为替代监督。这创建了一种“场景无关”的标准，迫使多样化的场景趋向于统一的亮度水平，无法适应变化的照明条件。
照明估计偏差： 在严重欠曝的情况下，像素观测值受传感器噪声（低信噪比，SNR）主导。现有方法通常将整个低照度图像视为同样可靠，导致增强过程不稳定，即暗部区域可能保持黑暗，而高光区域却过度曝光。
纠缠的表示： 当前的方法通常预测单一的增强表示（例如，照明图或曲线），这使得空间变化的相对照明结构（亮度关系）与绝对曝光水平（全局亮度）相互纠缠。这阻碍了独立的控制能力和可解释性。

2. 方法论：RISE 框架

作者提出了 RISE（相对照明结构估计），该框架将相对照明结构与绝对曝光解耦，并从可靠的明亮区域推断照明。

2.1 相对照明结构估计

受物理光传播的启发，RISE 不将照明建模为单一量，而是建模为由关键照明线索 (KICs) 推导出的结构化场。

KIC 选择： 该方法从输入图像中选择 $N$ 个空间分散的明亮斑块。这些区域具有较高的信噪比 (SNR)，可作为估计的可靠锚点。
相对照明图： 将输入转换为亮度通道 $Y$ ，并通过对数比例归一化计算相对照明图 $Z$ 以移除全局亮度： $Z = \log(P / \text{mean}(P))$ 。
关系场建模： RISE 根据任何斑块 $p$ $p$ 与 KICs $\{k_n\}$ ${k_{n}}$ 之间的关系来估计相对亮度。该模型结合了：
- 差异 ( $\delta$ )： 观测到的斑块与 KIC 之间的亮度差异。
- 空间衰减 ( $\rho$ )： 基于图像平面距离的软衰减先验，在无需 3D 场景重建的情况下模拟光衰减。
- 场景上下文： 对照明图的全局统计进行编码，以处理场景级变化。
解耦： 最终的增强增益 $\hat{G}$ 被公式化为相对结构项 $S(p)$ 与绝对曝光项 $\eta$ 之和：
$\hat{G}(p) = \underbrace{b + \beta^\top c_{scene} + R(p)}_{\text{相对结构 } S(p)} + \underbrace{\eta}_{\text{绝对曝光}}$
这使得结构参数 ( $\Theta$ ) 在同一场景的不同曝光下保持稳定，而 $\eta$ 则吸收全局强度变化。

2.2 双度量曝光参考 (DMER)

为了用场景自适应的监督取代固定曝光目标，RISE 引入了 DMER，它利用两个互补的度量计从每张输入图像生成曝光参考：

绝对度量计： 使用保守的灰度世界假设来估计全局曝光趋势，提供稳定的基准。
相对度量计： 通过扩散可靠的亮度线索（高置信度区域）来建模空间照明变化，从而构建一个“光场图”。这捕捉了各区域间的相对照明强度。
最终的参考值 $T$ 是这两个度量计的融合，提供输入依赖的监督，鼓励模型学习在不同照明分布下具有泛化能力的曝光映射。

2.3 学习目标

该框架使用由 DMER 指导的无监督目标进行训练：

曝光控制损失： 使输出亮度、增益以及 KIC 亮度与 DMER 参考值对齐。
尺度等变正则项： 确保结构参数在输入缩放时保持稳定，强制绝对曝光项吸收强度变化。
幂等正则项： 防止对已增强的输出进行进一步增强。
边缘感知平滑： 抑制缺乏亮度边缘支持的增益变化。

3. 核心贡献

新的问题表述： 本文将无监督 LLIE 重新定义为一个结构化的、关系性的问题，明确地将相对照明结构与绝对曝光解耦。
RISE 框架： 一种新型架构，通过从稀疏、可靠的明亮区域（KICs）推断照明结构，减少了由低信噪比区域引起的稳定性问题。
DMER： 一种输入依赖的曝光参考机制，取代了固定目标，实现了场景自适应增强，并提高了在不同数据集上的泛化能力。

4. 实验结果

在七个成对基准数据集（LOLv1, LOLv2-Real/Synthetic, LSRW, UHD-LL, SICE）和五个无对齐真实世界数据集（DICM, LIME, MEF, NPE, VV）上进行了广泛的实验。

定量性能： RISE 在所有基准测试中均达到了无监督方法的先进水平 (SOTA)。值得注意的是，在 LOLv2-Real (21.33 dB) 和 LOLv2-Synthetic (18.72 dB) 上取得了最高的 PSNR，同时与其它方法相比，其参数量 (0.35M) 和计算资源 (1.43 GFLOPs) 显著更少。
泛化能力： 在无需重新训练的情况下，将 RISE 应用于未见的真实场景（如 iPhone 16 Pro 照片），它展示了卓越的泛化能力，能够产生自然的曝光校正，并保持良好的色彩保真度和动态范围。在所有无对齐数据集的无参考指标（IQA, IAA）上，它均优于竞争对手。
消融实验： 实验证实了：
- 选择最亮的 KICs 至关重要；使用随机或最暗的 KICs 会降低性能。
- DMER 中的绝对度量计和相对度量计都是必要的；仅使用其中之一会降低性能。
- 结构与曝光的解耦是必不可少的；移除这种分离会导致增强过程不稳定。

5. 重要性与声明

本文声称 RISE 为无监督 LLIE 的研究方法带来了根本性的转变。通过将照明视为源自可靠线索而非全局平均值的结构化量，并通过将结构与曝光解耦，该方法实现了在无监督设置下此前无法实现的鲁棒性和适应性。

作者强调，RISE 能够产生视觉上自然的图像结果，并在无需配对真值或针对特定数据集重新训练的情况下，有效地泛化到多种照明条件下。然而，论文也谦虚地承认了一个局限性：当信号低于传感器噪声底限时，仅通过曝光校正无法恢复缺失的内容，这表明未来的工作可能需要结合生成式修复技术。