💻 计算机科学

Response-decomposed residual filtering for joint low-light enhancement and deblurring

本文提出了一种集成到 LEDNet 动态核接口中的响应分解残差滤波模块，旨在联合增强低光照图像并去除模糊，在测试集上实现了结构相似度和感知质量的显著提升，同时仅带来了参数量和延迟的适度增加，且并未提升 PSNR。

原作者： Minhui Kang, Peizhe Long, Depei Cheng, Yiyao Zhang, Jiayun Zheng, Yuxin Zhu

发布于 2026-11-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Minhui Kang, Peizhe Long, Depei Cheng, Yiyao Zhang, Jiayun Zheng, Yuxin Zhu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图在雾气弥漫的夜晚阅读一个路标。黑暗使得字母难以辨认，而雾气也模糊了它们的边缘，将锐利的线条晕染成一片柔和且模糊的阴影。对于计算机而言，修复这样的图像是一个双重挑战：它们必须既要调亮场景以揭示内容，又要同时锐化边缘以恢复细节。这就是低光照修复问题，一项需要平衡两个相互竞争的需求的任务。如果计算机仅仅提高亮度，往往会放大模糊感，使图像看起来苍白且浑浊；如果它过度尝试锐化图像，则可能会引入生硬的伪影或噪声。目标是同时恢复可见度和空间细节，这一过程需要的是一种细腻的局部调整，而非单一的、一刀切式的处理。

在数字成像领域，研究人员已经开发了各种工具来应对这一问题，但一种名为 LEDNet 的特定方法通过使用一种灵活且自适应的方法处理图像，展现出了良好的前景。LEDNet 并非对整张图片应用相同的过滤器，而是为图像中的每一个微小图块预测独特的、细小的过滤器，使其能够对阴影、光线和纹理做出不同的反应。然而，这项新研究背后的研究人员提出了一个特定的问题：他们能否在现有的系统中添加一层修正层，使其变得更好，同时又不破坏原系统已经学到的精细工作？他们想知道，是否可以教计算机对其自身的过滤器进行更精确的两部分调整，在保持原有引擎平稳运行的同时提升最终图像的效果。

由来自江西师范学院和山东农业大学的研究人员领导的团队，提出了一种被称为“响应分解残差滤波”（response-decomposed residual filtering）的方法。要理解这意味着什么，可以将计算机的过滤器想象成一个修改图像的工具。研究人员意识到，这个工具具有两种主要行为：它可以改变一个小区域的整体亮度，也可以改变该区域内细节的对比度或形状。在他们的新设计中，他们将这两种行为分离开来。他们添加了一个特定的路径，允许计算机明确决定如何移动亮度，以及另一个独立的路径，决定如何重塑细节。至关重要的是，细节塑造部分被限制在仅有的四个学习模式内，且这些模式之和为零，这意味着它们在改变形状的同时，不会意外地使整个图块变亮或变暗。这种分离确保了计算机不会将对更多光线需求与对更锐利边缘的需求相混淆。

为了使这项工作奏效，系统使用两种不同类型的信息来引导这些决策。对于亮度偏移，它仅观察计算机已经从暗图中提取出的内部特征。对于形状调整，它利用这些相同的特征，同时也引入了图像原始的、退化的红、绿、蓝颜色信息。这使得系统能够利用原始色彩信息来微调细节，同时让亮度调整基于对场景更深层的理解。研究人员构建这个新路径时，使其初始状态为零效应，因此在训练开始时，它的表现与原有的、经过验证的版本完全一致。随着训练的推进，新路径学会了如何进行细微且有益的修正。

实验结果通过一组来自 30 个不同视频的 1,800 张测试图像进行了衡量。当新系统（作者称之为 LEDNet-P3）与原始 LEDNet 进行对比时，它在图像与原始清晰目标在结构和人类感知方面的相似度上表现出明显的提升。具体而言，结构相似度得分有所增加，感知差异得分有所降低，这表明图像看起来更加自然，并保留了更多原始场景的布局。这些改进在绝大多数测试视频中都是一致的。然而，研究人员谨慎地指出，这并未转化为标准峰值信噪比（PSNR）的显著改善，PSNR 是一个关注像素级准确性的常见图像质量指标。事实上，在该特定得分上的差异微乎其微，几乎可以忽略不计，这表明虽然图像在视觉上看起来更好，但原始像素数据在准确性上并没有显著提升。

这种改进也是有代价的。新系统需要更多的计算机内存，并且处理每张图像的时间比原版长了约 17.7%。研究人员还将他们的工作与另一种被称为 DarkIR-m 的公开系统进行了比较，后者使用不同的训练方法和架构。该系统在所有主要指标上仍然优于他们的模型，这表明虽然他们的特定改进有助于提升 LEDNet 系统，但并未使其成为目前最完美的解决方案。研究还测试了将亮度偏移和形状任务进行拆分的特定方式是否必要。他们发现，如果移除亮度偏移部分或改变系统使用颜色信息的方式，会导致结果变差，从而证实了他们的特定设计选择确实是有益的。

最终，这项工作展示了一种通过添加专门的、分解式修正层来升级现有图像修复系统的成功途径。研究人员证明，通过将改变亮度的决策与改变形状的决策分离，并利用原始图像颜色来引导形状调整，他们可以使图像在结构上表现得更为优越。虽然该系统并不是一个能解决所有问题的万能方案，也无法超越所有其他方法，但它在其自身的框架内提供了清晰且可衡量的收益。它证明了即使是在一个高度优化的系统中，仍然存在通过更具思考性的、分解式的方法来改进计算机观察和修正世界的方式的空间。

技术摘要：用于联合低光增强与去模糊的响应分解残差滤波

问题陈述
联合低光增强与去模糊面临着双重挑战：既要增加图像强度以揭示场景内容，又要同时重建位移的边缘并恢复空间细节。标准的增强方法往往无法解决运动模糊问题，而单纯的去模糊又无法恢复黑暗区域的可见度。现有的系统（如 LEDNet）利用原生动态滤波接口来处理这一联合任务。然而，本研究所针对的具体挑战是：如何引入一种补充修正机制，在不破坏原始生成器已学习的聚合能力，也不需要对架构进行彻底重构的前提下，提升修复质量。

方法论
作者提出了 LEDNet-P3，该模型将结构化残差修正直接集成到 LEDNet 的原生动态核接口中。其核心创新在于响应分解残差滤波，它将增加的修正量组织为特定的功能组件，同时保留原始生成器。

架构与集成：
- 该模型保留了 LEDNet 原有的增强编码器、金字塔池化模块 (PPM)、曲线非线性单元 (CurveNLU) 以及去模糊解码器。
- 修正操作在三个原生滤波尺度（1/8、1/4 和 1/2 分辨率）上进行。
- 模型并非替换原始核预测器 ( $k^0$ )，而是增加了一个残差增量 ( $\Delta k$ )，使得最终核为 $k = k^0 + \Delta k$ 。
响应分解：
残差增量 $\Delta k$ 被分解为两个截然不同的组件：
- 符号核和坐标 (Signed Kernel-Sum Coordinate)： 一个特征条件分支预测每个通道的标量增量 ( $d$ )。这代表一个常数邻域响应。计算方式为 $\Delta k_{sum} = \frac{d}{25}\mathbf{1}$ ，其中 $\mathbf{1}$ 是全 1 向量。该组件完全由编码器特征导出。
- 受限零和形状扩张 (Restricted Zero-Sum Shape Expansion)： 第二个分支预测每个通道的四个学习到的共享二维基向量 ( $b_r$ ) 的系数。这些基向量是“中心化”的（零和），以确保它们仅对局部变化做出响应，而非常数邻域。系数通过结合编码器特征和退化的 RGB 图像（投影至特征分辨率）来预测。形状项计算为 $v = \sum a_r \tilde{b}_r$ ，其中 $\tilde{b}_r$ 为零和基向量。
核合成：
最终的核增量是常数响应与形状响应之和： $\Delta k = \frac{d}{25}\mathbf{1} + v$ 。这种设计确保了对于常数邻域，形状组件会消失，仅留下和坐标；而局部变化则由形状组件处理。
训练策略：
- 保函数初始化 (Function-Preserving Initialization)： 和分支权重 ( $D_s$ ) 与系数分支权重 ( $H_s$ ) 初始化为零，且基向量初始化为微小的随机噪声。这确保了在训练开始时 $\Delta k = 0$ ，从而保留了未修改骨干网络的功能。
- 联合训练： 骨干网络、头部、投影和基向量均使用原始 LEDNet 损失函数（L1 + VGG 感知损失 + 侧输出损失）从头开始进行联合训练。并未引入新的损失目标。

核心贡献

原生接口修正： 本文提出了一种增强动态滤波网络的方法，即通过在核预测阶段直接添加残差路径，而非将其作为后处理 CNN 或额外的输出跳跃连接。
显式响应分解： 作者明确地将核修正分解为“和”坐标（处理常数邻域响应）和“形状”组件（通过零和基处理局部变化）。
条件路由： 设计采用了特定的条件策略，其中形状系数利用编码器特征和退化的 RGB 图像，而和坐标则仅依赖于编码器特征。
配对评估协议： 研究采用了严格的配对评估协议，在相同的训练数据划分上，对模型进行固定次数（60,000 次更新）的从头训练，以确保 baseline LEDNet 与提议的 LEDNet-P3 之间的公平比较。

实验结果
模型在 LOL-Blur 数据集上进行了评估，使用了来自 30 个视频的 1,800 个官方测试对。

相对于配对 LEDNet 的性能：
- SSIM： 提升了 +0.004656（在 26/30 个视频中有所改善）。
- LPIPS： 降低了 0.011445（在 30/30 个视频中均有改善），表明感知相似度更高。
- PSNR： 平均差异为 -0.045441 dB，这意味着 PSNR 的提升并未确立。表现呈现混合情况（16 个视频表现更好，14 个视频表现较差）。
与公开系统的比较：
- 与公开系统 DarkIR-m 相比，LEDNet-P3 在所有指标上表现均较差（PSNR: -2.92 dB, SSapp SSIM: -0.095, LPIPS: +0.106）。作者指出，DarkIR-m 使用了不同的训练协议，这限制了对架构本身的直接归因。
消融实验：
- 移除核和分支（仅保留形状）会导致 PSNR、SSIM 和 LPIPS 降低，证明了和分支的必要性。
- 使用中心抽头载体（center-tap carrier）替换均匀载体会导致各项指标性能下降。
- 使用 RGB 条件化形状系数比使用特征汇总控制能获得更好的 SSIM/LPIPS。
计算成本：
- LEDNet-P3 增加了 226,880 个参数（总计约 7.64M，而 LEDNet 为 7.41M）。
- 前向延迟增加了约 17.7%（在 RTX 5060 上每张图像分别为 352.98 ms 和 299.88 ms）。

意义与主张
本文对自身方法的定位较为审慎，称其建立了 在 LEDNet 框架内的有界收益 (bounded, within-LEDNet benefit)。具体而言：

它证明了响应分解残差滤波在固定的训练协议下，相较于原始 LEDNet 基准模型，能够提升结构相似性 (SSIM) 和学习到的感知图像块相似度 (LPIPS)。
它验证了关于分离“和”响应与“形状”响应以及使用 RGB 条件化形状系数的设计选择。
作者明确指出，该方法并未建立通用的 PSNR 提升，也未能超越在不同训练条件下表现更强的公开系统 DarkIR-m。
这项工作被呈现为对动态滤波接口内补充修正设计的特定贡献，而非旨在取代现有最先进系统的通用低光修复方案。

技术摘要：用于联合低光增强与去模糊的响应分解残差滤波

类似论文