💻 computer science

Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

本文提出 DWTA-Net，这是一种新颖的用于低光照视频增强的循环深度学习框架，它结合了基于 Mamba 的多帧对齐与由光流引导的基于动态权重的时间聚合，以在保持时间一致性和精细细节的同时有效抑制极端噪声。

原作者： Ruirui Lin, Guoxi Huang, Nantheera Anantrasirichai

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruirui Lin, Guoxi Huang, Nantheera Anantrasirichai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图在暴雨之夜观看一段录制的视频。画面昏暗、布满“雪花”（噪点），色彩显得苍白褪色。如果你尝试提亮单帧，噪点会变得更糟；如果你尝试一次性修复整段视频，由于相机移动，画面可能会出现闪烁或模糊。

本文介绍了一种名为DWTA-Net的新工具，用于修复这些混乱、昏暗的视频。它就像一个两步走的“视频医生”，运用巧妙的技巧在去除噪点的同时，避免让画面变得模糊。

以下是其工作原理的通俗解释：

问题所在：“短记忆”缺陷

大多数现有的视频去噪工具就像拥有短期记忆的人。它们只查看几帧（也许是 5 帧或 10 帧），然后尝试修复它们。

类比：想象一下，你只盯着脏窗户看了一瞬间，试图把它擦干净。你可能会错过隐藏在污渍后面的灰尘。
结果：这些方法往往会留下噪点，或者导致视频闪烁，因为它们无法从更长的时间维度上看到场景的“全貌”。

解决方案：两阶段流程

DWTA-Net 通过两个截然不同的阶段来解决这个问题，就像一支施工队，先搭建框架，再进行精细抛光。

第一阶段：“合影”（结构与色彩）

首先，系统查看一段短序列的帧（就像一张合影），并将它们完美对齐。

它做什么：它利用一个特殊的 AI 大脑（称为Mamba）一次性理解整个场景。它修复亮度，校正色彩，并确保形状（如栅栏或树木）看起来坚实。
类比：这就像收集一组模糊的照片，将它们堆叠在一起，以获得主体的清晰轮廓。它首先修复“大画面”。

第二阶段：“智能混合器”（去噪与一致性）

这是本文的重大创新。它不是简单地平均帧（这会使一切变得模糊），而是使用一种循环方法。这意味着它会记住过去看到的内容，并将其与当前帧混合，但仅在有意义的地方进行混合。

类比：想象你正试图在嘈杂的房间里听清朋友的声音。
- 如果你的朋友静止不动（静态区域），你可以长时间倾听他们，以过滤掉背景噪音。DWTA-Net 通过“混合”许多过去的帧来平滑噪点，正是这样做的。
- 如果你的朋友开始奔跑（动态区域），你就不能将他们的过去位置与当前位置混合，否则他们会看起来像幽灵。DWTA-Net 会检测到这种运动并停止混合，从而保持移动物体的清晰。
它如何决定：它使用“光流”（一种追踪像素移动的方法）来创建动态权重图。这就像一个智能调光开关，它会说：“这里混合程度要高，因为它是静止的”，而“这里不要混合，因为它在移动”。

秘密武器：“纹理感知”损失函数

为了教会 AI 做到这一点，研究人员创建了一种特殊的评分系统（即“损失函数”），称为纹理自适应损失。

类比：想象一位画家。
- 当绘制粗糙、有纹理的墙壁（如草地或砖块）时，画家希望保留每一个微小的细节和裂缝，使其清晰可见。
- 当绘制平滑的墙壁（如清澈的蓝天）时，画家希望它完美平滑，没有任何斑点。
结果：AI 学会了在平滑区域“强硬”地去除噪点，而在纹理区域则“温和”地保留细节。它不会以同样的方式处理整幅图像。

他们发现了什么？

该团队在真实世界的视频中测试了 DWTA-Net，这些视频是在非常昏暗、充满噪点的条件下拍摄的（例如日落后拍摄的赛马）。

结果：与其他顶尖方法相比，DWTA-Net 去除了更多噪点，保持了色彩的自然，且没有使移动物体变得模糊或产生幽灵般的重影。
证据：当他们查看视频中的静态部分（如天空）时，DWTA-Net 生成的图像比即使是最好的单图像去噪器更清晰，这证明了查看视频的“长期历史”确实大有裨益。

简而言之：DWTA-Net 是一款视频增强工具，它像一个智能编辑。它首先修复色彩，然后利用“记忆”来平滑视频安静部分的噪点，同时保持移动部分的清晰，这一切都遵循着一条准则：“在细节重要的地方保留细节。”

技术摘要：极端噪声下基于动态权重的时序聚合用于低光视频增强

问题陈述
低光视频增强（LLVE）因严重噪声、低对比度和色彩退化而面临重大挑战，尤其在户外“野外”场景中。尽管基于学习的方法提供了快速推理，但由于未能充分利用长期时序线索，它们在应对重度现实世界噪声时往往表现不佳。现有方法通常依赖滑动窗口处理或仅考虑短邻域帧的 3D 卷积。这些方法计算量大、内存占用高，且无法充分利用对极端条件下去噪至关重要的长期时序冗余。此外，在合成或轻度噪声上训练的模型往往难以泛化到复杂、空间变化的现实世界噪声，导致闪烁和重影等时序不一致问题。

方法论：DWTA-Net
作者提出了 DWTA-Net，这是一种新颖的基于深度学习的循环框架，采用两阶段架构设计，旨在处理重度现实世界噪声的同时保持时序一致性。

阶段 I：多帧增强（局部恢复）
- 目标： 恢复局部结构、色彩和亮度，同时确保短期时序一致性。
- 机制： 首先使用 PCD（逐像素卷积形变）模块将相邻帧的短序列对齐到参考帧，以生成运动补偿特征。
- 骨干网络： 这些对齐后的特征由基于 Mamba 的类 U-Net 骨干网络处理。传统的卷积块被视觉状态空间（VSS）块取代。与具有有限感受野的标准卷积不同，VSS 块利用选择性扫描机制捕捉长程全局依赖关系，这对于在严重退化场景中恢复结构连贯性至关重要。
阶段 II：动态循环细化（长期聚合）
- 目标： 通过累积长期时序证据来抑制噪声并稳定长序列中的细节。
- 机制： DWTA-Net 摒弃了隐藏状态循环，直接在空间（像素）空间进行聚合，因为低光噪声在此表现为高频伪影。
- 动态加权： 该阶段采用由光流（使用 GMFlow）引导的循环公式。在每个时间步 $t$ ，将上一步的细化输出（ $O'_{t-1}$ ）进行扭曲以与当前阶段 I 的输出（ $O_t$ ）对齐。
- 自适应混合： 基于运动残差 $R = |O_t - O^W_{t-1}|$ $R = ∣ O_{t} - O_{t - 1}^{W} ∣$ 计算动态权重图 $\omega$ $ω$ 。
  - 在静态区域（低残差），权重强调从扭曲后的前一帧进行累积以抑制噪声。
  - 在动态区域（高残差），权重倾向于当前帧以保持运动清晰度。
- 该策略在噪声抑制与运动清晰度之间取得平衡，克服了固定窗口平均的局限性。
纹理自适应损失
- 为了解决低光噪声的空间变化性，作者引入了一种损失函数，在精细细节保留与空间平滑之间取得平衡。
- 纹理感知图（ $M_T$ ）是通过对输出的高频分量进行二维离散小波变换（2D-DWT）导出的。
- 总损失结合了逐像素 $\ell_2$ $ℓ_{2}$ 重建损失与加权总和：
  - 感知损失（ $L_{VGG}$ ）： 应用于高纹理区域（ $M_T \to 1$ ）以保留精细细节。
  - 全变分损失（ $L_{TV}$ ）： 应用于均匀区域（ $M_T \to 0$ ）以促进平滑并抑制噪声。

主要贡献

DWTA-Net 框架： 一种专为重度现实世界噪声设计的新型基于 Mamba 的循环框架，其两阶段设计将局部恢复与长期时序聚合分离。
空间循环聚合： 一种在空间而非特征空间中运行的基于动态权重的时序聚合策略。它利用运动残差自适应调整混合权重，在时序一致性与运动感知清晰度之间取得平衡。
纹理自适应损失： 一种自定义损失函数，根据局部纹理复杂度动态加权感知和平滑约束，确保在纹理区域保留细节的同时平滑均匀区域。

实验结果
该模型在 DID 配对低光视频数据集上进行训练，并在定量指标（PSNR、SSIM、LPIPS）和定性“野外”场景（特别是 Horse 序列）上进行了评估。

定量性能： 在 DID 数据集上，DWTA-Net 在对比方法中取得了最高的 PSNR（24.27 dB）和 LPIPS（0.115），优于最先进的基于图像的方法（如 Retinexformer、WaveMamba）和基于视频的基线方法（如 EDVR、SMOID）。
去噪能力： 在对 Horse 视频静态天空区域的补充评估中（使用帧平均生成的伪真值），DWTA-Net 取得了最高的 PSNR（27.81 dB）和 SSIM（0.839），甚至超越了理想的静态场景基于图像的方法。
视觉质量： 定性比较显示，DWTA-Net 保留了精细细节（如栅栏、电缆、草地纹理）和自然色彩，没有出现 Starlight-denoiser 等方法中的过度平滑伪影，也没有 SDSD-net 引入的干扰性伪影。
消融研究： 移除阶段 I 导致 PSNR 和感知质量急剧下降，证实了其在基本恢复中的作用。移除阶段 II 导致 LPIPS 升高，证明了长期时序聚合对视觉质量的必要性。纹理自适应损失被证明对于平衡噪声去除和纹理保留至关重要。

意义与主张
本文主张，DWTA-Net 为极端噪声条件下的低光视频增强提供了一种稳健的解决方案，传统流程和现有基于学习的方法在此类条件下均告失败。通过循环的、运动感知的聚合策略利用长期时序冗余，该框架实现了卓越的噪声抑制和时序一致性。作者将其工作定位为一种实际进展，解决了泛化到复杂现实世界噪声分布的同时保留精细结构细节这一特定挑战，并通过广泛的基准测试和具有挑战性的“野外”评估得到了验证。