💻 computer science

Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

本文提出了一种基于频率解耦隐式神经表示（FDINR）的近红外辅助低光图像去噪方法，通过多尺度小波变换将图像分解为不同频率分量，并利用低光 RGB 信号与高信噪比近红外信号在频域上的互补特性，结合不确定性自适应加权机制，有效解决了低光环境下图像噪声严重及高频结构退化问题，实现了高质量的任意分辨率重建。

原作者： Ligen Shi, Zengyu Pang, Chang Liu, Shuchen Sun, Jun Qiu

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ligen Shi, Zengyu Pang, Chang Liu, Shuchen Sun, Jun Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FD-INR 的新技术，专门用来解决在光线极暗的环境下（比如深夜、黎明或茂密的森林里），无人机或相机拍出来的照片太黑、全是噪点、看不清细节的问题。

为了让你更容易理解，我们可以把这个问题想象成：在伸手不见五指的黑夜里，你想看清一个复杂的物体，但你的眼睛（RGB 相机）因为太黑而看不清细节，还充满了雪花点（噪点）。

这时候，你手里还有一副特殊的“夜视眼镜”（NIR 近红外相机）。这副眼镜虽然拍不出颜色，但能清晰地看到物体的轮廓和纹理，而且画面很干净。

这篇论文的核心思想就是：如何把“有颜色但很脏”的眼睛和“没颜色但很清晰”的夜视眼镜完美结合起来，变出一张既清晰又有颜色、还没有噪点的好照片。

以下是用生活中的比喻来解释这项技术的三个关键点：

1. 核心策略：把“画布”分成两半（频率解耦）

传统的做法就像是一个新手画家，试图用一支画笔同时处理“大色块”和“精细线条”。结果往往是：要么颜色涂得太厚把线条盖住了，要么线条画得太乱把颜色弄脏了。

FD-INR 的做法是“分工合作”：

低频分支（负责“底色”）： 就像画家的大刷子。它只负责处理照片的颜色和整体亮度。因为光线太暗，相机拍到的颜色虽然有点脏，但大致的色调是对的。这个分支会忽略那些细小的噪点，只保留平滑的颜色。
高频分支（负责“细节”）： 就像画家的精细勾线笔。它专门负责处理照片的纹理和边缘（比如树叶的脉络、衣服的褶皱）。它完全依赖那副“夜视眼镜”（NIR），因为夜视眼镜在暗处看得很清楚。这个分支只负责把清晰的线条“描”上去，不负责上色。

比喻： 想象你在修补一幅破旧的油画。

你先用大刷子（RGB 分支）把画布上模糊的底色和颜色补好，确保颜色不跑偏。
然后再用极细的笔（NIR 分支），照着旁边那张清晰的素描稿（夜视图），把原本被噪点盖住的精细花纹重新勾勒出来。
最后把两者合二为一，既保留了原本的颜色，又拥有了清晰的细节。

2. 技术亮点：隐式神经表示（INR）—— 像“无限分辨率”的橡皮泥

以前的方法像是在网格状的画布上画画，如果你把画放大，就会看到一个个像素点（马赛克），而且如果原图是 1080P，想变成 4K 就很困难。

FD-INR 用的是“隐式神经表示”：

这就好比它不是在一块固定的画布上画画，而是手里拿着一团可以无限拉伸的“智能橡皮泥”。
无论你要求它输出多大尺寸的照片（是手机屏还是巨大的广告牌），它都能根据坐标瞬间“捏”出对应的细节，而且永远清晰，没有马赛克。
这对于无人机来说特别重要，因为无人机在不同高度飞行，需要的画面分辨率是随时变化的。

3. 智能调节：自动平衡的“调音师”

在把“颜色”和“细节”拼在一起时，很容易出问题：比如夜视眼镜太亮，把颜色盖住了；或者颜色太浓，把细节淹没了。

FD-INR 引入了一个“智能调音师”（自适应加权损失函数）：

这个调音师会实时监听两个分支的声音。
如果它发现“颜色”那边噪音太大，它就会自动把“颜色”的音量调小，多听“细节”那边的。
如果它发现“细节”那边有点乱，它又会反过来调整。
它不需要人工去设定参数，而是像自动混音台一样，根据画面的具体情况，自动找到颜色和细节的最佳平衡点，避免照片出现奇怪的色偏或伪影。

总结：这项技术有什么用？

简单来说，FD-INR 就像给无人机装上了一套“超级夜视修复系统”：

看得更清： 在伸手不见五指的黑夜，也能拍出纹理清晰的照片。
颜色更真： 不会因为借用夜视仪的图像而让照片变成黑白或怪异的绿色，保留了真实的色彩。
任意放大： 拍出来的照片无论怎么放大，细节都不会模糊。

这对于夜间搜救、无人机夜间巡逻、自动驾驶汽车在黑暗中的感知等场景来说，是一个巨大的进步。它不再是在噪点中“猜”图像，而是聪明地利用不同传感器的优势，把“颜色”和“细节”完美地拼在了一起。

这是一篇关于**频域解耦隐式神经表示（Frequency-Decoupled Implicit Neural Representation, FD-INR）**的论文技术总结，该方法旨在解决近红外（NIR）辅助下的低光照 RGB 图像去噪与复原问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

应用场景：无人机（UAV）等自主感知系统在黎明、黄昏、森林阴影或夜间等极端低光照环境下的作业。
核心挑战：
- 低光照退化：受限于传感器尺寸和功耗，低光照下光子数不足，导致 RGB 图像受到严重的量子噪声和电子噪声干扰。这不仅掩盖了高频纹理，还导致色彩偏差和对比度下降。
- 单模态局限：传统的单模态增强方法（如 Retinex 或深度学习去噪）在极低信噪比（SNR）下，难以区分真实细节与噪声，容易导致过度平滑或产生“幻觉”伪影。
- 多模态融合难点：虽然近红外（NIR）信号在低光照下具有更高的穿透力和信噪比，但 RGB 与 NIR 在成像机制上存在物理不一致性（如不同材料的光谱反射率差异）。
- 现有融合方法的缺陷：传统的空间域直接融合会导致色彩失真和伪影；现有的频域融合方法多基于离散网格，缺乏对频率可靠性的定量建模，且难以在连续分辨率下自适应处理。

2. 方法论 (Methodology)

论文提出了 FD-INR，一种基于显式频域解耦的隐式神经表示框架。其核心思想是将图像场建模为两个互补的连续函数，利用**离散小波变换（DWT）**进行多尺度监督。

2.1 频域解耦的双分支架构

模型将重建图像 $\hat{I}(x)$ 定义为两个隐式函数的线性叠加：
$\hat{I}(x) = F_{LF}(x; \theta) + G_{HF}(x; \phi) - \beta$

低频一致性分支 ( $F_{LF}$ )：
- 目标：重建图像的全局亮度和自然色彩。
- 机制：使用稀疏特征网格作为基元。根据采样理论，稀疏采样天然限制了函数的最高频率，形成低通滤波特性，从而在拟合过程中自动过滤掉 RGB 图像中的高频随机噪声。
- 监督：由低光照 RGB 图像的低频分量引导，确保色彩保真度。
高频结构增强分支 ( $G_{HF}$ )：
- 目标：重建亚像素级别的纹理细节。
- 机制：使用密集特征网格，以捕捉高频梯度信息，克服隐式神经表示的“频谱偏差”（Spectral Bias）。
- 监督：由高信噪比的 NIR 图像的高频分量引导，利用 NIR 清晰的边缘结构来补充 RGB 丢失的细节。
偏置项 ( $\beta$ )：一个可学习的偏置参数，用于校准 RGB 和 NIR 传感器之间的直流（DC）分量（全局亮度）差异。

2.2 小波域谱监督与正则化

为了确保两个分支严格遵循频域解耦先验，引入了多尺度离散小波变换（DWT）作为约束算子：

谱解耦正则化 ( $L_{reg}$ )：强制低频分支的高频子带能量为零，同时强制高频分支的低频近似子带能量为零。这防止了模态间的特征混叠（Aliasing）和频谱泄漏。
零均值中心约束 ( $L_{zero}$ )：强制高频分支的输出均值为零，确保其仅作为残差纹理场，防止 NIR 的亮度信息“泄露”到 RGB 的色彩场中，避免色彩失真。

2.3 自适应优化与损失函数

同方差不确定性加权 (Homoscedastic Uncertainty)：引入可学习的噪声方差参数 $\sigma_k$ ，自动平衡低频颜色损失、高频结构损失和梯度损失之间的权重。这使得模型能根据训练过程中遇到的噪声水平动态调整各任务的贡献。
损失函数组成：
- 低频颜色损失：基于 Charbonnier 损失，约束 RGB 低频分量。
- 高频结构损失：结合 $L_1$ 损失和 SSIM 损失，约束 NIR 高频细节。
- 空间梯度一致性损失：确保重建图像的边缘锐度与 NIR 参考一致。
优化器：使用 Muon 优化器处理 MLP 线性层，利用其正交更新特性加速高维坐标映射的收敛；使用 Adam 优化特征网格。

3. 主要贡献 (Key Contributions)

FD-INR 框架：提出了一种基于小波解耦的隐式神经表示方法，将"RGB 约束低频、NIR 增强高频”的物理先验融入连续函数空间。通过显式的频域划分，解决了传统空间融合中的模态冲突和特征混叠问题，支持任意分辨率的重建。
自适应机制：设计了基于同方差不确定性的自适应权重分配机制，并结合正交优化器（Muon），在保持色彩保真度的同时实现了细节恢复的平衡。
性能突破：在多个低光照基准测试中达到了最先进（SOTA）水平，并在真实世界的极端低光照场景中表现出强大的泛化能力，显著提升了下游任务（如目标检测）的鲁棒性。

4. 实验结果 (Results)

数据集：使用了专为 RGB-NIR 融合建立的 Dark Vision Dataset (DVD)，包含真实世界捕捉的低光照 RGB 和 NIR 同步图像对。
定性分析：
- 与 naive DWT 融合（色彩去饱和、频谱泄漏）和 DVN 方法（保留色度噪声、边界伪影）相比，FD-INR 生成的图像边缘锐利、色彩纯净且纹理细节丰富。
- 消融实验表明，移除零均值约束会导致过曝或色彩失真；移除梯度监督会导致“油画感”和边缘模糊；移除频域解耦正则化会导致高频细节被低频色彩模糊。
定量分析：
- 在 NIQE（越低越好，衡量自然度）和 NCC（越高越好，衡量结构一致性）指标上，完整模型均优于其他配置。
- 例如，完整模型的 NIQE 为 2.896，NCC 为 0.961，显著优于移除关键组件的变体。
效率：模型参数量仅 0.3M，单帧推理（512x512）耗时约 20.20ms，且无需大规模预训练，具备零样本（Zero-shot）恢复能力。

5. 意义与影响 (Significance)

理论创新：将隐式神经表示（INR）从传统的超分辨率/重建任务拓展到了多模态低光照增强领域，证明了连续函数空间在处理跨模态信号时的优势。
技术突破：通过显式的频域解耦，巧妙地解决了 RGB 和 NIR 在物理成像上的不一致性，避免了传统融合方法中常见的色彩污染问题。
实际应用：为无人机等受限平台在极端环境下的感知提供了高可靠性的视觉增强方案，能够直接提升下游计算机视觉任务（如检测、重建）的精度。
灵活性：得益于 INR 的连续特性，该方法具备分辨率无关性，能够适应不同分辨率的输入输出需求，无需重新训练。

综上所述，FD-INR 通过结合物理先验（频域相关性）、连续表示（INR）和自适应优化策略，为低光照多模态图像复原提供了一个高效、鲁棒且高质量的解决方案。