💻 computer science

Light 'em Up: Enabling Few-Shot Low-Light 3D Gaussian Splatting with Multi-Scale Explicit Retinex Illumination Decoupling

本文介绍了 MERID-GS，这是一种多尺度显式 Retinex 光照解耦框架，它利用 3D 高斯泼溅技术，通过有效分离光照与反射率、抑制噪声并确保视角一致性，实现了最先进的少样本低光照 360°新视角合成。

原作者： YuHao Yin, Zongji Wang, Yuanben Zhang, Biqing Li, Jiesong Bai, Junyi Liu

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： YuHao Yin, Zongji Wang, Yuanben Zhang, Biqing Li, Jiesong Bai, Junyi Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在夜间拍摄一张美丽、360 度全景的花园照片。你拥有几张不同角度的照片，但它们很暗、充满颗粒感，并且布满了“雪花”（噪声）。如果你尝试将这些照片拼接起来，创建一个可以环绕行走的 3D 模型，标准的计算机程序通常会失败。它们会被黑暗搞糊涂，将花园变成一片模糊、色彩漂移的混乱，或者将噪声放大，直到图像看起来像老式电视上的静电雪花。

本文介绍了一种名为 MERID-GS（点亮它们）的新方法，旨在解决这一问题。以下是其工作原理，使用了简单的类比：

1. 问题：“暗室”中的困惑

将标准的 3D 相机系统想象成一位试图重现场景的画家。如果画家拿到一张太暗的照片，他可能会误以为阴影其实是一堵黑墙，或者误以为颗粒状的噪声是真实的纹理。当他试图从新的角度（即他未曾见过的角度）绘制场景时，他的猜测就会崩塌，颜色也会显得错误。

2. 解决方案：将“闪光灯”与“颜料”分离

MERID-GS 的核心理念基于一个名为 Retinex 的旧理论。想象你在一个黑暗的房间里看着一个红苹果。

光照（Illumination）： 这是打在苹果上的“闪光灯”或光线。
反射率（Reflectance）： 这是苹果本身的“颜料”或实际的红色。

大多数计算机程序将这两者混合在一起。MERID-GS 则像一个智能编辑器，将它们剥离开来。

它说：“好吧，这部分只是黑暗（光照）。让我们修复它。”
它说：“而这部分是实际物体（反射率）。让我们保持其纯净。”

通过将光线与物体分离，计算机可以在不破坏物体真实颜色的情况下提亮暗部区域。

3. “噪声过滤器”（IS-FGA）

当你提亮一张暗照片时，往往会无意中加剧“雪花”或颗粒感。

类比： 想象试图在风大的房间里听清耳语。如果你调大音量，你确实能听到耳语，但风声噪声也会变得更大。
修复方法： MERID-GS 使用一种名为 Illumination-State-Guided Frequency Gated Attention（光照状态引导的频率门控注意力）的特殊工具。这就像是为图像配备的“智能降噪耳机”。它分别监听“风声”（噪声）和“耳语”（物体的实际结构）。它会调低风声的音量，同时保持耳语响亮清晰，尤其是在图像最黑暗的角落。

4. “快速变装艺术家”（少样本适应）

通常，教导计算机理解一个新场景需要向它展示数百张照片，并训练数天。

类比： 想象一位厨师，通常需要通过品尝 100 次汤才能调好食谱。MERID-GS 则像一位大师级厨师，只需品尝10 次汤，就能立即知道如何为新的一批汤调味。
工作原理： 该系统学习了光线如何作用的通用“食谱”。当它看到一个全新的黑暗场景时，只需要极少量的照片（约 10 张）就能快速调整其“调味”（反射率头）并使其准确。整个过程大约只需 5 分钟。

5. 结果：从黑暗中构建 3D 世界

一旦系统清理了照片并将光线与物体分离，它就会使用一种称为 3D Gaussian Splatting（3D 高斯泼溅）的技术。

类比： 想象场景不是由砖块构建的实心 3D 模型，而是由数百万个微小的、发光的、毛茸茸的球体（高斯球）组成的。计算机将这些球体排列起来，形成花园的形状。
由于输入照片已被清理且颜色已修正，这些“毛茸茸的球体”能够完美地自行排列。结果是，即使原始照片是在黑暗中拍摄的，最终生成的也是一个高质量、360 度、看起来逼真的视图。

主张总结

功能： 它创建在低光照条件下拍摄的场景的 3D、360 度视图。
速度： 适应新场景大约需要 5 分钟。
数据量： 仅需约 10 张照片即可工作。
数据集： 作者还创建了一套新的测试数据（称为 LLD），专门用于此任务，涵盖了黑暗中的完整 360 度场景，因为现有数据不够好。
性能： 在测试中，该方法产生的 3D 视图比其他任何现有方法都更清晰、更准确、更一致，特别是在迁移到新的、未见过的场景时。

简而言之，MERID-GS 是一种工具，它让计算机能够在黑暗中“看清”，将光线与物体分离，并仅凭几张模糊的照片构建出完美的 3D 世界。

以下是论文《Light 'em Up: Enabling Few-Shot Low-Light 3D Gaussian Splatting with Multi-Scale Explicit Retinex Illumination Decoupling》（MERID-GS）的详细技术总结。

1. 问题陈述

低光照 360° 新视角合成（NVS） 仍然是计算机视觉领域的一项重大挑战。现有方法在应用于真实世界的低曝光场景时，面临三个主要问题：

光度不一致性： 光照不足导致噪声放大和色彩失真，破坏了多视图几何重建所需的表观一致性。
视角依赖伪影： 无监督方法在视角发生显著变化（全 360° 覆盖）时，往往遭受严重的色彩漂移；而监督式 2D 增强模型若未经过重新训练，则无法泛化到未见过的 3D 场景。
数据稀缺： 大多数现有的低光照 NVS 方法需要密集视角输入或大量配对训练数据，使其难以适用于真实应用中常见的稀疏视角、少样本场景（例如夜间自动驾驶、文化遗产数字化）。

2. 方法论：MERID-GS

作者提出了 MERID-GS，这是一个将 多尺度显式 Retinex 光照解耦 与 3D 高斯泼溅（3DGS） 相结合的框架。该流程包含三个 distinct 阶段：

A. 多尺度显式 Retinex 光照解耦（MERID）

MERID-GS 并非在 3D 表示内部隐式地建模光照退化，而是基于 Retinex 理论（ $I = L \times R$ ，其中 $I$ 为强度， $L$ 为光照， $R$ 为反射率）在图像域执行显式解耦。

可学习正则化增益： 为避免低光照下对数域中常见的数值不稳定性，模型在空间域中运行。它引入一个可学习的增益函数 $g(x)$ ，该函数适应亮度和结构信息，在抑制噪声放大的同时增强暗区。
光照状态表示： 模型通过编码低通亮度、反射率和 log 增益，构建光照状态特征（ $\mathbf{F}_{illu}$ ）。这作为后续去噪的先验。

B. 光照状态引导的频率门控注意力（IS-FGA）

为了解决低光照特征中噪声与真实结构的纠缠问题，作者在 U 型编码器 - 解码器架构中引入了一种新颖的注意力机制：

频率条件值调制： 注意力机制的值（ $V$ ）分支被分解为低频、中频和高频带。这些频带根据光照状态特征进行调制，使模型能够选择性地增强结构频率，同时抑制以噪声为主的频率。
光照状态条件门控： 在标准注意力聚合发生之前，一种逐元素门控机制进一步抑制了暗区中的噪声传播。

C. 反射头与 3D 高斯泼溅

反射头： 一个轻量级模块（使用 $1\times1$ 卷积和 GELU）应用于反射率分量，以校正跨场景的色彩和材质偏差。至关重要的是，该头专为 少样本适应 设计，仅需来自新场景的少量样本即可进行微调。
3DGS 合成： 校正后的反射率图像被输入到 3D 高斯泼溅中。由于光照已被显式解耦并归一化，3DGS 优化器可以专注于几何和反射率，即使在稀疏输入下也能实现稳定收敛。

3. 主要贡献

MERID-GS 框架： 首个将基于 Retinex 的显式光照解耦与 3DGS 相结合用于低光照 NVS 的方法，实现了从稀疏观测中对未见场景的高质量渲染。
IS-FGA 机制： 一种新颖的注意力模块，利用光照状态引导频率门控，有效抑制噪声传播，同时保留暗区中的结构细节。
少样本适应性： 该系统仅需 10 张正常光照输入视图 即可实现适应，将每场景训练时间缩短至约 5 分钟。
LLD 数据集： 作者构建了 LLD（低光照数据集），这是一个覆盖 6 个场景的 360° 多视图数据集，包含配对的低光照和正常光照图像，解决了该特定任务缺乏基准的问题。

4. 实验结果

该方法在 NeRF360、LOM_full 和新构建的 LLD 数据集上进行了评估，与最先进的无监督（如 Luminance-GS）和监督（如 Retinexformer、MambaLLIE）基线进行了比较。

定量性能：
- MERID-GS 在所有指标（PSNR、SSIM、LPIPS）上均取得了 SOTA（最先进）性能。
- 平均 PSNR： 25.03 dB（相比之下，次优的监督方法约为 17–19 dB）。
- SSIM： 0.796（基线约为 0.67）。
- LPIPS： 0.166（越低越好，显著优于基线）。
定性性能：
- 视觉对比显示，MERID-GS 消除了其他方法中出现的色彩漂移和噪声放大。
- 它在其他方法失败或产生伪影的暗区中，保持了几何一致性和精细细节。
效率：
- 少样本适应过程每场景仅需 约 5 分钟。
- 消融实验证实，移除反射头或 IS-FGA 会显著降低性能（PSNR 分别下降约 7 dB 和 0.55 dB）。

5. 意义

这项工作弥合了 2D 低光照增强与 3D 场景重建之间的鸿沟。通过显式地将光照与反射率解耦，MERID-GS 解决了在不将光照变化混淆为几何或材质变化的情况下“照亮”3D 场景的根本问题。

实际影响： 它能够在具有挑战性的环境（夜间、室内低光照）中实现高保真 3D 重建，且数据需求极低，使其适用于自动驾驶、AR/VR 和数字遗产保护等应用。
泛化能力： 显式的光照建模使模型能够泛化到完全未见过的场景，而无需 extensive 重新训练，这是迈向实际部署的关键一步。