💻 computer science

DelowlightSplat: Feed-Forward Gaussian Splatting for Lowlight 3D Scene Reconstruction

本文提出了 DelowlightSplat，这是一种前馈高斯泼溅框架，它集成了轻量级低光照适配器与基于代价体的多视图推理，以从稀疏的低光照图像中实现鲁棒的三维场景重建和干净的新视角合成。

原作者： Fuzhen Jiang, Zengtian Xie, Zhuoran Li

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Fuzhen Jiang, Zengtian Xie, Zhuoran Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅用几张照片构建一个完美的房间 3D 模型。通常，如果这些照片是在明亮、阳光充足的房间里拍摄的，计算机就能轻松确定墙壁、家具和物体的位置。这就像拼凑一幅拼图，其中的每一块都有清晰、锐利的边缘。

但如果你尝试在漆黑一片的房间里，仅靠手电筒来做这件事，会发生什么呢？照片会充满噪点，颜色看起来怪异（也许 everything 都呈现蓝色或绿色），边缘也会变得模糊。如果你试图直接从这些糟糕的照片构建 3D 模型，计算机就会陷入困惑。它可能会把阴影误认为是墙上的洞，或者把家具渲染成一团融化的 blob。

这正是论文 DelowlightSplat 所要解决的问题。

问题所在：“迷雾拼图”

作者解释说，当前的 3D 重建 AI 工具在处理明亮照片时表现出色，但在低光环境下却表现极差。

噪点：在黑暗中，相机会产生“噪点”（就像老式电视上的雪花屏）。
色偏：颜色会发生扭曲（ everything 看起来过于橙色或过于蓝色）。
混淆：由于照片彼此之间看起来差异巨大，计算机无法将照片 A 中的同一物体与照片 B 中的同一物体匹配起来。如果没有匹配这些“点”，它就无法构建 3D 形状。

旧方法：“先修复照片，再构建”

在这种新方法出现之前，人们尝试的是两步流程：

第一步：将黑暗、模糊的照片输入到一个独立的程序中，使其变得明亮清晰（就像使用照片编辑器来“增强”图片）。
第二步：将那张“修复后”的照片输入到 3D 构建器中。

为何失败：照片编辑器是单独修复每张图片的。它可能让照片 A 看起来温暖且偏黄，却让照片 B 看起来凉爽且偏蓝。当 3D 构建器试图将它们组合时，它们不再匹配了。这就像试图拼凑一幅拼图，有人为了让每块拼图单独看起来更漂亮，给它们涂上了不同的颜色，结果导致它们无法拼合在一起。

新方案："DelowlightSplat"

作者创建了一个名为 DelowlightSplat 的新系统。把它想象成一个聪明的施工队，它不只是“修复”照片，而是学习如何“翻译”它们，以便让它们能够协同工作。

以下是它的工作原理，使用一个简单的类比：

1. “翻译官”（低光适配器）

该系统不使用简单的图像提亮，而是利用一个名为 低光适配器（Lowlight Adapter） 的小型智能助手。

类比：想象你正试图与一位讲着你听不懂的方言的朋友交谈。翻译官不仅仅是大声喊叫（提亮图像），而是翻译含义，以便你们能够互相理解。
作用：这个适配器观察黑暗、充满噪点的照片，并添加恰到好处的“校正”，使特征（如边缘和纹理）更容易被计算机识别，并与其他照片进行匹配。它保持照片之间的一致性，而不是随机地改变它们。

2. "3D 构建器”（前馈高斯泼溅）

一旦照片被“翻译”并准备就绪，主系统便开始构建 3D 场景。

类比：想象一团由数百万个微小、发光的气球组成的云（这些就是“高斯”）。每个气球都有位置、大小、颜色和透明度。
作用：系统查看“翻译后”的照片，并立即确定如何放置这数百万个气球以重现房间。它直接预测房间的形状和颜色，跳过了旧方法所使用的缓慢、逐步的优化过程。

3. 结果：“干净”的房间

这个魔法在于，即使输入的照片是黑暗且杂乱的，系统也能构建出一个干净、明亮且锐利的 3D 模型。

类比：这就像透过一扇黑暗、雾蒙蒙的窗户看外面，却有一台机器能瞬间画出一幅窗外花园的晶莹剔透的图画，尽管玻璃是脏的。输出结果不是一张“修复后”的照片，而是一个全新的、完美的场景 3D 视图。

验证

作者通过以下方式进行了测试：他们使用一个大型正常照片数据集，人为地将“输入”照片变暗并模糊（就像调暗灯光并添加雾气），同时保留“目标”照片的清晰以检查结果。

直接方法：当他们把黑暗的照片直接输入 3D 构建器时，结果是一个模糊、漂浮的混乱体。
旧的两步法：当他们先修复照片再构建时，结果有所改善，但仍存在奇怪的色偏和模糊的边缘。
DelowlightSplat：他们的新方法生成了一个锐利、准确的 3D 模型，其效果几乎与在明亮日光下拍摄的照片一样好。

总结

DelowlightSplat 是一个新工具，它让计算机能够从糟糕、黑暗的照片中构建完美的 3D 模型。它通过利用一个智能“翻译官”对照片进行恰到好处的修复，使它们能够相互“对话”，然后基于这种对话瞬间构建出一个干净、明亮的 3D 世界，从而跳过了过去那些混乱的步骤。

技术摘要：DelowlightSplat

问题陈述

从稀疏位姿图像进行新视图合成与 3D 重建，对于机器人技术和增强现实/虚拟现实（AR/VR）至关重要。尽管近期的前馈 3D 高斯泼溅（3DGS）方法通过直接从稀疏视图预测 3D 高斯，成功摊销了每场景的优化成本，但在低光照条件下表现严重不佳。在低光照区域，对比度降低、传感器噪声和色彩偏差会削弱特征的可匹配性。这种对应关系的破坏会扰乱代价体聚合，导致几何结构错误和外观过度平滑。

现有的变通方法，如“先恢复后重建”流程（在重建前增强 2D 图像），并不充分。单图像增强往往会引入视图依赖的色彩偏移和光照不一致性，未能显式优化多视图一致性，从而导致下游重建不稳定。此外，缺乏真实的“目标视图清晰而上下文视图退化”的多视图监督数据，使得专门针对此任务训练模型变得困难。

方法：DelowlightSplat

作者提出了DelowlightSplat，这是一个低光照感知、双视图前馈 3DGS 框架，旨在直接从低光照输入重建干净、正常照明的 3D 场景。该流程包含三个主要阶段：

1. 可控多视图低光照基准

为解决训练数据匮乏的问题，作者基于大规模位姿视图数据集构建了一个基准。他们不是退化整个场景，而是仅退化上下文视图（输入图像），同时保持目标视图（真值）清晰。退化算子 $\mathcal{L}$ 按顺序对上下文图像应用四种概率变换：

伽马变暗： $I \leftarrow I^\gamma$ ，其中 $\gamma > 1$ 。
曝光缩放： $I \leftarrow s \cdot I$ ，其中 $0 < s < 1$ 。
RGB 通道偏移：对 R、G 和 B 通道进行独立缩放。
模糊：与高斯核进行卷积。

该协议隔离了低光照输入对重建的影响，同时防止模型简单地学习模仿低光照外观。

2. 低光照适配器

引入一个轻量级前端模块，将低光照输入映射到适合多视图推理的表示域。与独立的 2D 增强模型不同，该适配器经过优化以提升后续流程的可匹配性。

机制：它使用一小堆卷积残差块预测残差校正 $\Delta(I_i)$ 。
输出：适配后的图像计算为 $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$ 。
优势：这种残差形式允许模型在轻微退化时保持接近恒等映射（避免过度增强），并与重建主干网络进行端到端训练。

3. 前馈高斯泼溅网络

适配后的上下文视图 $\{\tilde{I}_i\}$ 由基于代价体的多视图编码器处理：

特征编码：提取 2D 特征并执行跨视图交互，以聚合几何一致的证据。
几何构建：预测每个像素处的深度和密度相关量。这些量被反投影到 3D 空间以形成高斯中心（ $\mu$ ）。协方差（ $\Sigma$ ）和不透明度（ $\alpha$ ）经过参数化以确保正定性和有效范围。
外观：每个高斯携带球谐函数（SH）系数（ $h$ ）以表示视图依赖的颜色。
训练目标：网络通过像素级损失（如 $\ell_2$ 或 Charbonnier）与感知损失的组合，利用清晰的目标图像（ $I^\star_t$ ）进行监督。

主要贡献

可控多视图低光照基准：一个训练与评估框架，仅通过概率变换退化上下文视图，同时保持目标视图清晰，从而实现对低光照影响的系统性消融。
DelowlightSplat 流程：一种新颖的双视图前馈 3DGS 流程，集成了轻量级低光照适配器进行残差增强。该方法提高了跨视图可匹配性，并直接预测用于新视图渲染的干净 3D 高斯，避免了两阶段流程的不一致性。

实验结果

该方法针对两个基线进行了评估：

Lowlight MVSplat：直接将低光照图像输入标准前馈重建器。
DarkIR $\to$ MVSplat：一个两阶段流程，先使用强大的 2D 恢复模型（DarkIR），随后进行重建。

定量性能（低光照新视图合成）：
DelowlightSplat 显著优于两个基线：

PSNR：从 8.49（Lowlight MVSplat）和 17.11（DarkIR $\to$ MVSplat）提升至 23.08。
SSIM：从 0.372 和 0.723 提升至 0.833。
LPIPS：从 0.355 和 0.225 降低至 0.162（越低越好）。

定性观察：

直接重建导致纹理过度平滑和几何伪影（例如悬浮结构）。
两阶段基线虽然提高了亮度，但由于单图像恢复的不一致性，引入了视图依赖的色彩偏移和残留模糊。
DelowlightSplat 产生了更锐利的边缘、稳定的几何结构，以及跨视点一致的颜色/阴影。

意义与主张

本文主张 DelowlightSplat 有效地弥合了标准前馈 3D 重建与低光照条件之间的差距。通过将低光照适应直接集成到重建流程中，而非将其视为独立的预处理步骤，该方法显式地优化了多视图一致性。结果表明，与现有的直接方法或两阶段方法相比，该方法在各种低光照退化（伽马、曝光、色彩偏移和模糊）下实现了更高的重建保真度和感知质量。

作者指出，未来的工作可以将模型扩展以处理更多视图、更长的时间上下文，以及现实世界的传感器伪影，如严重的运动模糊和空间变化的噪声。