💻 computer science

P2GS: Physical Prior-guided Gaussian Splatting for Photometrically Consistent Urban Reconstruction

本文介绍了 P2GS，这是一种物理先验引导的高斯泼溅框架，它通过从低动态范围图像中联合分解视图不变的高动态范围辐射度、每视图曝光和色调映射，实现了光度一致的城市场景重建，从而克服了自动驾驶场景中的光照不一致问题。

原作者： Kota Shimomura, Hidehisa Arai, Tsubasa Takahashi, Takayoshi Yamashita, Hironobu Fujiyoshi

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kota Shimomura, Hidehisa Arai, Tsubasa Takahashi, Takayoshi Yamashita, Hironobu Fujiyoshi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图利用数百张由不同车辆拍摄的照片，构建一个繁忙城市街道的完美 3D 数字孪生。目标是让这个数字世界看起来如此逼真，以至于自动驾驶汽车可以“驾驶”其中，学习如何导航。

最近，一种名为3D 高斯泼溅（3D Gaussian Splatting）的技术成为了这项任务的主角。把它想象成一支魔法画笔，能瞬间将一堆 2D 照片转化为闪亮、高速的 3D 模型。然而，这支魔法画笔有一个主要缺陷：它在光度上非常脆弱。

问题：“糟糕相册”效应

想象一下，你在正午拍摄了同一个街角的照片，然后在日落时又拍了一次，接着又用一台亮度传感器损坏的相机拍了一次。如果你试图在不先修正亮度的情况下，将这些照片拼接成一个单一的 3D 模型，结果将是一团糟。街道的一侧可能看起来像是在黑暗的洞穴中，而另一侧则看起来像是在燃烧。

在现实世界中，自动驾驶汽车使用来自不同制造商的相机。有些太亮，有些太暗，而且太阳的位置不断变化。标准的 3D 高斯泼溅试图通过直接将亮度误差“烘焙”到 3D 模型中，来强行让所有这些不同的照片相互契合。这创造了一个看起来充满故障的数字世界，伴随着奇怪的色彩偏移和光照不匹配的接缝。

解决方案：P2GS（“通用翻译器”）

本文的作者下村 Kota 及其团队创造了一种名为P2GS（物理先验引导的高斯泼溅，Physical Prior-guided Gaussian Splatting）的新方法。

将 P2GS 想象成一个智能翻译器，它理解光的物理原理。它不仅仅是试图匹配照片中的颜色，而是针对每一张照片提出三个问题：

物体的真实颜色是什么？（“辐射度”Radiance）
相机的设置有多亮？（“曝光”Exposure）
这台特定相机如何处理图像？（“色调映射”Tone Mapping）

秘密武器：“不变辐射度”原则

P2GS 背后的核心理念是他们所称的不变辐射度原则（Principle of Invariant Radiance）。

想象你在看一个红苹果。

如果你透过一扇黑暗的窗户看它，它看起来是深红色的。
如果你透过一扇明亮的窗户看它，它看起来是亮红色的。
但苹果本身并没有改变。

标准的 3DGS 会感到困惑，认为苹果在一张照片中就是深红色，在另一张照片中是亮红色，因此它试图让 3D 苹果同时呈现两种不同的颜色。然而，P2GS 意识到：“等等，苹果永远是同一种红色。唯一变化的是窗户（相机曝光）。”

通过将真实物体与相机设置分离开来，P2GS 可以构建一个“曝光不变”的 3D 模型。这意味着无论哪台相机拍摄了照片，或者阳光有多亮，数字街道看起来都是一致且正确的。

工作原理（“厨房”类比）

食材（线性 HDR）： 与其使用预先调味、加工过的食物（最终的 LDR 照片）进行烹饪，P2GS 从原始的、未加工的食材（线性 HDR 辐射度）开始。这是场景在相机进行任何调整之前的“真实”光线。
厨师的工具（曝光与色调）： 该方法为每台相机学习一套独立的工具。它会分析出：“相机 A 加了太多的盐（亮度）”，而“相机 B 加了太多的胡椒（对比度）”。
食谱（优化）： 它将原始食材与每台相机的特定工具混合，以重现最终的照片。因为它确切知道每台相机使用了多少盐和胡椒，所以它可以剥离这些干扰，揭示场景纯粹、一致的“风味”。

结果

当团队在真实驾驶数据（来自 Waymo 数据集）和模拟数据（来自 CARLA）上测试该方法时：

不再有接缝： 数字街道在不同相机视角交汇的地方，不再出现暗斑或奇怪的色彩偏移。
光照稳定： 你可以改变最终 3D 模型的“曝光”（使其更亮或更暗）而不会破坏图像，这是标准 3DGS 无法做到的。
更好的模拟： 对于自动驾驶汽车来说，这至关重要。模拟器需要在物理上保持一致，以便 AI 学习正确的道路规则，而不是学习一台故障相机的规则。

简而言之，P2GS 利用物理定律，将一堆光照不一致的混乱照片组织成一个干净、稳定且逼真的 3D 世界。它不仅仅是猜测颜色；它理解了颜色为何呈现为当前样貌的原因。

技术摘要：P2GS——面向光度一致的城市重建的物理先验引导高斯泼溅

1. 问题陈述

尽管 3D 高斯泼溅（3DGS）已成为自动驾驶仿真中实时、高保真渲染的有力工具，但它存在一个根本性局限：光度不一致性。传统的 3DGS 隐式地假设所有输入视图具有连贯的曝光和色调映射。然而，现实世界的驾驶数据因以下原因违反了这一假设：

异构的相机管线和图像信号处理器（ISPs）。
每相机的动态曝光控制。
变化的户外光照条件。

当标准 3DGS 在此类数据上进行训练时，它会将曝光差异和传感器噪声直接“烘焙”到学习到的辐射场中。这会导致严重的伪影，包括光照不匹配、颜色偏移以及视图间可见的接缝，特别是在对仿真至关重要的静态背景区域。现有的扩展方法（如 StreetGS、DrivingGaussian）侧重于动态物体的分离，但未能解决跨视图的光度一致性问题。此外，先前尝试建模光照的方法（如 GaussHDR、Luminance-GS）要么需要多曝光监督，要么依赖不稳定的伪 HDR 合成，要么应用缺乏物理基础的 2D 校正。

2. 方法论：P2GS

作者提出了P2GS，这是一个基于物理的框架，它无需 HDR 监督即可从低动态范围（LDR）图像重建曝光不变的高动态范围（HDR）辐射场。该方法通过将优化从 LDR 空间转移到线性 HDR 域来运作，将场景的固有辐射与特定相机的光度响应解耦。

核心组件

线性 HDR 域辐射表示：
P2GS 不是将球谐（SH）系数直接拟合到观测到的 LDR 像素值，而是将它们优化为线性 HDR 辐射。这创建了一个具有物理意义的场（ $\hat{I}_{linear}$ ），其中场景辐射与相机增益和色调映射解耦。
每视图曝光与色调建模：
该框架为每个视图 $i$ 引入了可学习参数：
- 曝光尺度（ $e_i$ ）： 代表相机增益的正标量。
- 色调映射函数（ $T_i$ ）： 通过可学习的伽马校正（ $\gamma_i$ ）进行近似，以模拟非线性相机响应。
  图像形成模型定义为： $I_i = T_i(e_i \cdot \hat{I}_{linear})$ 。
不变辐射原理（PIR）：
这是 P2GS 的理论基石。它指出，在线性 HDR 域中，不同相机视图间观测辐射的比率仅取决于相对曝光尺度：
$\frac{I^{(i)}_{linear}}{I^{(j)}_{linear}} = \frac{e_i}{e_j}$
该原理强制要求底层场景辐射保持不变，无论相机的曝光设置如何。

统一优化策略

P2GS 采用统一的优化框架，最小化由三项组成的总损失函数（ $\mathcal{L}_{total}$ ）：

光度重建（ $\mathcal{L}_{photo}$ ）： 最小化观测到的 LDR 图像与合成图像（渲染 HDR $\to$ 曝光 $\to$ 色调映射）之间的误差。
相对曝光一致性（ $\mathcal{L}_{exp}$ ）： 通过确保视图对之间渲染的 HDR 强度比率与其估计的曝光尺度比率相匹配，来强制执行 PIR 约束。这防止了辐射场吸收曝光变化。
正则化（ $\mathcal{L}_{reg}$ ）：
- 将曝光参数的绝对尺度固定，以防止全局尺度模糊。
- 惩罚跨视图曝光估计的过度方差，以确保稳定性。
- 对色调参数（ $\gamma_i$ ）应用围绕 sRGB 标准（ $\approx 2.2$ ）的软先验，以防止非物理解。

在推理阶段，该方法对所有训练视图学习到的曝光和色调参数进行平均，以产生稳定、无闪烁的渲染效果。

3. 主要贡献

本文概述了三个主要贡献：

P2GS 框架： 3DGS 的显式 HDR 域扩展，嵌入了不变辐射原理，将固有辐射与曝光和色调变化分离，且无需 HDR 监督即可运行。
统一优化： 一种完全可微的策略，利用光度损失、基于 PIR 的约束和物理正则化，联合优化 HDR 辐射、每视图曝光和色调映射。
最先进性能： 在具有异构 ISPs 的多相机驾驶数据集上，展示了优越的光度一致性和 HDR 保真度，在重建和新视图合成方面均优于现有基线。

4. 实验结果

作者在Waymo Open Dataset（真实世界）和CARLA（合成，受控光照）上评估了 P2GS。

定量性能（Waymo）：
- 在所有比较方法中，P2GS 取得了最高的 SSIM（0.939）和最低的 LPIPS（0.209），包括原生 3DGS、PVG 和 Luminance-GS。
- 它显著降低了HDR 不一致性评分（HIS）和标准差 - 亮度（Std-Luminance），表明具有更优越的时间稳定性和视图间亮度稳定性。值得注意的是，P2GS 的不一致性评分低于原始真值，表明它有效地去除了标准方法保留的数据集诱导的光照噪声。
- 在新视图合成（NVS）中，P2GS 保持了持续的优势，证明了对不同光照条件的鲁棒性。
定性结果：
- 基线方法（3DGS、PVG、Luminance-GS）在拼接具有不同曝光的视图时，表现出可见的接缝、颜色偏移和不均匀的阴影。
- P2GS 生成了光度均匀的重建，在所有视图中具有平滑匹配的亮度和颜色，有效抑制了道路和墙壁等静态结构上的接缝伪影。
鲁棒性（CARLA）：
- 在具有受控且变化的 ISO 灵敏度（模拟极端曝光噪声）的合成数据集下，与基线（如 Luminance-GS 和仿射变换的 3DGS）的显著退化相比，P2GS 仅表现出微小的性能下降。
- 这证实了 P2GS 能够解耦曝光变化，并在严重损坏的情况下保持视图不变的辐射场。
消融研究：
移除曝光一致性损失（ $\mathcal{L}_{exp}$ ）或正则化项（ $\mathcal{L}_{reg}$ ）中的任何一项，都会导致所有指标的性能下降，验证了统一物理公式的必要性。

5. 意义与主张

本文主张 P2GS 解决了自动驾驶仿真中的一个关键缺口：缺乏光度稳定的 3D 表示。通过将相机依赖的失真与真实场景辐射解耦，P2GS 实现了：

可靠的闭环仿真： 提供物理连贯的背景，这对于训练感知模型和仿真器至关重要，其中光照一致性至高无上。
曝光不变的可控性： 允许在任意曝光尺度下进行连续、无伪影的重渲染，这是标准 3DGS 无法实现的能力。
可扩展性： 提供一种解决方案，可在稀疏、大规模驾驶数据上工作，无需受控环境或多曝光输入。

作者总结道，虽然 P2GS 专注于静态背景，且尚未明确将材质属性与外部光照分离（这是未来的方向），但它为自动驾驶中的大规模城市重建奠定了坚实、物理一致的基础。