💻 computer science

HarmoGS: Robust 3D Gaussian Splatting in the Wild via Conflict-Aware Gradient Harmonization

HarmoGS 通过引入一个冲突感知框架，将语义一致性引导的掩膜与双视图梯度协调策略相结合，以稳定优化并实现最先进的渲染质量，从而解决了野外 3D 高斯泼溅中瞬态干扰和光照不一致的挑战。

原作者： Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图利用数百张游客拍摄的照片，构建一个著名城市广场的完美 3D 模型。问题在于，这些照片杂乱无章。有些照片里有行人穿过镜头，有些则有车辆，而且光线从阳光明媚的早晨变化到多云的下午。如果你只是简单地将所有这些照片拼凑在一起，生成的 3D 模型最终会看起来像一个充满故障的噩梦，充斥着漂浮的幽灵和模糊的拖影。

这篇论文提出了HarmoGS，一种构建这些 3D 模型的新方法，它能更好地忽略杂乱，并推断出“真实”场景的模样。以下是其工作原理，分解为简单的概念：

问题：“委员会”之争

将 3D 模型想象成由一个艺术家委员会（即不同的照片）共同塑造的黏土雕塑。

问题所在： 在现实世界中，有些艺术家看到的是晴天，而另一些看到的是雨天。有些艺术家看到的是干净的街道，而另一些则看到有人正从雕像前走过。
结果： 如果委员会试图达成一致，他们就会将黏土向相反的方向拉扯。一位艺术家说“把黏土向左移”，另一位说“向右移”。黏土最终会振动、撕裂，或形成奇怪的团块。在计算机术语中，这被称为梯度冲突。

解决方案：三步和谐流程

作者引入了一套系统，旨在在争论毁掉雕塑之前将其化解。

1. “智能过滤器”（语义一致性引导的掩码）

在委员会开始争论之前，他们需要知道哪些照片是可信的。

旧方法： 以前的方法使用基本检查清单（例如“如果看起来像人，就模糊处理”）。这往往会遗漏某些内容，或者意外地模糊了真实的雕像。
HarmoGS 方法： 他们使用一种“智能过滤器”来学习识别不一致之处。它会审视照片并问道：“这个像素与其他像素相比是否显得怪异？”如果一个像素属于移动的人或奇怪的阴影，该过滤器就会将其标记为“不可靠”，并告知委员会忽略它。这就像有一位主持人说：“忽略那个举着牌子的人；专注于雕像。”

2. “外交官”（冲突感知梯度调和）

这是该论文最大的创新。即使有了过滤器，仍会存在一些分歧。

场景： 想象两位艺术家仍在争论。艺术家 A 想把黏土推向北方，艺术家 B 想把它推向南方。如果你只是取平均值，黏土要么不动，要么被压碎。
技巧： “外交官”（即算法）不强迫他们同意一个方向，而是将两者的推力旋转。它将它们相反的力量转化为两个相互垂直（成 90 度角）的力。
类比： 想象两个人在推一辆车。一个人向北推，一个人向南推。车哪儿也去不了。外交官说：“好吧，你向北推，你向东推。”现在，他们不再对抗，而是共同努力将车沿对角线移动。这停止了“振动”，让模型稳定成平滑的形状。

3. “园丁”（冲突感知致密化与剪枝）

随着模型的生长，它会添加新的黏土块（高斯分布）来填补空隙。

问题： 有时，模型会在照片仍严重分歧的地方添加一块黏土。这块黏土会变成永远无法定型的“漂浮幽灵”。
修复： 系统为每一块黏土保留一个分数。如果一块黏土不断收到冲突的指令（高冲突分数），“园丁”就会慢慢将其淡化（降低其不透明度），直到它消失。如果一块黏土表现良好，系统就会在其周围生长出更多的块。这确保了最终模型仅由稳定、可靠的部分组成。

结果

通过使用这种“智能过滤器”、“外交官”和“园丁”，作者表明，他们的方法比以前的方法能创建出更清晰、更锐利的真实场景 3D 模型。它能更好地处理移动的人、变化的光线和杂乱的背景，从而生成一个看起来真实且没有那些恼人的漂浮伪影的 3D 世界。

简而言之： 他们教会了计算机如何忽略噪声、协商不同照片之间的争论，并剔除糟糕的部分，从而产生更稳健的 3D 重建。

技术摘要：HarmoGS：通过冲突感知梯度调和实现野外鲁棒的 3D 高斯泼溅

1. 问题陈述

从非约束的“野外”图像集合中重建可靠的 3D 表示，仍然是计算机视觉领域的一项重大挑战。尽管像 3D 高斯泼溅（3DGS）这样的最新进展已实现了实时、高质量的渲染，但它们通常假设光照一致且场景内容稳定。在现实场景中，训练图像往往受到瞬态干扰物（例如移动的行人与车辆）以及不同视角间光照引起的表观不一致性的破坏。

现有方法主要依赖图像级掩码来抑制不可靠的监督信号。然而，作者指出了该方法存在的两个关键局限性：

残留遮挡：掩码往往无法完全排除复杂或语义模糊的瞬态物体，从而留下残留噪声。
光照冲突：掩码无法解决视角依赖的光照不一致问题。

这些未解决的问题导致了跨视角梯度冲突。当利用不一致的视角优化共享的高斯表示时，产生的梯度可能指向相反方向（形成钝角）。这会破坏优化过程的稳定性，导致可见的重建伪影和漂浮原语。

2. 方法论

作者提出了HarmoGS，这是一个冲突感知的 3DGS 框架，通过双视角训练策略和三个核心组件来解决上述问题：

A. 语义一致性引导的掩码

为了在梯度形成之前提高监督信号的可靠性，该方法引入了一种自适应掩码策略来优化先验掩码：

先验掩码：利用预训练的 SAM（Segment Anything Model）生成二值掩码（ $M_{bin}$ ），以识别潜在的瞬态区域。
学习的一致性分数：一个由冻结的 DINOv2 骨干网络引导的轻量级预测器（ $f_\psi$ ）在训练期间学习像素级的一致性分数（ $S_i$ ）。该分数源自渲染图像与真实图像之间的光度残差和语义差异。
自适应优化：最终掩码（ $M_i$ ）结合了二值先验和学习到的 consistency 分数。它自适应地抑制不可靠区域（瞬态干扰物），同时修正初始二值掩码中的错误，确保只有可靠的图像证据参与损失计算。

B. 冲突感知梯度调和

认识到仅靠掩码无法消除所有优化冲突，该框架采用双视角训练方法。在每次迭代中，采样两个视角并计算其特定梯度（ $g_1, g_2$ ）。

冲突检测：当两个梯度的点积为负（ $g_1^\top g_2 < 0$ ）时，即表明存在钝角（ $\theta > \pi/2$ ），此时判定为冲突。
正交旋转：为了解决冲突，该方法在由这两个梯度张成的子空间（ $V = \text{span}(g_1, g_2)$ $V = span (g_{1}, g_{2})$ ）内旋转这两个梯度，直到它们变为正交（ $\tilde{g}_1^\top \tilde{g}_2 = 0$ $\tilde{g}_{1}^{⊤} \tilde{g}_{2} = 0$ ）。
- 总角度校正量（ $\theta - \pi/2$ ）通过分配参数 $\rho$ 在两个梯度之间进行分配。
- 旋转操作在消除负向干扰的同时，保留了梯度的原始幅值。
线性组合：调和后的梯度被求和，并利用解析推导出的系数表示为原始梯度的线性组合（ $\tilde{g} = \tau_1 g_1 + \tau_2 g_2$ ）。
几何衰减：对于几何属性（位置、旋转、缩放），如果检测到冲突，则应用额外的衰减因子以进一步抑制伪影。

C. 冲突感知致密化与剪枝

该框架扩展了标准的 3DGS 结构更新，使其具备跨视角冲突感知能力：

致密化：该方法不再依赖单视角统计量，而是聚合来自两个采样视角的视图空间梯度，并通过调和步骤中导出的冲突感知系数进行调制。这利用更可靠、经冲突调和的信号来引导高斯生长。
剪枝：该方法随时间跟踪每个高斯的跨视角冲突情况。如果一个高斯持续表现出高冲突分数（表明存在持续的不稳定性或漂浮伪影），则定期衰减其不透明度。这使得标准剪枝过程能够自然地移除这些不稳定的原语。

3. 主要贡献

冲突感知梯度调和框架：一种新颖的双视角训练策略，通过将跨视角梯度冲突旋转至正交配置来显式地调和这些冲突。这减少了由瞬态干扰物和光照不一致引起的不兼容更新。
语义一致性引导的掩码：一种自适应掩码机制，通过学习像素级一致性分数来优化先验二值掩码，在梯度形成前有效抑制不可靠的监督信号。
冲突感知结构更新：引入了利用冲突感知信号来稳定高斯生长并移除持续冲突原语的致密化与剪枝策略。
最先进的性能：大量实验表明，与现有的 NeRF 和 3DGS 基线相比，该方法在标准的野外基准测试中实现了更优越的渲染质量和重建保真度。

4. 实验结果

作者在三个广泛使用的野外基准测试上评估了 HarmoGS：PhotoTourism、NeRF On-the-go 和 RobustNeRF。

定量性能：该方法在所有指标（PSNR、SSIM、LPIPS）上始终优于最先进基线（包括 RobustNeRF、WildGaussian、SpotLessSplats 和 AsymGS）。例如，在 NeRF On-the-go 数据集上，HarmoGS 在高遮挡场景中的 PSNR 达到了 24.67，显著超越了之前的最佳结果（AsymGS）。
定性结果：视觉对比显示，HarmoGS 有效抑制了漂浮伪影，生成了更清晰的渲染图像，具有更忠实的场景细节，特别是在具有复杂瞬态遮挡和光照变化的场景中。
消融研究：
- 移除双视角设置或梯度调和组件会导致 PSNR 和 SSIM 出现明显下降，证实了冲突调和的必要性。
- 学习到的一致性分数（ $S_i$ ）与二值先验掩码（ $M_{bin}$ ）的组合比单独使用任一组件效果更好，证明了它们的互补性。
- 冲突感知的致密化和剪枝产生了更紧凑的高斯表示（点数更少），同时保持了更高的质量，表明不稳定的原语已被移除。

5. 意义与主张

本文主张，HarmoGS 通过解决优化不稳定性的根本原因——跨视角梯度冲突——为非约束环境下的 3D 重建提供了鲁棒的解决方案。

超越掩码：该工作强调，图像空间掩码不足以应对野外 3DGS 的挑战。通过在梯度层面进行操作，该方法解决了即使在掩码处理后仍存在的冲突，从而实现了更稳定的优化。
双视角优化：作者提出，联合考虑两个视角允许显式地检测和调和冲突，这是标准单视角优化流程中所缺乏的能力。
通用性：该方法被提出为一个通用框架，兼容现有的 3DGS 实现（基于 Mip-Splatting 构建），无需复杂的特定场景启发式规则，即可显著提高对瞬态干扰物和光照变化的鲁棒性。

作者总结道，他们的方法能够在具有挑战性的现实世界场景中实现高保真的新视角合成，推动了 3D 高斯泼溅技术在非约束图像集合中的应用。