💻 computer science

StereoGS: Sparse-View 3D Gaussian Splatting via Stereo Priors

StereoGS 通过集成用于绝对尺度和双目一致性的立体先验，以及梯度感知的不透明度衰减策略和一致性感知的稠密初始化，解决了 3D 高斯泼溅在稀疏视角设置下的过拟合和几何不一致问题，从而在不增加额外推理开销的情况下实现了最先进的性能。

原作者： Wenhao Yuan, Yiyuan Ge, Deli Cai

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenhao Yuan, Yiyuan Ge, Deli Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图构建一个详细的 3D 房间模型，但你手里只有几张从不同角落拍摄的模糊照片。如果你尝试使用标准方法（比如流行的“3D 高斯泼溅”或 3DGS）来构建这个模型，计算机就会感到困惑。它会开始“幻觉”，用随机的噪声和漂浮的色块来填补空白，因为它没有足够的线索来判断墙壁和家具到底在哪里。这就像是在拼凑一个缺失了 90% 碎片的拼图；计算机只能靠猜，结果看起来既混乱又虚假。

StereoGS 论文提出了一种更聪明的方法来解决这个拼图难题。以下是他们通过三个简单的技巧实现的方案：

1. “虚拟孪生”技巧（立体深度正则化）

问题： 大多数先前的方法试图仅通过单个摄像机的视角来猜测深度（物体有多远）。这就像是闭上一只眼睛来判断一辆车有多远。你可能会有一个大概的概念，但你无法确定这辆车是在 10 英尺处还是 100 英尺处（这被称为“尺度歧义”）。此外，如果你从两个不同的角度观察同一个物体，你单眼的猜测可能会相互矛盾。

解决方案： StereoGS 表现得就像拥有两只眼睛。即使你只有几张照片，该系统也会在你的真实相机旁边创建一个**“虚拟孪生”**相机。它假装从这个新的角度拍摄一张照片。然后，它使用一个超级智能的 AI（一个“基础立体模型”）来对比真实照片和虚拟照片，就像你的大脑通过比较左右眼的图像来判断深度一样。

结果： 这迫使 3D 模型拥有真实的、准确的尺度，并确保几何结构在每个角度下看起来都是一致的，从而阻止了计算机进行疯狂的猜测。

2. “智能园丁”（梯度感知不透明度衰减）

问题： 当计算机构建 3D 模型时，它会创建成千上万个微小的、不可见的“云团”（高斯点）来代表场景。在稀疏视图设置下，它会创建过多的云团，其中包含许多并不属于场景的无用“杂草”（噪声）。标准方法只是随机地修剪（剪掉）这些云团，但这有时会不小心把重要的“树木”也给剪掉。

解决方案： StereoGS 扮演了一个**“智能园丁”**的角色。它不是随机修剪，而是检查每个云团的工作强度。

如果一个云团正在积极地帮助修复图像（它具有很强的“梯度”或信号），园丁会说：“保留这个，它很重要！”
如果一个云团很懒散，对整体贡献不大，园丁会说：“你只是在占用空间，”并让它慢慢淡化。
结果： 这移除了漂浮的噪声和“杂草”，而不会损害场景的实际结构，留下了一个干净、紧凑的模型。

3. “坚实基础”（一致性感知稠密初始化）

问题： 在建造房子之前，你需要一个稳固的地基。先前的方法通常从非常稀疏、摇摆不定的点（就像一些零散的碎石）开始构建 3D 模型。这使得后期很难盖出一座好房子。

解决方案： StereoGS 使用一个强大的预训练 AI 来观察所有的照片，并从一开始就构建一个稠密且可靠的点云。它会从多个角度检查这些点，以确保它们彼此一致，并丢弃任何不符合要求的点。

结果： 3D 模型在诞生之初就建立在一个坚如磐石的基础之上，这使得它在随后精炼成高质量图像时要容易得多。

核心总结

通过结合这三个技巧——给计算机两只眼睛来判断距离、扮演智能园丁来清除噪声以及从坚实的基础开始——StereoGS 仅凭几张照片就能构建出极其逼真的 3D 场景。

论文声称，在标准测试数据集的“稀疏视图”（少量照片）场景下，该方法目前产生了最好的结果。至关重要的是，所有这些聪明的技巧都仅在计算机学习（训练）期间发生。一旦模型构建完成，它渲染图像的速度与原始的标准方法一样快，不会给用户带来额外的延迟。

技术摘要：StereoGS

问题陈述

虽然 3D 高斯泼溅（3DGS）在稠密视角设置下彻底改变了实时新视角合成（NVS），但在应用于稀疏视角场景时，它会面临严重的过拟合和几何缺陷问题。在稀疏设置下，有限的视角重叠和不足的外观对应关系无法提供足够的几何约束。现有的利用单目深度先验来缓解这些问题的尝试面临两个根本性的局限：

尺度歧义性（Scale Ambiguity）： 单目深度估计是相对的而非绝对的。强制执行这些先验作为正则化项往往会与来自输入图像的光度一致性发生冲突，从而在优化过程中导致误导。
跨视图不一致性（Cross-View Inconsistency）： 单目深度图是针对每个视角独立推断的，导致同一空间点在不同视角下的深度值不一致。当进行反投影时，这些不一致性会导致空间错位和几何伪影。

此外，现有的试图强制执行跨视图一致性（例如通过对翘曲图像进行光度损失计算）的方法，往往缺乏对 3D 高斯原语（primitives）的直接梯度引导，导致无法将其准确地锚定在场景表面。

方法论

StereoGS 提出了一个稀疏视角 3DGS 框架，该框架集成了立体视觉先验（stereo priors），以在优化过程中建立可靠的双目一致性和绝对尺度约束。该方法由三个核心组件组成：

1. 一致性感知稠密初始化

为了克服稀疏设置下标准运动恢复结构（SfM）点云的稀疏性和噪声问题，StereoGS 采用了零样本多视图深度估计器（MVSAnywhere）结合严格的几何过滤。

对于每个训练视角，模型使用剩余图像作为源视图来估计深度图。
利用跨视图重投影误差来过滤离群值。
过滤后的深度图被反投影并融合为一个稠密的、多视图一致的点云，为高斯函数提供稳健的几何基础。

2. 立体深度正则化

不同于依赖尺度无关的单目约束的方法，StereoGS 引入了**立体深度正则化（Stereo Depth Regularization）**项，以强制实现绝对尺度和双目一致性。

虚拟立体对构建： 在优化期间，通过水平平移，为每个训练视角（视为左相机）构建一个虚拟的右相机。
参考深度生成： 将地面真值左图和渲染的右视图图像输入到基础立体模型（FoundationStereo）中，以生成高度准确的参考视差图。这作为一个外部的、具备尺度感知能力的先验。
一致性过滤： 对估计的视差进行左右一致性检查，以识别遮挡和错误匹配，从而生成有效性掩码（ $M_{valid}$ ）。
损失函数： 该方法最小化有效像素在逆深度空间中渲染深度与立体衍生深度（ $Z_{stereo}$ ）之间的 L1 误差：
$\mathcal{L}_{depth} = \lVert M_{valid} \odot (\frac{1}{\hat{Z}} - \frac{1}{Z_{stereo}}) \rVert_1$
这一过程迫使 3D 高斯学习绝对尺度和一致的结构。

3. 梯度感知不透明度衰减

为了抑制过拟合并消除冗余的原语（floaters），同时又不至于盲目移除稳定的表面结构，StereoGS 使用了一种动态策略取代了周期性的不透明度重置。

核心洞察： 不透明度梯度（ $\nabla_\alpha \mathcal{L}$ ）的大小反映了高斯的必要性。较大的梯度表示其对降低光度误差有关键贡献，而微小的梯度则表明其具有冗余性。
机制： 通过将每个高斯的梯度幅值相对于所有高斯的平均梯度幅值进行归一化，计算出一个相对梯度 $\beta$ 。
衰减因子： 使用基于 $\beta$ 的指数软阈值函数推导出一个动态衰减因子 $\gamma$ 。相对梯度较小的高斯会被更严厉地惩罚，而那些有较大更新需求的高斯则会被保留。
$\gamma = 1 - (1 - \gamma_{base}) \exp(-s \cdot \beta)$
随后对不透明度进行缩放，即 $\hat{\alpha} = \gamma \alpha$ 。

核心贡献

立体深度正则化： 一种新颖的机制，利用基础立体模型在优化过程中强制执行绝对尺度约束和双目一致性，解决了单目先验固有的尺度歧义问题。
梯度感知不透明度衰减： 一种动态剪枝策略，根据相对梯度幅度调整不透明度，在有效消除冗余原语的同时保留了本质的场景几何结构。
一致性感知稠密初始化： 一个鲁棒的初始化流水线，利用零样本多视图深度估计和几何过滤来创建高质量的点云基础。
最先进的性能： 该方法在稀疏视角设置下实现了卓越的结果，且不会增加额外的推理开销，因为所有提出的策略仅在训练阶段使用。

实验结果

StereoGS 在四个标准数据集上进行了评估：LLFF、DTU、Mip-NeRF360 和 Blender，使用了稀疏训练视角（例如，LLFF/DTU 使用 3、6、9 个视角；Mip-NeRF360 使用 12、24 个视角）。

定量性能： StereoGS 在 PSNR、SSIM 和 LPIPS 指标上始终优于现有的基于 NeRF 的（如 RegNeRF、FreeNeRF）和基于 3DGS 的（如 DNGaussian、FSGS、Binocular3DGS）方法。例如，在 3 视图的 LLFF 数据集上，StereoGS 达到了 21.91 的 PSNR，超过了之前的最优方法（Binocular3DGS 的 21.44）。
定性改进： 定性比较表明，StereoGS 显著减少了无纹理区域的伪影，并保留了基准方法无法重建的细粒度细节（如物体边界、草地纹理）。其深度图更加连贯且准确，空洞和浮点物（floaters）更少。
消融研究： 实验证实，每个组件（稠密初始化、立体正则化和梯度感知衰减）都对性能有增量贡献。移除任何模块都会导致定量指标和视觉质量的明显下降。

重要性与声明

本文声称 StereoGS 从根本上解决了稀疏视角 3D 高斯泼溅中关键的尺度歧义和几何不一致挑战。通过集成基础立体模型和梯度感知剪枝策略，该框架建立了一个稳健的几何基础，使 3DGS 在稀疏视角条件下能够实现最先进的新视角合成质量。

一个关键声明是，这些改进是在不增加额外推理开销的情况下实现的，保持了原生 3DGS 的实时渲染效率。作者承认了局限性，指出立体模型在极度无纹理区域可能仍会遇到困难，且在线正则化会增加额外的训练时间，并将这些作为未来的研究方向。