💻 computer science

Pi-GS: Sparse-View Gaussian Splatting with Dense π^3 Initialization

本文提出了 Pi-GS，一种新颖的稀疏视图 3D 高斯泼溅方法，该方法利用无参考 $\pi^3$ 网络进行稠密初始化，并结合了不确定性引导的深度监督、法线一致性和深度变形，从而在多个数据集上实现了最先进的性能。

原作者： Manuel Hofer, Markus Steinberger, Thomas Köhler

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Manuel Hofer, Markus Steinberger, Thomas Köhler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图构建一个详细的房间 3D 模型，但你手里只有几张从不同角落拍摄的模糊照片。大多数 3D 构建工具都会因此产生混乱；它们可能会猜错形状，创造出在半空中飘浮的“幽灵”物体，或者让墙壁看起来凹凸不平。这正是 Pi-GS 所解决的问题。

以下是该论文方法的简单拆解，使用了日常类比：

问题所在：用极少的蓝图盖房子

传统的 3D 工具（如 3D Gaussian Splatting）在创建高质量的实时 3D 场景方面表现出色，但它们通常需要大量的照片（就像一整套完整的蓝图）才能开始工作。如果只给它们几张照片（即“稀疏视角”），它们就很难搞清楚物体在 3D 空间中的位置。

结果： 它们会产生“漂浮物”（在不该有东西的地方出现的幽灵状色块）和不一致的视角（当你从不同角度观察物体时，它看起来会发生变化）。
原因： 它们无法得知真实的深度（物体离多远）或墙壁的真实形状。

解决方案：Pi-GS（聪明的建筑师）

作者创建了一种名为 Pi-GS 的新方法。你可以把它想象成聘请了一位超级聪明的建筑师，即使他从未去过那个房间，仅凭几张照片就能立即绘制出一份完整的、高密度的 3D 房间地图。

以下是 Pi-GS 使用的四个主要技巧：

1. “神奇草图”（稠密 $\pi^3$ 初始化）

通常，3D 工具通过寻找照片之间的匹配点来猜测初始形状。但在照片很少的情况下，这种方法会失效。

解决方法： Pi-GS 使用了一个预训练的 AI 网络，称为 $\pi^3$ 。想象这个网络是一位见过无数房间的资深绘图员。你向它展示那几张照片，它会立即为你画出一份稠密点云（代表房间形状的大量点阵），而不需要进行传统方法中那种缓慢且易出错的数学计算。
类比： 与其试图通过两张模糊的照片来猜出一辆车的形状，不如直接请一位专家为你瞬间画出整辆车的轮廓作为起点。

2. “置信度过滤器”（基于不确定性的深度）

“神奇草图”并不完美。有时 AI 会猜出墙壁的深度，但它并不百分之百确定。

解决方法： Pi-GS 不会盲目信任每一个猜测。它使用了一种特殊的数学工具（置信度感知损失），其逻辑是：“如果 AI 对某个特定位置不确定，不要强迫 3D 模型必须完美匹配它，让它稍微‘晃动’一点也没关系。”
类比： 如果你的建筑师说：“我觉得门在这里，但我只有 50% 的把握。”你不会立刻把门框钉死，而是会留出一点调整的空间，以免最后把门建错位置。

3. “网格清洁工”（掩码法线监督）

绘制草图的 AI 是以小方块（类似于马赛克）来处理图像的。有时，这些方块之间的边缘看起来会有锯齿感或“网格感”，从而在最终的 3D 模型中产生难看的伪影。

解决方法： Pi-GS 在这些方块的边界上放置了一个“掩码”。它告诉 3D 模型：“忽略 AI 草图中边缘那些奇怪的网格线，只需专注于中间平滑的部分。”
类比： 如果你正在绘制一幅由瓷砖组成的壁画，而瓷砖缝隙看起来很乱，你会告诉画家：只需平滑瓷砖中心的油漆，忽略瓷砖交界处杂乱的边缘。

4. “假窗口”（深度扭曲与伪视图）

当你只有几张照片时，AI 可能会出现“过拟合”现象，即它完美地记住了那几张特定的照片，但当你尝试从新角度观察场景时，表现就会很差。

解决方法： Pi-GS 创建了伪视图（fake new views）。它将现有的照片投影到 3D 空间中，然后将其“再投影”出来，使其看起来像是从稍微不同的角度拍摄的。它利用这些伪视图来训练模型，使其更具灵活性。
类比： 如果你试图仅通过两个视频来学习一段舞蹈动作，你可能会卡住。但如果你通过想象自己在房间内稍微不同的位置来练习动作，你会学得更好，并且能从任何角度完成表演。

最终结果

通过结合聪明的初始草图、不确定性猜测的过滤器、网格误差的清理以及额外的练习视图，Pi-GS 构建的 3D 场景具有以下特点：

更少的幽灵物体（漂浮物）。
从每个角度看都保持一致性。
与实际场景的几何结构完美对齐。

该论文在各种数据集（如室内房间和室外场景）上测试了这种方法，并证明了在只有少量照片可用时，它比以往的方法表现得更好，且无需复杂的、缓慢的传统 3D 扫描设备。

技术摘要：Pi-GS：基于密集 $\pi^3$ 初始化的稀疏视角高斯泼溅

问题陈述
3D 高斯泼溅（3DGS）已成为新视角合成（NVS）领域的领先方法，提供了实时渲染和快速训练的能力。然而，其性能高度依赖于准确的相机姿态和高质量的点云初始化，而这些通常源自运动恢复结构（SfM）流水线。在稀疏视角场景下（例如 3 到 12 张输入图像），传统的 SfM 由于图像重叠度有限，往往会失效，导致生成的点云稀疏甚至不存在。这会导致初始化不良、深度歧义、对训练视角过拟合以及重建场景中出现“漂浮物”（artifacts）。虽然目前存在基于学习的替代方案，但许多方法仍需要可靠的参考视图，或者对姿态和深度误差非常敏感。

方法论
所提出的方法 Pi-GS 通过将密集的、无参考的点云估计网络 ( $\pi^3$ ) 与改进的 3DGS 框架（具体为 PGSR）以及一系列几何正则化技术相结合来解决这些挑战。

通过 $\pi^3$ 进行密集初始化：
不同于依赖传统 SfM（如 COLMAP）的方法（在低重叠度设置下仅产生稀疏点云），Pi-GS 利用预训练的、前馈式置换等变网络 ( $\pi^3$ )，直接从输入图像估计密集的点云和相机姿态。实验表明，对于同一场景， $\pi^3$ 生成了超过一百万个点，而 COLMAP 仅产生约 1,000 个点，这为优化提供了鲁棒的几何基础。
适配的 PGSR 框架：
该方法基于基于平面的高斯泼溅以实现高效且高保真表面重建（PGSR）构建。为了适应稀疏视角，作者停用了“多视图观察者修剪”（要求点被多个相机观测）和“不透明度重置”机制。禁用不透明度重置可以防止在训练过程中丢失背景细节并形成伪影。此外，由于来自 $\pi^3$ 的密集初始化已经提供了足够的几何细节，因此也停用了用于高斯加密的分裂策略。
不确定性感知深度监督：
为了对几何进行正则化，Pi-GS 采用了置信度感知的皮尔逊相关损失 ( $L_{pearson}$ )。与可能强制模型过拟合噪声深度估计的标准 $L_1$ 或 $L_2$ 损失不同，该损失结合了 $\pi^3$ 提供的置信度分数。它会降低不确定区域的权重，使模型能够在保持结构一致性的同时，恢复高频细节。
无伪影法线监督：
表面法线是从深度图导出的。然而，由于 $\pi^3$ 以 $14 \times 14$ 像素块的形式处理图像，梯度不连续会在法线图中产生网格状伪影。Pi-GS 引入了一种掩码策略，在计算损失时忽略这些块的内部边界，从而有效地消除了最终重建中的网格伪影。该监督过程使用渲染法线与估计法线之间的 $L_1$ 损失。
通过深度扭曲生成伪视图：
为了进一步提高泛化能力并减少过拟合，该方法通过深度扭曲生成伪视图。利用两个最近已知相机姿态之间的圆插值，合成新的虚拟视角。在投影过程中，置信度较低的像素会被掩码过滤。这些伪视图在训练期间以较低的权重（0.1）用于额外的光度监督（SSIM 和 $L_1$ ）。

核心贡献

无参考密集初始化： $\pi^3$ 的集成消除了对传统 SfM 流水线的依赖，为稀疏视角 3DGS 提供了密集的几何先验，克服了初始化失败的问题。
置信度感知皮尔逊损失： 一种新型深度损失公式，利用不确定性估计来平衡结构一致性与高频细节的恢复，避免了对噪声深度预测的过拟合。
鲁棒的稀疏视角优化： 采用改进的 PGSR 框架，禁用了不适用于稀疏数据的特定加密和修剪策略，并结合了掩码法线监督以消除网格伪影。
几何一致性： 使用深度扭曲和伪视图增强了视图一致性，并在不依赖生成式先验或视图幻觉的情况下减少了漂浮物的产生。

实验结果
Pi-GS 在 Tanks and Temples、MipNeRF360、LLFF 和 DTU 四个标准数据集上进行了评估，涵盖了 3 视图和 12 视图两种设置。

性能： 与最近的稀疏视角方法（如 Intern-GS、InstantSplat、SparseGS 和 DNGaussian）相比，该方法在大多数指标（PSNR、SSIM、LPIPS）上均达到了最先进水平（SOTA）。
定性改进： 可视化结果表明，与标准 3DGS 和 PGSR 相比，该方法显著减少了漂浮物，使高斯分布与底层表面几何对齐得更好，并提高了高频纹理的保留能力。
消融研究： 实验证实了每个组件都对最终性能有所贡献。具体而言，密集初始化带来的增益最大，其次是深度正则化、法线正则化和深度扭曲。研究还指出，在此背景下启用高斯分裂会略微降低性能，从而证明了禁用它的合理性。
姿态准确性： $\pi^3$ 估计的相机姿态在 Tanks and Temples 数据集上的绝对轨迹误差（ATE）为 0.0293，验证了其适用于高保真重建。

意义与局限性
论文声称，Pi-GS 通过将依赖从迭代且易失败的 SfM 流水线转向鲁棒的前馈几何初始化，显著推进了稀疏视角 3D 重建。通过专注于几何一致性和泛化性而非视图幻觉，该方法能够生成具有改进表面对齐能力的视图一致的新视角。

作者承认了特定的局限性：

内存限制： 使用 $\pi^3$ 处理大量输入视图会消耗大量的 GPU 显存，这使得处理超大型数据集在目前对于消费级硬件来说仍不可行。
深度估计误差： 在某些具有挑战性的场景（例如 LLFF 中的“leaves”场景）中，不准确的深度估计仍会对重建质量产生影响。
未观测区域： 与其他非生成式方法一样，Pi-GS 无法重建输入视图完全未观测到的区域，尽管它能准确重建已观测区域而不产生过度平滑。

作者建议的未来工作包括相机姿态与高斯场景的联合优化，以及更有效地处理遮挡区域的生成式先验集成的潜力。