The Role and Relationship of Initialization and Densification in 3D Gaussian Splatting

该论文通过提出新基准，系统研究了 3D 高斯泼溅（3DGS）中初始化与致密化策略的关系，发现现有的致密化方法无法充分利用密集初始化数据，往往难以在稀疏 SfM 初始化的基础上实现显著提升。

要点

这篇论文探讨的是计算机视觉领域的一个热门技术：3D 高斯泼溅（3D Gaussian Splatting，简称 3DGS）。

为了让你轻松理解，我们可以把重建一个 3D 场景想象成用无数张彩色的、半透明的“贴纸”去拼凑出一幅逼真的 3D 画作。

1. 核心概念：什么是 3DGS？

想象一下，你手里有一堆彩色的、形状各异的“果冻”（这就是 3D 高斯球）。

• 位置：果冻放在哪里。
• 大小和方向：果冻是扁的、圆的，还是拉长的。
• 颜色：从不同角度看，果冻呈现什么颜色。
• 透明度：果冻是透明的还是不透明的。

3DGS 的目标就是把这些果冻摆好位置，让你从任何角度透过它们看过去，都能看到和真实照片一模一样的画面。

2. 两个关键步骤：起步（初始化）与 补全（致密化）

要把这幅画拼好，通常分两步走：

• 第一步：起步（Initialization）—— 先撒一把种子
  你需要先有一些基础的“种子点”来开始工作。

  • 传统做法：用一种叫“运动恢复结构（SfM）”的技术，从照片里提取出一些稀疏的点（就像在画布上稀疏地撒了几把沙子）。
  • 新尝试：能不能直接用激光扫描仪扫出来的超密集点云，或者用 AI 预测的超密集深度图来当种子？（就像直接倒了一桶沙子上去）。
  • 直觉：大家觉得，种子撒得越密、越准，最后画出来的画应该越好，对吧？

• 第二步：补全（Densification）—— 哪里不够补哪里
  光有种子不够，有些角落可能还是空的，或者细节不够。这时候就需要“补全”机制。

  • 系统会检查画面哪里模糊、哪里缺细节，然后自动分裂现有的果冻，或者复制新的果冻填进去。
  • 这就好比画家发现哪里颜色淡了，就再补几笔。

3. 这篇论文发现了什么？（核心冲突）

这篇论文就像是一个严谨的“实验员”，它做了一个大实验：
它把各种各样的“种子”（稀疏的沙子、密集的激光扫描、AI 预测的密集点）和各种各样的“补全方法”（不同的画家补笔技巧）进行了排列组合，看看谁配合得最好。

结果让人大跌眼镜，主要有四个发现：

1. “种子”越密，不一定越好

   • 比喻：如果你一开始就倒了一整桶沙子（高密度初始化），有些补全方法（画家）反而会因为沙子太密、太均匀，而不知道该在哪里下笔，导致最后画出来的效果反而不如只撒了几把沙子（稀疏初始化）的情况好。
   • 原因：现在的“补全”算法太依赖“哪里缺了补哪里”。如果一开始就铺满了，算法反而失去了“寻找空白”的敏锐度，甚至把原本不需要补的地方也补乱了。

2. 有些“补全”方法太强大，根本不在乎种子

   • 比喻：有些画家（论文中提到的 MCMC 和 IDHFR 方法）技术太高超了。不管你是给他一把沙子（稀疏种子）还是一桶沙子（密集种子），他都能通过自己的“补笔”技巧，把画修得差不多一样好。
   • 结论：对于顶尖的补全算法来说，起步时的种子质量并不是瓶颈。

3. 密集种子唯一的真正好处：泛化能力

   • 比喻：虽然画出来的主图差不多，但如果你让画家去画一个从未见过的角度（比如绕到房子背面），那些用“密集种子”起步的画，往往能更好地还原背面的细节。
   • 原因：密集种子提供了更全面的几何结构信息，帮助模型在没见过的地方也能“猜”对形状。

4. 没有万能药

   • 没有一种“补全”方法在所有情况下都是最好的。有的擅长处理纹理，有的擅长处理几何，有的对种子不敏感。

4. 给未来的建议（论文结论）

基于这些发现，作者给行业提了两条建议：

1. 别在“种子”上死磕了：
   与其花大力气去搞那种昂贵、复杂的激光扫描来提供完美的初始点云，不如把精力花在改进“补全”算法上。因为只要补全算法够强，哪怕起步只有稀疏的沙子，也能画出好画。

2. 要“因材施教”：
   未来的研究不应该把“起步”和“补全”分开看。应该设计专门配合某种特定起步方式的补全算法。比如，如果你用了 AI 预测的密集点做种子，那就得用一种能处理这种密集数据的补全方法，而不是通用的方法。

总结

这就好比做菜：

• 3DGS 是做一道大菜。
• 初始化 是备菜（切好的肉块）。
• 致密化 是烹饪过程（炒、炖、调味）。

这篇论文告诉我们：以前大家总觉得备菜越精细（切得越碎、越密），菜越好吃。但研究发现，只要厨师（致密化算法）手艺够好，哪怕只是随便切几块肉（稀疏初始化），炒出来味道也差不多。反而有时候备菜太精细，厨师反而不知道该怎么下锅了。

所以，未来的重点应该是培养更厉害的厨师（改进致密化算法），而不是盲目追求更精细的备菜（追求更完美的初始点云）。

技术摘要

这是一篇关于 3D 高斯泼溅（3D Gaussian Splatting, 3DGS） 中**初始化（Initialization）与致密化（Densification）**之间关系的深度研究论文。作者系统地评估了不同的初始化策略（从稀疏到密集）如何影响不同致密化算法的性能，并提出了新的基准测试。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：3DGS 已成为从图像进行照片级 3D 重建的首选方法。它通过一组参数化的高斯球（位置、协方差、不透明度、颜色）来表示场景。
• 标准流程：通常使用基于运动恢复结构（SfM）生成的稀疏点云作为初始高斯位置，随后通过**致密化（Densification）**阶段（如克隆、分裂高斯）来填充场景细节，以覆盖训练图像中未充分表示的区域。
• 现有研究缺口：
  • 大多数致密化策略是针对稀疏 SfM 初始化设计的。
  • 另一条研究路线（特别是在少视图重建中）致力于改进初始化，利用密集立体匹配、单目深度估计或激光扫描数据生成更密集的初始点云，试图减少对致密化的依赖。
  • 核心问题：现有的致密化算法能否充分利用高质量的密集初始化？更好的初始化是否消除了对致密化的需求？两者之间的相互作用尚未被系统分析。

2. 方法论 (Methodology)

作者设计了一个新的基准测试（Benchmark），在统一的 3DGS 实现框架下，系统地组合了不同的初始化策略和致密化策略。

A. 初始化策略 (Initialization Strategies)

研究对比了四种类型的初始点云：

1. 稀疏 SfM 点云：当前 3DGS 的标准初始化方式。
2. 激光扫描点云（Ground Truth）：使用高精度激光扫描仪获取的密集点云（作为性能上限基准）。
3. EDGS（密集特征匹配）：基于 RoMa 密集特征匹配网络生成的密集点云。
4. 单目深度初始化（Monodepth）：利用 Metric3Dv2 等单目深度估计模型生成点云，并通过 SfM 位姿进行对齐和去噪。

B. 致密化策略 (Densification Strategies)

评估了三种主流的致密化算法：

1. AbsGS：原始 3DGS 的改进版，解决了梯度抵消问题（使用梯度绝对值之和），能更有效地在模糊区域增加高斯。
2. 3DGS-MCMC：基于马尔可夫链蒙特卡洛（MCMC）框架，通过向高斯均值添加随机噪声来探索场景结构，对初始化不敏感。
3. IDHFR：基于“边缘感知（Edge Aware）”分数的致密化策略，优先在图像边缘区域分裂高斯。

C. 实验设置

• 数据集：ScanNet++（室内，含激光扫描真值）、ETH3D（多视图立体）、Mip-NeRF 360、Tanks & Temples。
• 控制变量：固定最终场景的高斯数量上限（$G_{max}$），以排除模型容量差异对结果的干扰，确保比较的是策略本身的优劣。
• 评估指标：PSNR, SSIM, LPIPS（新视角合成质量）及泛化能力（在未见过的视角上的表现）。

3. 关键发现与结果 (Key Results & Insights)

发现 1：致密化依然至关重要，且能提升密集初始化的性能

即使拥有极其准确的激光扫描点云作为初始化，致密化阶段仍然能显著提升新视角合成（NVS）的质量。在某些情况下，使用密集初始化配合特定的致密化策略（如 MCMC 或 IDHFR），性能甚至不如使用稀疏 SfM 初始化配合相同的致密化策略。

发现 2：初始化质量对某些算法影响甚微

• MCMC 和 IDHFR 对初始化的密度和准确性表现出极高的鲁棒性。它们能够很好地适应从稀疏 SfM 到密集激光扫描的各种初始化。
• 这意味着，对于这两种算法，使用昂贵的激光扫描或复杂的密集匹配来初始化，并没有带来显著的性能提升。

发现 3：密集初始化的潜在负面影响

• 在某些场景（如 ETH3D 或 ScanNet++ 的特定视图）中，使用激光扫描初始化反而导致性能下降。
• 原因分析：
  1. 分布不均：SfM 点云倾向于在纹理丰富区域密集，而激光扫描点云分布均匀。这导致在低频区域（如墙壁）产生了大量不必要的小高斯，占用了有限的$G_{max}$名额，阻碍了致密化算法在高频细节区域（如边缘）的扩展。
  2. 反射表面缺失：激光扫描可能无法捕捉反光表面，导致这些区域初始为空，而致密化算法难以在完全空的区域凭空创建高斯。

发现 4：泛化能力的提升

虽然密集初始化在训练集视图（on-trajectory）上提升有限，但在**未见过的视角（off-trajectory/generalization）**上，密集初始化（特别是基于深度估计的）通常能带来更好的泛化性能，因为它提供了更完整的几何先验。

发现 5：没有“万能”策略

没有一种致密化策略在所有场景和所有初始化条件下都是最优的。例如，AbsGS 在激光扫描初始化下表现最好，但在其他初始化下可能不如 MCMC。

4. 主要贡献 (Key Contributions)

1. 系统性基准测试：提出了首个系统评估 3DGS 初始化与致密化交互作用的基准，公开了代码和数据。
2. 核心洞察：
   • 当前最先进的致密化方法（MCMC, IDHFR）已经足够强大，能够弥补稀疏初始化的不足，使得追求极致的初始化精度（如激光扫描）变得性价比不高。
   • 对于实际应用，鲁棒的致密化策略比高精度的初始化更重要。
3. 实践建议：
   • 未来的工作不应孤立地优化初始化或致密化，而应针对特定的初始化策略定制致密化方案（例如，设计能够合并冗余高斯以释放容量的致密化算法，以适配密集初始化）。
   • 在资源受限的实际系统中，优先使用稀疏 SfM 初始化配合先进的致密化算法（如 MCMC 或 IDHFR）是最佳选择。

5. 意义与影响 (Significance)

• 理论层面：澄清了 3DGS 优化过程中“起点”（初始化）与“过程”（致密化）的辩证关系，打破了“初始化越密越好”的直觉误区。
• 工程层面：为 3D 重建系统的开发者提供了明确的指导。如果目标是快速、高质量的重建，无需投入大量算力去获取激光扫描数据或运行复杂的密集匹配，直接使用 SfM 配合成熟的致密化算法即可达到 SOTA 效果。
• 未来方向：指出了未来研究应聚焦于**“初始化 - 致密化协同优化”**，特别是开发能够处理密集初始化带来的冗余问题（如高斯合并）的算法，而非单纯追求更密的初始点云。

总结：这篇论文通过严谨的实证研究证明，在当前的 3DGS 技术栈中，致密化算法的鲁棒性已经超越了初始化精度的瓶颈。与其花费代价获取完美的初始几何，不如优化致密化策略以适应不同的初始条件。