Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives

本文提出的 Speedy-Splat 方法通过优化高斯定位渲染流程并引入稀疏化剪枝技术，在保持视觉保真度的同时显著提升了 3D 高斯泼溅的渲染速度、训练效率并减小了模型规模。

要点

这篇论文介绍了一种名为 Speedy-Splat 的新技术，它的目标是让电脑生成逼真的 3D 场景变得更快、更小、更省资源。

为了让你轻松理解，我们可以把 3D 场景重建想象成用无数个小光点（高斯球）来拼凑一幅巨大的马赛克画。

1. 背景：原来的方法有什么问题？

以前的技术（叫 3D-GS）虽然能画出很漂亮的 3D 画面，但有两个大毛病：

• 太“胖”了：为了画得清楚，它需要塞进几百万甚至上千万个小光点。这就像为了画一只猫，你用了 1000 万块乐高积木，导致电脑内存爆满，手机根本跑不动。
• 太“慢”了：电脑在渲染（显示）画面时，需要检查每一个光点会落在屏幕的哪个格子里。原来的方法很“笨”，它为了保险起见，会把一个光点可能影响的一大片区域都标记出来，哪怕那片区域里大部分格子其实根本不需要这个光点。这就像快递员送包裹，明明只要送到 3 号楼，他却把整个小区的门都敲了一遍，问“这家的包裹是不是你的？”，效率极低。

2. Speedy-Splat 的两大绝招

Speedy-Splat 就像是一个精明的管家，它做了两件事来解决上述问题：

第一招：精准定位（SnugBox 和 AccuTile）

比喻：从“敲遍整个小区”变成“只敲那扇门”

• 旧方法：原来的算法很保守，它计算光点影响范围时，画了一个很大的正方形框。只要光点碰到这个框里的任何一个小格子，它就把所有格子都算进去。这浪费了大量时间。
• 新方法：Speedy-Splat 发明了两个新算法（SnugBox 和 AccuTile）。
  • SnugBox：它不再画那个大大的正方形，而是像给光点穿了一件量身定做的紧身衣（紧密的边界框）。它精确地算出光点到底能碰到哪几个格子，不再多算。
  • AccuTile：这招更绝，它直接算出光点具体碰到了哪些格子，连紧身衣边缘多出来的部分都剪掉了。
• 效果：电脑不再做无用功，渲染速度直接提升了近 2 倍。

第二招：大扫除（Soft Pruning 和 Hard Pruning）

比喻：从“囤积狂”变成“断舍离大师”

• 旧方法：原来的训练过程会产生大量“冗余”的光点。有些光点画出来的效果几乎一样，或者根本没人看得到，但它们还占着内存。
• 新方法：Speedy-Splat 引入了一套智能修剪机制。
  • Soft Pruning（软修剪）：在训练初期，它就像定期给植物修剪枝叶。它发现有些光点不重要，就温柔地剪掉 80% 的“闲杂光点”，但保证画面质量不下降。
  • Hard Pruning（硬修剪）：在训练后期，它进行大刀阔斧的清理，再剪掉 30% 的光点。
  • 关键创新：以前的修剪方法需要电脑记住海量的数据（像背一本厚厚的字典），而 Speedy-Splat 发明了一种极简的评分公式，只需要记一点点数据就能知道哪些光点该留、哪些该扔。这让它在训练过程中就能随时修剪，而不需要等到最后。
• 效果：模型里的光点数量减少了 90% 以上（比如从 290 万个减到 28 万个），但画面依然清晰。

3. 最终成果：快如闪电，小如麻雀

通过这两招组合拳，Speedy-Splat 带来了惊人的变化：

• 速度快了 6.7 倍：以前需要几秒钟才能渲染的画面，现在瞬间完成。这意味着在普通的手机或平板上也能流畅运行以前只能在高端电脑上跑的 3D 场景。
• 体积小了 10 倍：模型文件变得非常小，方便传输和存储。
• 训练快了 1.4 倍：生成这个 3D 场景本身也更快了。

总结

想象一下，原来的 3D 场景重建像是在用几百万个模糊的像素点去拼凑一幅画，既慢又占地方。
而 Speedy-Splat 就像是请了一位技艺高超的画家，他不仅知道只画必要的地方（精准定位），还懂得把多余的草稿纸全部扔掉（智能修剪），最终用极少的笔触画出了同样精美的画作，而且速度飞快。

这项技术让高质量的 3D 体验真正走向大众，未来你的 VR 眼镜或手机里，可能会瞬间加载出以前需要下载几个 G 才能看到的逼真世界。

技术摘要

Speedy-Splat 技术总结

1. 研究背景与问题 (Problem)

3D 高斯泼溅 (3D Gaussian Splatting, 3D-GS) 是一种新兴的 3D 场景重建技术，能够通过对可微 3D 高斯点云建模来实现实时新视角渲染。尽管其渲染质量高，但在实际应用中仍面临两大瓶颈：

1. 渲染速度慢：受限于高参数数量（数百万个高斯）和渲染管线中的算法低效性，难以在资源受限的边缘设备（如手机）上实现实时渲染。
2. 模型体积大与训练时间长：现有的 3D-GS 模型通常包含大量冗余的高斯，导致存储占用大，且训练过程耗时。

现有的压缩方法（如 PUP 3D-GS）虽然能减少参数，但往往计算开销大（如需要存储 Hessian 矩阵），难以在训练过程中直接应用，或者未能直接针对渲染速度进行优化。

2. 核心方法论 (Methodology)

Speedy-Splat 通过两个主要方向来解决上述问题：精确的瓦片相交计算 (Precise Tile Intersection) 和 高效的剪枝策略 (Efficient Pruning)。

2.1 精确瓦片相交 (Precise Tile Intersection)

3D-GS 使用基于瓦片（Tile-based）的渲染策略。原有的算法在计算高斯与图像瓦片的相交区域时过于保守，导致处理了过多的无效瓦片。Speedy-Splat 提出了两种改进算法：

• SnugBox (紧密边界框)：

  • 原理：传统方法使用高斯投影后的 2D 协方差矩阵的最大特征值来确定一个外接正方形。Speedy-Splat 利用高斯的不透明度阈值（$\alpha > 1/255$）推导出更精确的椭圆边界。
  • 实现：通过解析几何计算该椭圆在 X 和 Y 轴上的极值，生成一个轴对齐的紧密边界框 (Axis-Aligned Bounding Box)。
  • 效果：显著减少了每个高斯需要处理的瓦片数量，且计算开销极小（常数级操作）。

• AccuTile (精确瓦片识别)：

  • 原理：在 SnugBox 生成的紧密边界框基础上，进一步识别高斯椭圆真正相交的瓦片集合，剔除边界框内但未与椭圆相交的瓦片。
  • 实现：算法沿边界框较短的一边迭代，计算椭圆与行/列边界的交点，仅处理实际相交的瓦片范围。
  • 效果：进一步减少了下游排序和渲染函数的输入数据量。

2.2 高效剪枝 (Efficient Pruning)

为了减少高斯总数，Speedy-Splat 改进了 PUP 3D-GS 的剪枝方法，解决了其内存占用大和无法在训练中应用的问题。

• 高效剪枝分数 (Efficient Pruning Score)：
  • 改进：PUP 3D-GS 需要存储 $N \times 36$ 的 Hessian 矩阵，内存开销巨大。Speedy-Splat 通过重参数化，直接利用渲染反向传播中已计算的像素级梯度 $\nabla_{g_i} I$ 来构建剪枝分数。
  • 优势：将存储需求降低了 36 倍，使得该分数可以在训练过程中实时计算和使用。
• 双阶段剪枝策略：
  • Soft Pruning (软剪枝)：在训练的前 15,000 次迭代（密度增加阶段）进行。在 6000、9000、12000 次迭代的不透明度重置前，剪除 80% 敏感度最低的高斯。
  • Hard Pruning (硬剪枝)：在密度增加阶段结束后（15,000 次迭代后），每隔 3000 次迭代剪除 30% 的高斯，利用后续迭代对模型进行微调。

3. 主要贡献 (Key Contributions)

1. SnugBox 算法：一种精确计算高斯与瓦片边界框相交的算法，显著减少了渲染管线中的无效计算。
2. AccuTile 算法：SnugBox 的扩展，能够识别高斯真正相交的精确瓦片集合，进一步加速渲染。
3. Soft Pruning：一种在训练密度增加阶段集成的高效剪枝方法，利用改进的剪枝分数在保持视觉质量的同时大幅减少高斯数量。
4. Hard Pruning：一种在训练后期进行的剪枝策略，进一步压缩模型规模。
5. 整体性能提升：将上述技术整合到 3D-GS 训练管线中，实现了渲染速度、模型大小和训练时间的全面优化。

4. 实验结果 (Results)

在 Mip-NeRF 360、Tanks & Temples 和 Deep Blending 数据集上的实验表明：

• 渲染速度：平均加速 6.71 倍 (FPS 从基线的 134 提升至 898)。在特定场景（如 Trucks & Temples 的 Truck 场景）中，加速比可达 6.2 倍 以上。
• 模型压缩：高斯数量减少了 10.6 倍 (从平均 2.93M 减少到 0.28M)。
• 训练时间：训练速度提升了 1.47 倍。
• 图像质量：
  • 在 Mip-NeRF 360 数据集上，PSNR 仅从 27.55 轻微下降至 26.94，SSIM 和 LPIPS 指标也保持竞争力。
  • 与 PUP 3D-GS 相比，在相似的压缩率下，Speedy-Splat 的渲染速度是 PUP 的 2 倍以上，且图像质量相当甚至更优。
• 消融实验：
  • SnugBox 单独带来 1.82 倍加速。
  • AccuTile 在此基础上进一步提升至 1.99 倍。
  • 结合 Soft 和 Hard 剪枝后，总加速达到 6.71 倍。

5. 意义与影响 (Significance)

Speedy-Splat 解决了 3D-GS 在实时渲染和边缘设备部署中的关键瓶颈：

1. 推动实时应用：通过大幅降低计算量和显存占用，使得在移动端或资源受限设备上运行高质量 3D 高斯渲染成为可能。
2. 训练效率提升：提出的高效剪枝分数使得剪枝过程可以无缝集成到训练循环中，无需额外的后处理步骤，缩短了模型开发周期。
3. 算法优化范式：展示了通过数学推导（精确边界计算）替代保守近似（保守边界框）可以带来巨大的性能收益，为后续 3D 渲染算法的优化提供了新思路。

综上所述，Speedy-Splat 在几乎不牺牲视觉质量的前提下，实现了 3D-GS 渲染速度、模型大小和训练效率的三重突破。