SkipGS: Post-Densification Backward Skipping for Efficient 3DGS Training

SkipGS 提出了一种视图自适应的后向跳过机制，通过在后稠密化阶段根据视图损失动态跳过冗余的反向传播，在保持重建质量的同时显著缩短了 3D 高斯泼溅的训练时间。

要点

这篇论文介绍了一种名为 SkipGS 的新方法，它的核心目的是让 3D 高斯泼溅（3DGS） 这项技术训练得更快，同时不牺牲画面质量。

为了让你轻松理解，我们可以把训练 3D 场景想象成**“教一个学生画一幅复杂的风景画”**。

1. 背景：现在的训练有多慢？

想象一下，你有一个超级勤奋的学生（这就是 3DGS 算法），他正在学习画一幅风景画。

• 前期（密集化阶段）： 学生刚开始，脑子里一片空白。老师（算法）需要不断给他看各种角度的照片，让他疯狂地添加新的笔触（高斯点），把画的大轮廓和细节都铺满。这时候，学生每看一张图，都要认真修改每一笔，非常努力，但也非常累。
• 后期（精炼阶段）： 当画的基本轮廓已经画好了（高斯点数量固定），老师继续让他看照片。这时候，画已经很像了，学生只需要微调颜色或光影。
  • 问题出在这里： 即使画已经很像了，老师还是要求学生对每一张新看到的照片都进行“全神贯注的修改”（执行完整的反向传播计算）。
  • 浪费： 实际上，很多照片学生早就看过了，或者这张照片和刚才那张几乎一样，学生心里想：“这张图我早就画好了，没必要再大动干戈地改了吧？”但老师不管，强迫他必须重新计算一遍。这就造成了大量的重复劳动，浪费了时间。

2. SkipGS 的解决方案：聪明的“跳过”机制

SkipGS 就像给这位学生配了一位聪明的助教。这位助教的任务不是教画画，而是决定什么时候该停下来休息，什么时候该继续干活。

它的运作逻辑是这样的：

• 永远先看一眼（前向传播）： 无论是否修改，学生每次看到新照片，助教都会让他先快速看一眼，算出“这张图现在的误差有多大”（计算损失）。这一步很快，不累。
• 智能判断（跳过机制）：
  • 助教手里有一本“记忆账本”，记录着学生最近画这张图时的水平。
  • 如果新看到的这张图，和账本里记录的水平差不多（误差没有变大，甚至变小了），助教就会说：“这张图你早就画好了，跳过！不用重新计算，不用改笔触。”
  • 如果这张图看起来不对劲（误差突然变大，或者学生之前没画好），助教就会说：“这张图有问题，必须重新计算，赶紧改！”
• 保底机制（防止偷懒）：
  • 助教虽然聪明，但怕学生偷懒偷懒过头，导致画坏了。所以助教设定了一个**“最低工作量”**。
  • 如果学生连续跳过了太多张图，助教就会强制说：“不行，为了保险起见，哪怕你觉得没问题，你也得再算一次，确保没出错。”

3. 为什么要这么做？（核心洞察）

论文发现，在训练的后半段（画好轮廓后），“修改笔触”（反向传播） 是最耗时的部分，占用了大部分时间。

• 很多情况下，学生其实已经不需要修改了，但之前的算法还是强迫他修改。
• SkipGS 就是抓住了这种**“重复劳动”**，把那些不需要修改的时刻直接省掉。

4. 效果如何？

• 速度飞快： 在标准的测试数据集上，SkipGS 让整体训练时间缩短了 23%。特别是在训练的最后阶段（精炼阶段），时间直接减少了 42%！
• 画质不变： 虽然跳过了一些计算，但最终画出来的风景画（3D 场景），和那些“死脑筋”一直计算到底的画，肉眼几乎看不出区别。
• 通用性强： 这个方法不需要改变画画的工具（渲染器）或学生的天赋（算法核心），它只是一个“调度员”。所以，它可以和任何现有的加速技术（比如剪掉多余的笔触、减少画布大小）配合使用，效果叠加，让训练更快。

总结

SkipGS 就像是一个懂得“抓大放小”的聪明管家。
它不再让 3D 训练算法在已经完美的地方死磕，而是通过观察“哪里需要改，哪里不需要改”，智能地跳过那些没必要的计算。这就好比你在做数学题，如果最后一道题你已经算对了，就不需要再重新验算一遍，直接跳过，从而大大节省了做作业的时间，但作业的正确率依然满分。

这项技术让 3D 场景的生成变得更加高效，对于需要快速制作 3D 内容的游戏、VR 或电影行业来说，是一个巨大的进步。

技术摘要

1. 研究背景与问题 (Problem)

背景：
3D 高斯泼溅（3D Gaussian Splatting, 3DGS）通过优化数百万各向异性高斯球，实现了实时的新视角合成（Novel-view Synthesis），已成为该领域的 SOTA 基准。然而，其训练过程依然昂贵，尤其是在致密化（Densification）之后的精炼阶段（Post-densification phase）。

核心问题：

1. 反向传播的冗余性： 在致密化阶段结束后，高斯集合固定，训练进入漫长的参数微调阶段。作者观察到，许多采样的视图其损失（Loss）已经趋于平稳（near-plateaued），提供的梯度收益递减，但标准的 3DGS 训练流程仍然对每个采样的视图执行完整的反向传播（Backward Pass）。
2. 计算瓶颈： 性能分析显示，在致密化停止后，反向传播占据了单次迭代运行时间的约 62%，成为主要的加速瓶颈。
3. 现有方法的局限性： 现有的加速方法主要集中在“原语维度”（Primitive dimension），即通过剪枝减少高斯数量或控制致密化过程中的高斯增长。这些方法主要优化了“每迭代处理多少高斯”，而忽略了“是否需要在每次迭代执行反向传播”这一正交维度。

2. 方法论 (Methodology)

作者提出了 SkipGS，一种针对 3DGS 致密化后阶段的视图自适应反向传播门控机制（View-adaptive backward gating mechanism）。其核心思想是：在正向传播（Forward Pass）始终执行以更新统计信息的前提下，根据视图的损失变化动态决定是否执行反向传播。

核心组件：

1. 视图偏差评分 (Per-View Deviation Score)：

   • 为每个训练视图 $v$ 维护一个指数移动平均（EMA）损失 $\bar{\mathcal{L}}_v$。
   • 计算当前视图损失 $\mathcal{L}_v^{(t)}$ 与近期基线 $\bar{\mathcal{L}}_v^{(t-1)}$ 的归一化偏差分数：
     $$s_v^{(t)} = \frac{\mathcal{L}_v^{(t)}}{\bar{\mathcal{L}}_v^{(t-1)} + \epsilon}$$
   • 决策逻辑： 如果 $s_v^{(t)} > 1$（即当前损失高于近期基线，表明该视图尚未收敛或出现退化），则执行反向传播；否则，跳过反向传播。
   • 注意： 无论是否执行反向传播，正向传播都会执行，并无条件更新 EMA 统计量，确保偏差分数的准确性。

2. 反向传播预算控制 (Backward Budget Control)：

   • 为了防止过度跳过导致优化器“饥饿”（缺乏梯度信号），系统强制执行一个最小反向传播预算 $\rho_{min}$。
   • 预热阶段 (Warmup)： 在致密化刚结束后的 $W$ 次迭代中，无条件执行反向传播，用于收集统计信息并校准 $\rho_{min}$。
   • 动态校准： 根据预热阶段中“本应触发反向传播”的比例 $\hat{\rho}_W$，动态设定最小预算 $\rho_{min}$。如果场景较难（大部分视图都需要更新），则设定较高的预算；反之则降低。
   • 强制机制： 在训练过程中，如果累积的反向传播比例 $\rho_{cum}$ 低于 $\rho_{min}$，则强制执行当前迭代的反向传播，覆盖跳过决策。

3. 即插即用特性 (Plug-and-Play)：

   • SkipGS 不修改渲染器、高斯表示形式或损失函数，仅改变“何时执行反向传播”的时机。因此，它可以与现有的加速方法（如剪枝、稀疏化等）正交结合，产生叠加加速效果。

3. 主要贡献 (Key Contributions)

1. 致密化后反向传播跳过机制： 提出了 SkipGS，利用视图自适应门控，在保持正向传播以监控损失统计的同时，跳过冗余的反向传播，并引入最小预算保证优化稳定性。
2. 显著的速度提升与质量保持： 在 Mip-NeRF 360 数据集上，SkipGS 将端到端训练时间减少了 23.1%，其中致密化后阶段的时间减少了 42.0%，同时重建质量（PSNR/SSIM/LPIPS）与原始 3DGS 相当。
3. 正交兼容性： 证明了 SkipGS 可以应用于多种现有的高效 3DGS 变体（如 FastGS, Taming 3DGS, GaussianSpa, LightGaussian 等），在保持重建质量的前提下，进一步提供额外的加速收益。

4. 实验结果 (Results)

实验在三个主流数据集（Mip-NeRF 360, Deep Blending, Tanks&Temples）上进行，对比了原始 3DGS 及多种加速基线。

• 性能提升：

  • Mip-NeRF 360: 相比原始 3DGS，总训练时间从 1705.7s 降至 1311.0s（-23.1%），致密化后时间从 939.6s 降至 545.0s（-42.0%）。
  • 与其他方法结合： 当 SkipGS 与 FastGS 结合时，在 Mip-NeRF 360 上实现了最快的致密化后训练时间（69.8s），证明了其作为“插件”的额外加速能力。
  • 质量指标： 在所有实验设置中，PSNR、SSIM 和 LPIPS 指标与基线相比几乎没有变化（PSNR 差异通常在 0.01-0.05 dB 以内），视觉结果肉眼不可区分。

• 消融实验 (Ablation Study)：

  • 移除了“预算控制”机制后，虽然训练时间进一步缩短（例如 Taming 3DGS 的 $T_{post}$ 从 757s 降至 161s），但重建质量严重下降（PSNR 下降约 0.67 dB，SSIM 显著降低）。这证明了预算控制机制对于平衡加速与质量至关重要。

5. 意义与影响 (Significance)

• 开辟新的优化维度： 现有的 3DGS 加速研究多集中在减少高斯数量（空间维度），而 SkipGS 首次系统性地探索了时间/频率维度（即减少反向传播的频率），为训练加速提供了全新的视角。
• 解决实际瓶颈： 针对 3DGS 训练中反向传播占主导的痛点，提供了一种无需修改底层渲染或优化器实现的轻量级解决方案。
• 通用性与扩展性： 由于其“即插即用”的特性，SkipGS 可以无缝集成到未来的 3DGS 变体中，与现有的剪枝、稀疏化策略形成互补，共同推动 3DGS 在交互式场景捕捉、大规模基准测试及下游任务中的应用效率。

总结： SkipGS 通过智能地识别并跳过那些对优化贡献微乎其微的反向传播步骤，在几乎不牺牲重建质量的前提下，显著降低了 3DGS 的训练成本，是 3D 高斯泼溅训练加速领域的一项重要进展。