💻 computer science

SpeeDe3DGS: Speedy Deformable 3D Gaussian Splatting with Temporal Pruning and Motion Grouping

SpeeDe3DGS 通过引入时间敏感性剪枝（Temporal Sensitivity Pruning）、时间敏感性采样（Temporal Sensitivity Sampling）和组流（GroupFlow），在保持高重建保真度的同时，显著降低了计算成本和训练时间，从而加速了动态 3D 高斯泼溅（3D Gaussian Splatting）。

原作者： Allen Tu, Haiyang Ying, Alex Hanson, Yonghan Lee, Tom Goldstein, Matthias Zwicker

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Allen Tu, Haiyang Ying, Alex Hanson, Yonghan Lee, Tom Goldstein, Matthias Zwicker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图制作一部高帧率的、关于一只跳舞鸡子的 3D 电影。在计算机图形学世界中，有一种流行的技术叫做 3D 高斯泼溅（3D Gaussian Splatting）。你可以把它想象成用数百万个微小的、蓬松的 3D “云朵”（高斯体）在空间中漂浮来构建你的电影场景。当你观察这个场景时，计算机将这些云朵融合在一起，形成一个清晰且逼真的图像。

问题在于，让这些场景“动起来”（比如像鸡那样拍打翅膀）是非常缓慢且沉重的。旧的方法会将每一个蓬松的云朵都视为一个独特的角色，并且需要为每一个云朵配备一个专属的“大脑”（神经网络），以便在每一时刻计算它的运动方式。这就像是为鸡身上的每一根羽毛都雇佣了一位私人编舞师。结果就是，计算机不堪重负，电影渲染速度极慢，而且训练时间长得离谱。

这篇论文介绍了一种名为 SpeeDe3DGS 的新框架，它就像是这部 3D 电影的一位超级高效的导演。它通过使用三个聪明的技巧来停止计算机进行不必要的劳动，从而提升了速度。

1. “剪掉蓬松部分”的技巧（时间敏感性剪枝 - Temporal Sensitivity Pruning）

问题： 在原始方法中，计算机保留了数百万个云朵，尽管其中许多云朵只是静止不动，或者其运动对画面的改变微乎其微。这就像是一个剧组里有 10,000 名演员，但实际场景中只有 1,000 人。

解决方案： 作者使用了一个名为 时间敏感性剪枝 (TSP) 的工具。想象一位电影剪辑师在观看电影时会问道：“如果我删掉这个特定的云朵，画面会发生变化吗？”如果答案是“没怎么变”，那么这个云朵就会被剪掉。

运作方式： 剪辑师不仅仅看单帧画面，而是观察整个时间轴。如果一个云朵在整个时间段内显得很无聊或冗余，它就会被删除。
结果： 他们将云朵的数量减少了约 10 到 12 倍。由于需要处理的云朵变少了，电影变得更轻量，渲染也更快。

2. “摇晃一下”的技巧（时间敏感性采样 - Temporal Sensitivity Sampling）

问题： 有时，当你剪掉那些“无用”的云朵时，可能会意外留下一些奇怪的、漂浮的伪影（称为“浮游物/floaters”）。这些东西就像是当相机移动时凭空出现的幽灵般的斑点，破坏了真实感。

解决方案： 为了防止这种情况，他们使用了 时间敏感性采样 (TSS)。想象剪辑师担心直接剪掉某个云朵，于是给时间轴一点“摇晃”或“抖动”，看看如果时间稍微发生变化，云朵的表现是否会变得奇怪。

运作方式： 他们模拟电影以略微不同的速度或时间播放。如果一个云朵在正常电影中看起来很稳定，但在时间微调后变成了飘浮的幽灵，系统就会知道它是不稳定的，并安全地将其剪掉。
结果： 这阻止了那些烦人的幽灵现象出现，使视频更加平滑和干净，同时又不损失质量。

3. “集体舞”的技巧（GroupFlow）

问题： 即使在剪掉了多余的云朵之后，计算机仍然必须询问每一个剩余的云朵：“你该如何移动？”这仍然是一项繁重的工作。

解决方案： 他们引入了 GroupFlow。与其给每个云朵一个专属的编舞师，不如将一起运动的云朵编成组（比如一群飞鸟或一条坚硬的手臂），然后只给整个小组分配一个共享的编舞师。

运作方式： 如果一组云朵作为一个整体块在移动（比如鸡的翅膀），计算机只需为整个翅膀计算一次运动，而不是为每一根羽毛单独计算。
结果： 这是最大的速度提升。它将复杂的个体计算转化为了简单的共享计算。

终极总结：它有多快？

当他们把这三个技巧结合在一起时，结果令人震惊：

渲染速度： 电影的回放速度比之前的最佳方法快了 13.7 倍。在某些场景中，甚至快了近 30 倍。
训练时间： 教会计算机如何制作这部电影所需的时间减少了 2.5 倍。
质量： 尽管剪掉了 90% 的云朵并简化了数学计算，画面质量依然保持得和那个缓慢、沉重的原始方法一样清晰和逼真。

简而言之： SpeeDe3DGS 就像是将一部臃肿、缓慢移动的 3D 动画进行了修剪、摇晃和集体舞练习。结果是，它变成了一部闪电般快速、高质量的 3D 电影，可以在标准计算机上流畅运行，证明了要让移动场景看起来真实，并不一定需要数百万个独立的“大脑”。

技术摘要：SpeeDe3DGS

问题陈述

动态 3D 高斯泼溅（3DGS）的扩展版本，如 DeformableGS 和 4DGS，通过将高斯基元与学习到的神经运动场相结合，实现了对随时间变化的场景的高保真重建。然而，这些方法面临着显著的效率与保真度之间的差距。由于它们需要在每一帧都进行逐个高斯的神经推理以计算变形，这导致了巨大的计算开销，使得与解析式或非神经表示相比，其训练和渲染速度较慢。虽然神经运动场提供了卓越的重建质量，但其逐基元的推理开销限制了其在实时场景中的应用。

方法论

作者提出了 SpeeDe3DGS（快速可变形 3D 高斯泼溅），该框架旨在通过减少冗余的神经推理来弥合这一差距，同时保留神经运动场的表达能力。该方法集成了三个互补的模块：

1. 时间敏感性剪枝 (Temporal Sensitivity Pruning, TSP)

TSP 通过移除冗余或低影响的高斯来解决动态 3DGS 模型的过度参数化问题。与在固定视角下评估梯度的静态剪枝方法不同，TSP 通过聚合所有训练视角和时间步长下重建损失的二阶敏感性，来计算时间敏感性剪枝分数。

机制： 它计算每个高斯（ $g_i$ ）在训练位姿和时间戳（ $P_{gt}$ ）集合上的投影贡献的梯度幅度。
目标： 通过识别在空间和时间上对重建贡献累计影响较低的高斯，TSP 消除了依赖于运动的冗余，直接减少了基元数量以及相关的变形推理成本。

2. 时间敏感性采样 (Temporal Sensitivity Sampling, TSS)

TSS 是一种稳定性机制，旨在防止移除那些在观测帧中表现稳定、但在外推到未观测时间戳时表现出时间不稳定性（表现为“漂浮物/floaters”）的高斯。

机制： 在进行敏感性估计期间，TSS 向变形函数的输入时间戳注入线性退火的高斯扰动（ $t + X(i)$ ）。这用于探测模型对微小运动偏移的敏感性。
目标： 对于那些在训练帧中表现良好但在微小时间扰动下发生漂移的高斯，其敏感性分数会降低并被剪枝。这抑制了漂浮伪影，并在不需要地面真值监督的情况下提高了时间相干性。

3. GroupFlow

虽然剪枝减少了基元的数量，但剩余的高斯仍然需要进行单独的神经推理以进行变形。GroupFlow 通过将学习到的神经运动场蒸馏为高效的共享刚性变换来解决这一问题。

机制：
1. 运动分析： 分析可变形高斯的轨迹，以识别具有相似运动的簇。通过最远点采样选择控制点，并将高斯分配给具有最相似轨迹的控制点。
2. 刚性蒸馏： 对于每个组，使用 Umeyama 对齐法估计一个随时间变化的 SE(3) 刚性变换（旋转和平移），将该组从规范帧映射到当前帧。
3. 推理： 系统不再为每个高斯预测唯一的变形，而是对组内的所有高斯应用一个共享的 SE(3) 变换。
目标： 这将运动轨迹的数量从 $N$ （每个高斯）减少到 $J$ （每个组），在通过局部刚性运动建模保持时间相干性的同时，显著加速了推理。

核心贡献

时间敏感性剪枝 (TSP)： 一种基于梯度的剪枝策略，通过聚合时间维度的敏感性来移除动态场景中的冗余高斯，从而降低变形和渲染成本。
时间敏感性采样 (TSS)： 一种时间扰动技术，通过暴露并移除时间不一致的基元（漂浮物）来稳定剪枝过程，从而提高重建稳定性。
GroupFlow： 一种将学习到的神经变形场蒸馏为分组 SE(3) 变换的方法，用高效的组级刚性运动取代了逐高斯的推理。

实验结果

作者在 MonoDyGauBench（50 个动态场景）以及特定的数据集（包括 NeRF-DS、D-NeRF 和 HyperNeRF）上对 SpeeDe3DGS 进行了评估。

在 MonoDyGauBench 上的表现：
- 将 TSP 和 TSS 集成到 DeformableGS 基线中，平均使渲染速度提升了 6.78×，训练速度提升了 2.18×，同时使用了 10 倍更少的基元 并保持了神经场的高保真度。
- 加入 GroupFlow 后，进一步将渲染速度提升至 13.71×，并将训练时间缩短了 2.53×。
- 完整的 SpeeDe3DGS 流水线在速度上超越了所有非神经基线，同时在图像质量（PSNR, SSIM）上优于它们。
特定场景结果（HyperNeRF “鸡” 场景）：
- 实现了 9.88× 的渲染加速。
- 减少了 11.37× 的高斯数量。
- 缩短了 2.87× 的训练时间。
显存效率：
- 剪枝集成显著降低了显存使用量，使得在 24 GB VRAM（RTX A5000）上进行训练成为可能，而此前这些场景往往会超过基线方法的显存限制（基线方法通常需要 48 GB VRAM）。

重要性与主张

本文声称 SpeeDe3DGS 成功弥合了动态 3D 高斯泼溅中的效率与保真度差距。通过结合具备时间感知能力的剪枝与运动蒸馏，该框架实现了在实时渲染速度下达到神经场级别的保真度。

作者强调，他们的做法并非仅仅以质量换取速度；相反，TSS 和 GroupFlow 的正则化效应通常能稳定噪声或不稳定运动场景下的重建，有时甚至能产生比未剪枝基线更高的图像质量。这项工作证明，通过减少冗余基元并对相似运动轨迹进行分组，动态 3DGS 可以在不牺牲神经运动场高质量重建能力的前提下，接近解析模型的运行速度。