💻 computer science

Beyond Heuristics: Learnable Density Control for 3D Gaussian Splatting

本文介绍了 LeGS，这是一个新颖的框架，它用通过强化学习优化的可学习策略网络以及定制的、高效的奖励函数，取代了 3D 高斯泼溅中的启发式密度控制，从而在多样化的场景中实现更优越的重建质量和适应性。

原作者： Zhenhua Ning, Xin Li, Jun Yu, Guangming Lu, Yaowei Wang, Wenjie Pei

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhenhua Ning, Xin Li, Jun Yu, Guangming Lu, Yaowei Wang, Wenjie Pei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用成千上万个微小、发光且透明的气球，来重现一个美丽而复杂的 3D 场景（比如一个繁忙的火车站或一个细节丰富的房间）。这正是**3D 高斯泼溅（3D Gaussian Splatting）**所做的。这些“气球”（高斯）漂浮在空间中，当你从不同角度观察它们时，它们会融合在一起，形成逼真的图像。

然而，这里有个问题：你需要在正确的位置放置正确数量的气球。太少，图像就会模糊或缺失细节；太多，计算机就会不堪重负，或者你最终会得到一团杂乱冗余的气球云，看起来并没有更好。

旧方法：“规则手册”方式

长期以来，计算机使用规则手册（称为“启发式方法”）来管理这些气球。

规则：“如果图像的某部分看起来模糊，就添加更多气球。”“如果一个气球太暗淡，就将其丢弃。”“如果一个气球太大，就将其分裂成两个更小的气球。”
问题：这些规则由人类编写，且僵化不变。它们就像一位遵循食谱的厨师，食谱上写着：“如果汤味道淡，就加盐。”但如果汤味道淡是因为缺了糖而不是盐呢？规则手册无法分辨这种区别。在具有奇怪形状或纹理的复杂场景中，这些僵化的规则往往会出错——在不需要的地方添加气球，或者遗漏需要它们的地方。

新方法：LeGS（“智能学习者”）

本文的作者提出了一种名为LeGS的新系统。LeGS 不再遵循僵化的规则手册，而是使用强化学习（一种通过试错来学习的人工智能）。

将 LeGS 想象成一位聪明的学徒厨师，而不是一个遵循规则的机器人。

策略网络：这是学徒的“大脑”。它观察场景，并决定对每个气球做什么：保留它、复制它、分裂它，还是移除它。
试错：学徒尝试不同的操作。如果图像变好了，大脑就会学习：“干得好，下次再做！”如果图像变差了，它就会学习：“别那样做。”

秘诀：“敏感度评分”

为了有效地教导学徒，你需要确切知道哪个气球帮助了图像，哪个没有帮助。这是最难的部分，因为所有气球都相互重叠并融合在一起（就像多层彩色玻璃）。

旧问题：要判断某个特定气球是否重要，你通常需要移除它，重新渲染整幅图像，然后进行比较。如果你有 10,000 个气球，你就得这样做 10,000 次。这耗时极长（在数学上，其复杂度为 $O(N^2)$ ）。
LeGS 的解决方案：作者发明了一种数学捷径（一种“闭式解”）。这就像拥有一个魔法计算器，可以确切地告诉你某个特定气球对最终图像的贡献有多大，而无需实际移除它并重新渲染整个场景。
- 类比：想象一个合唱团在唱歌。通常，为了听清某个歌手唱得有多好，你得把他静音，然后重新听整个合唱团。LeGS 的捷径就像一只魔法耳朵，只需听一次完整的歌曲，就能立刻告诉你：“那个歌手为和声贡献了 5%。”这使得过程快了 100 倍（将复杂度从 $O(N^2)$ 降低到 $O(N)$ ）。

奖励系统

在强化学习中，人工智能需要一个“分数”来知道它是否获胜。

奖励：LeGS 使用基于敏感度的奖励。它会问：“这个操作（分裂或移除气球）是否让图像更清晰了？”
“维持”基线：为了防止人工智能发疯般地到处添加气球，系统会将每个操作与一个“什么都不做”（维持）的基线进行比较。只有当改变 genuinely 优于保持场景原样时，它才会学习去改变事物。

结果

当作者在各种复杂场景（如 Mip-NeRF 360 数据集）上测试 LeGS 时：

质量更好：图像比旧有的基于规则的方法生成的图像更清晰、更准确。
更智能的资源利用：LeGS 并没有盲目地在各处堆砌更多气球。它准确判断出复杂细节所在的位置（比如车轮的辐条或墙壁的纹理），并将气球放置在那里，同时保持简单区域的稀疏。
速度：即使人工智能进行了额外的“思考”，由于他们的数学捷径，该系统几乎和旧方法一样快。

总结

简而言之，LeGS用一种智能的、会学习的人工智能，取代了管理 3D 场景的僵化、人工编写的规则。它利用巧妙的数学技巧，瞬间知道场景的哪些部分需要更多细节，哪些部分不需要，从而以更少浪费的计算机资源生成更高质量的 3D 图像。

以下是论文《超越启发式：可学习的 3D 高斯泼溅密度控制》（LeGS）的详细技术总结。

1. 问题陈述

3D 高斯泼溅（3DGS）已成为实时新视角合成的最先进（SOTA）技术。然而，其性能高度依赖于自适应密度控制，这是一个动态调整 3D 高斯数量、位置和参数以优化场景表示的过程。

当前局限： 现有方法（如原始 3DGS、FastGS、Pixel-GS）依赖僵化的、手工设计的启发式规则（基于梯度、不透明度或像素覆盖率的固定阈值规则）来决定何时克隆、分裂或剪枝高斯。
核心问题： 这些启发式规则缺乏灵活性。它们通常难以泛化到具有复杂几何结构或不同尺度的多样化场景，导致：
- 伪影： 复杂区域因密度不足而产生的模糊或“漂浮物”。
- 冗余： 简单区域中高斯数量过多。
- 次优权衡： 无法在重建质量（PSNR/SSIM）与计算效率（高斯数量）之间取得平衡。

作者认为，必须用数据驱动的、可学习的策略取代这些静态规则，以便根据特定场景特征自适应地分配资源。

2. 方法论：LeGS 框架

作者提出了LeGS（高斯泼溅的可学习密度控制），将密度控制重新表述为一个**强化学习（RL）**问题。

A. 作为 RL 的问题形式化

状态（ $S_t$ ）： 第 $t$ 次迭代时当前的高斯集合及其属性（位置、尺度、不透明度等）。
动作（ $A_t$ ）： 应用于每个高斯的离散操作：保持、克隆、分裂或剪枝。
策略网络（ $F_\theta$ ）： 一个神经网络，以敏感度分数和梯度为输入，输出每个高斯在四种动作上的概率分布。
优化： 策略使用**近端策略优化（PPO）**进行优化。

B. 基于敏感度的奖励函数

3DGS 中 RL 的一个关键挑战是设计一个奖励信号，能够准确反映单个高斯的贡献，特别是考虑到渲染的 $\alpha$ 混合特性（重叠的高斯会掩盖单个高斯的贡献）。

敏感度分数（ $Sen_i$ ）： 受 CNN 中遮挡敏感度的启发，作者定义了一个分数，用于衡量移除特定高斯 $G_i$ $G_{i}$ 时渲染误差增加了多少。
- 高分 = 关键高斯（移除它会降低质量）。
- 低分/负分 = 冗余或有害的高斯。
奖励（ $R_t$ ）： 动作的奖励是父高斯到其子代（后代）的敏感度净增益。
- $R_t = \sum Sen_{children} - Sen_{parent}$ 。
- 这鼓励那些能增加高斯集合总“重要性”的动作。

C. 高效闭式解（关键创新）

朴素地计算敏感度分数需要重新渲染场景 $N$ 次（每次移除一个高斯），导致 $O(N^2)$ 的复杂度，这在计算上是不可行的。

解决方案： 作者推导出了一个闭式解析解，利用前向传播中的累积透射率和颜色，在不包含特定高斯的情况下计算渲染颜色（ $C_{-i}$ ）。
公式： 通过利用 $\alpha$ 混合的线性特性，他们使用预计算的累积和（ $\Sigma$ ）和原始颜色 $C(p)$ 来表达 $C_{-i}$ ：
$C_{-i}(p) = \Sigma_{i-1} + \frac{C(p) - \Sigma_i}{1 - \alpha_i}$
结果： 这将奖励计算的复杂度从 $O(N^2)$ 降低到 $O(N)$ ，使得 RL 训练过程变得可行。

D. 稳定训练（基于保持动作的价值）

标准的 PPO 需要一个“评论家（Critic）”网络来估计状态的价值。然而，在 3DGS 中，奖励信号具有噪声且依赖于海量的高斯集合，使得训练早期的价值预测变得困难。

创新： 作者不使用单独的评论家网络，而是使用**“保持”动作的平均奖励**作为基线。由于“保持”意味着没有变化，它充当了自然的、依赖于状态基线。这简化了优势估计，并在不需要复杂价值网络的情况下稳定了训练。

3. 主要贡献

范式转变： 首个将 3DGS 中的启发式密度控制替换为完全可学习的策略网络并通过 RL 进行优化的工作。
敏感度奖励： 一种基于敏感度分析的新型奖励函数，精确量化了单个高斯对重建质量的边际贡献。
效率突破： 推导出了敏感度评分的精确闭式解，将计算复杂度从二次方（ $O(N^2)$ ）降低到线性（ $O(N)$ ），实现了实时训练的可行性。
稳定优化： 引入了一种基于保持动作的价值估计器，消除了对单独评论家网络的需求，防止了训练不稳定和冗余的密度增加。

4. 实验结果

该方法在三个主要数据集上进行了评估：Mip-NeRF 360、Tanks & Temples 和 Deep Blending。

定量性能：
- LeGS 在所有指标（PSNR、SSIM、LPIPS）上均实现了**最先进（SOTA）**的性能。
- 在 Mip-NeRF 360 上，相比标准 3DGS，PSNR 提升了 +0.81 dB。
- 在 Tanks & Temples 上，PSNR 提升了 +0.99 dB。
- 与许多启发式基线相比，它以更紧凑的高斯表示（更少的高斯总数）实现了这些结果，证明了其优越的资源分配能力。
定性改进：
- 视觉比较显示，LeGS 有效地捕捉了复杂的局部细节（如车轮辐条、复杂纹理），而 FastGS 等启发式方法在这些地方失败（导致模糊或伪影）。
- 与固定阈值方法不同，学习到的策略根据场景的实际几何复杂度调整高斯密度。
效率：
- 尽管增加了 RL 开销，但由于闭式奖励计算极快（朴素计算需 30.5ms，而闭式解仅需 0.9ms），总训练时间与 FastGS 相当（例如，在 Mip-NeRF 360 上约为 745 秒 vs 599 秒）。
- 内存使用量与现有的 SOTA 方法相当。
消融研究：
- 移除敏感度奖励（SR）会导致性能下降，证明了准确信用分配的重要性。
- 移除基于保持动作的价值（KAV）会导致冗余高斯显著增加（从 217 万增加到 263 万），证实了其在训练稳定性中的作用。

5. 意义

本文代表了 3D 场景表示优化方式的根本性转变。通过从手工设计的启发式规则转向可学习的策略，LeGS 证明了：

适应性是关键： 固定规则无法处理现实世界场景的多样性；数据驱动的策略可以动态地将计算资源分配到最需要的地方。
效率是可能的： $O(N)$ 闭式解的推导证明，复杂的基于 RL 的优化可以集成到 3DGS 中，而不会产生 prohibitive 的计算成本。
未来方向： 它为基于学习的几何优化研究奠定了基础，表明 3DGS 中的许多其他“启发式”步骤都有可能被可学习模块所取代。

总之，LeGS 解决了当前 3DGS 密度控制的僵化问题，通过智能地学习根据场景的具体需求在哪里以及如何进行密度增加或剪枝，从而以更少的高斯实现了更高的保真度。