One Setting, Any Scene: Tuning-Free Model-Size Control for 3D Gaussian Splatting

技术摘要：一键设置，任意场景：面向 3D 高斯泼溅（3DGS）的免调优模型规模控制

问题陈述

在资源受限的环境（如移动设备、浏览器、头显）中部署 3D 高斯泼溅（3DGS）模型，需要对最终模型中的基元（高斯点）数量进行严格控制。目前的训练方法，特别是使用基于掩码剪枝（如 MaskGaussian）的方法，无法实现这种控制。这些方法依赖于一个恒定的稀疏性权重（$\lambda$）来惩罚基元数量。然而，$\lambda$ 控制的是光度误差与基元数量之间的权衡，而非基元数量本身。因此，最终的模型规模是一个取决于场景纹理复杂度和加密进度表（densification schedule）的涌现属性。

作者展示了在 13 个标准场景中使用单一且固定的 $\lambda$ 时，最终模型规模的变化幅度高达 7.8 倍。这种缺乏可预测性的现状迫使从业者必须针对每个特定场景和部署预算手动进行超参数搜索并重新训练，这一过程既低效又不可靠。

核心诊断：掩码的不可逆性

这项工作的关键发现挑战了软掩码（soft masking）的理论依据。基于掩码的剪枝假设被掩码的基元是“可恢复”的，因为它们在训练期间会持续接收梯度，从而允许在稀疏压力减轻时重新激活。

作者通过实验证明了这一假设是错误的。在通过实验禁用删除操作并在过度剪枝后将稀疏压力降低至接近零的情况下，作者观察到“活跃”基元群体并未恢复。相反，该群体继续下降或停滞不前。由于经过数千次优化步骤后，传递到通过完全透明（被掩码）基元的梯度过于微弱，无法逆转已被驱动为负值的逻辑值（logit）。

• 后果： 基于掩码的剪枝表现得更像是带有延迟的硬剪枝。一旦一个基元被有效地掩码掉，它就丢失了。这造成了一种根本性的不对称：控制器可以安全地将人口从预算上方减少，但如果人口低于预算，则无法恢复。

方法论

为了实现精确、免调优的模型规模控制，作者提出了一个尊重这种不可逆性的控制器。该方法用一个约束优化框架取代了固定的二次项稀疏惩罚。

1. 约束公式化： 将目标预算 $B$ 视为硬约束（$\sum m_i \leq B$）。固定的惩罚被一个带有可学习乘子 $\lambda_t$ 的拉格朗日项所取代，该乘子通过 $B$ 而非当前人口 $N$ 进行归一化。这确保了梯度量级在不同场景和训练阶段保持一致。
2. 具有非对称释放功能的乘法对偶上升法： 乘子 $\lambda_t$ 根据活跃人口与设定值之间的误差在对数域中进行更新。至关重要的是，更新规则是非对称的：
   • 如果人口高于预算，乘子会增加（收紧压力），遵循标准速率。
   • 如果人口低于预算，乘子会减少（释放压力），其减少速率显著更快（$\rho > 1$）。
   • 这种非对称性补偿了掩码的不可逆性；控制器快速释放压力以防止跌破预算，因为它知道恢复是无法实现的。
3. 从可恢复侧接近： 为了防止人口意外跌破预算并进入不可恢复的状态，控制器旨在瞄准一个设定值 $B^* = (1 + \mu)B$（其中 $\mu=0.15$）。这确保了人口稳定在略高于目标值的状态，使其仍处于可以移除基元的阶段。
4. 删除底线： 设置了一个底线以确保在训练过程中人口不会跌破 $B$，从而在剪枝可能导致计数过低时保留那些最“可能”的基元。
5. 终端投影： 在一个固定的迭代次数（$T_{lock}$）处，执行一次单一的硬投影。系统保留恰好 $B$ 个具有最高包含概率的基元，并删除其余部分。这一步确保了最终的模型规模精确等于 $B$，消除了软掩码的随机性。
6. 确定性导出： 该方法不是导出掩码的随机样本，而是导出众数（概率 $>0.5$ 的基元），确保测量的规模与交付的规模相匹配。

主要贡献

• 量化控制失效： 证明了固定的稀疏权重会导致标准场景间模型规模产生 7.8 倍的偏差，变异系数为 70.9%。
• 发现不可逆性： 提供了经验证据，证明 3DGS 中的掩码基元实际上是不可恢复的，从而使标准基于掩码剪枝的“软决策”辩护失效。
• 免调优控制器： 提出了一个具有非对称释放、设定值裕量和终端投影的对偶上升控制器，能够在所有测试场景和随机种子下，无需针对每个场景进行调优，即可交付精确请求数量的基元。
• 负面结果： 指出当模型规模不受限制时，通过屏幕足迹（screen footprint）和退火 Gumbel 温度进行加权似乎是有益的；但当规模被严格固定时，这两种策略均失效。

结果

在来自 Mip-NeRF 360、Tanks and Temples 和 Deep Blending 数据集的 13 个场景中，以 600,000 个基元为目标预算进行了评估：

• 精度： 该方法在所有场景和种子下均实现了与请求预算的零偏差。相比之下，基准方法（3DGS 和 MaskGaussian）分别表现出 5.6 倍和 7.8 倍的规模变化。
• 质量： 预算化模型与 MaskGaussian 基线之间的质量差异可以忽略不计。跨种子的配对比较将 PSNR 差异限制在 $[-0.076, +0.085]$ dB 之间。
• 效率： 生成的模型比 MaskGaussian 小 2.2 倍，比标准 3DGS 小 5.0 倍。渲染速度比 MaskGaussian 快 1.40 倍，比 3DGS 快 2.3 倍。
• 可复现性： 该方法在规模方面是完全确定性的，而基准方法在不同随机种子下表现出显著的方差（高达 4.34%）。

意义与主张

论文声称，其主要贡献不仅在于控制器本身，还在于对软掩码中不可逆性的诊断。作者认为，任何依赖于“重新审视”掩码决策的方法都必须针对这一发现进行检查。

通过围绕剪枝的不对称性（从上方是可恢复的，从下方是不可恢复的）设计优化循环，作者实现了“一键设置，任意场景”的工作流。从业者现在可以指定一个部署预算（例如“60 600k 基元”）并获得具有一致质量且规模精确符合要求的模型，从而消除了手动超参数搜索和重新训练的需求。这项工作断言，所提出的方法是第一个将模型规模作为显式输入而非不可预测结果的方法。