🔢 mathematics

3DGS $^2$ -TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

本文提出了 3DGS $^2$ -TR，这是一种可扩展的、无矩阵的二阶置信域优化器，它通过 Hutchinson 方法近似曲率，并利用平方 Hellinger 距离对更新进行正则化，旨在实现比现有二阶方法更快的收敛速度和更低的内存占用，同时保持类 ADAM 的复杂度。

原作者： Roger Hsiao, Yuchen Fang, Xiangru Huang, Ruilong Li, Hesam Rabeti, Zan Gojcic, Javad Lavaei, James Demmel, Sophia Shao

发布于 2026-02-03

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Roger Hsiao, Yuchen Fang, Xiangru Huang, Ruilong Li, Hesam Rabeti, Zan Gojcic, Javad Lavaei, James Demmel, Sophia Shao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图使用数码相机构建一个完美、写实的 3D 房间模型。你从不同的角度拍摄了几张照片，一个被称为 3D 高斯泼溅（3D Gaussian Splatting, 3DGS） 的计算机程序试图弄清楚数百万个微小的、模糊的“云团”（高斯分布）应该被放置在什么位置，以重建这个房间。

目前，计算机使用一种标准的方法叫做 ADAM 来确定这些云团的位置。把 ADAM 想象成一名在浓雾中寻找山谷底部的徒步旅行者。徒步旅行者迈出小步，用脚感受地面（梯度）以确定下坡的方向。这种方法可行，但速度很慢。徒步旅行者可能会走错路，可能会陷入一个小凹坑，或者不得不反复折返，才能找到真正的谷底。

这篇论文介绍了一个新工具，叫做 3DGS2-TR。它不再仅仅是用脚感受地面，而是给了徒步旅行者一张“智能地图”，可以预测前方山谷的形状。这使得徒步旅行者能够采取更大、更自信的步伐，直接走向谷底，从而更快地完成工作。

以下是该论文的三大核心创新点，通过简单的语言进行解释：

1. “智能地图”（二阶优化）

标准方法（ADAM）只观察脚下即时的坡度。而新方法则观察地面的曲率。

问题： 计算一个 3D 场景的完整曲率就像试图绘制海滩上每一粒沙子的地图一样，这需要过多的内存且耗时太长。
解决方案： 作者使用了一个巧妙的技巧（Hutchinson 方法），仅通过数据的“对角线”切片来估算曲率。这就像是观察地图的影子，而不是整个 3D 物体。这使得内存占用保持在较低水平（与旧方法相似），同时又为“智能地图”提供了足够的信息来采取更好的步骤。

2. “安全带”（基于 Hellinger 距离的置信区域）

由于 3D 世界非常复杂且“崎岖不平”（非线性），智能地图有时也会出错。如果徒步旅行者根据错误的预测迈出了太大的一步，他们可能会掉下悬崖或撞到墙壁。

问题： 在 3DGS 中，如果你移动一个云团的距离太远或旋转的角度太大，它在屏幕上的呈现方式会发生剧烈且不可预测的变化。
解决方案： 作者为每一个云团都系上了一根“安全带”。他们使用一个被称为平方 Hellinger 距离的数学尺子，来精确测量一个云团的形状或位置发生了多大的变化。
- 想象一个云团是一个气球。如果你挤压它或移动它，安全带会检查：“气球的形状改变得是不是太大了？”
- 如果变化过大，安全带会将这一步缩减回安全的尺寸。这确保了计算机不会做出破坏 3D 模型的疯狂猜测。

3. 结果：更快、更轻量

通过将“智能地图”与“安全带”结合起来，新方法实现了两点目标：

速度： 它比标准方法减少了 50% 的步骤（迭代次数）即可达到高质量的 3D 模型。
效率： 它不需要超级计算机来完成这项工作。它仅比标准方法多消耗了极少的内存（约 17%），而其他“智能”方法则需要海量的内存（多出 85%），根本无法处理大型场景。

总结：
这篇论文提出了一种训练 3D 模型的新方法，它就像是将徒步旅行者从一名盲目的行走者升级为一名受引导的探险家。它使用一种轻量级的预测工具来实现快速移动，并使用严格的安全规则来确保每一步都是安全的，从而能够在不依赖庞大计算机的情况下，用一半的时间构建出更好的 3D 场景。

技术摘要：3DGS2-TR

问题陈述
尽管 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）已成为实时新视角合成领域的先进技术，但其训练过程仍然是一个显著的瓶颈。标准的 3DGS 依赖于一阶 ADAM 优化器，由于 3DGS 特有的高度非凸且病态的参数空间，该优化器往往面临收敛缓慢的问题。由于几何参数（位置、旋转、缩放）与外观参数（不透明度、颜色）之间存在强耦合，加之基于深度排序导致的渲染过程具有非线性和分段连续性，使得优化地形极具挑战性。

现有的二阶方法（例如 3DGS-LM, 3DGS2）旨在通过利用曲率信息来加速收敛，但面临着关键的可扩展性问题。它们通常依赖于显式或稠密的曲率表示，导致高昂的内存开销（ $O(n^2)$ 或更高）以及昂贵的单次迭代成本。这使得它们不适用于大规模场景或分布式训练设置。此外，3DGS 损失函数中的不连续性违反了经典二阶方法所需的平滑性假设，常导致不稳定性。

方法论：3DGS2-TR
作者提出了 3DGS2-TR，这是一种可扩展的二阶置信区域（trust-region）优化器，旨在加速 3DGS 训练，同时保持一阶方法的计算和内存效率。该方法建立在三个核心原则之上：低廉的单次迭代计算、参数线性的内存扩展以及置信区域约束。

对角 Hessian 近似（无矩阵化）：
与其计算完整的 Hessian 矩阵，3DGS2-TR 仅通过 Gauss-Newton 矩阵的对角线来近似曲率。该估计通过 Hutchinson 方法 高效实现，该方法利用随机 Rademacher 向量来计算 Hessian-向量乘积。这种方法确保了计算和内存复杂度均保持为 $O(n)$ ，与 ADAM 的复杂度一致。为了稳定曲率估计，该方法采用了对角估计的指数移动平均（EMA），并定期（例如每 10 次迭代）进行更新，而非每步都更新。
基于平方 Hellinger 距离的参数级置信区域：
为了应对 3DGS 渲染中固有的强非线性和不连续性，作者引入了一种参数级置信区域技术。与全局或组级约束不同，该方法为每个单独的高斯参数限制更新步长。
- 度量标准： 约束基于更新前后高斯分布之间的**平方 H
（注：原文此处似乎在“Hellinger 距离”处中断，根据上下文逻辑，应继续翻译如下部分）
- 度量标准： 约束基于更新前后高斯分布之间的平方 Hellinger 距离。选择该度量是因为它为未归一化高斯提供了闭式解，并且能直观地衡量渲染外观的差异。
- 归一化： 为了考虑到高斯的表观质量会随观察距离的变化而任意改变，Hellinger 距离通过缩放矩阵的行列式（ $\det(S)^{-1}$ ）进行归一化。
- 机制： 对于每个参数，计算一个置信区域半径 $\eta$ ，使得归一化的平方 Hellinger 距离保持在阈值 $\epsilon$ 以下。随后，提议的更新步长会被裁剪至该半径内（ $\Delta x \cdot \text{clip}(-\eta, +\eta)$ ），从而确保更新不会导致高斯的几何或不透明度发生突发性的、无效的变化。
优化流水线：
该算法遵循随机 Gauss-Newton 公式。它计算随机梯度和对角 Hessian 估计（通过 Hutchinson 方法），计算二阶更新步长（ $\Delta x = -\hat{D}^{-1} \hat{g}$ ），应用参数级置信区域裁剪，然后更新参数。由于采用了用于 Hessian 估计的周期性采样，该方法仅产生适度的额外开销（比 ADAM 多出约 10%）。

核心贡献

可扩展的二阶优化： 本文提出了一种针对 3DGS 的二阶优化器，在计算和内存方面均实现了 $O(n)$ 复杂度，使其能够扩展到超大规模场景，并具备应用于分布式训练的潜力。
对角 Hessian 估计： 通过将 Sophia (Liu et al., 2023) 的轻量化框架适配到 3DGS，该方法利用对角 Hessian 估计来处理损失表面的曲率，而无需承担完整矩阵运算的高昂代价。
Hellinger 距离置信区域： 作者提出了一种基于平方 Hellinger 距离的新型参数级置信区域约束。这为限制高斯原语的几何变化提供了一种原则性的方法，解决了由 3DGS 非平滑渲染引起的不稳定性问题。

结果
在参数初始化相同且不使用加密策略的情况下，3DGS2-TR 展示了优于标准 ADAM 优化器的性能：

收敛速度： 在标准数据集上，它比 ADAM 使用少 50% 的训练迭代次数即可达到更好的重建质量。
内存效率： 该方法产生的峰值 GPU 内存开销增加不到 1GB（约为 ADAM 的 117%）。相比之下，现有的二阶方法（如 3DGS-LM）会增加约 85% 的内存开销，这凸显了 3DGS2-TR 的可扩展性优势。

意义
论文声称 3DGS2-TR 弥合了二阶方法的收敛优势与大规模 3D 内容创作的可扩展性需求之间的鸿沟。通过避免稠密曲率表示并引入针对 3DGS 不连续性的特定稳定性机制，该方法能够在不牺牲重建质量或内存效率的前提下实现更快的训练时间。这一进展解决了 3DGS 流水线中的主要瓶颈，有望促进其在需要快速场景重建的应用领域（如虚拟现实、增强现实和机器人技术）中的广泛采用。

1. “智能地图”（二阶优化）

2. “安全带”（基于 Hellinger 距离的置信区域）

3. 结果：更快、更轻量

技术摘要：3DGS2-TR

类似论文