Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

想象一下，仅凭几张照片，就试图构建一个真实世界场景（如繁忙的城市广场或静谧的森林）的完美三维模型。多年来，科学家们一直致力于让这些模型在保持逼真感的同时，体积依然足够小，以便在计算机上快速加载。目标是创建一个你可以自由走动、从任何角度观察的数字孪生体，且图像不会模糊，计算机也不会运行缓慢。最近，一项被称为“3D高斯泼溅”（3D Gaussian Splatting）的突破性技术改变了游戏规则，它不再将场景表示为实心网格，而是表示为数百万个微小的、模糊的椭球体云团。可以将这些椭球体想象成重叠在一起以形成最终画面的、柔软且发光的彩色云团。虽然这种方法能瞬间生成令人惊叹的图像，但教计算机如何排列这些云团的过程通常既缓慢又浪费。计算机往往会在图像已经清晰的地方创建过多的云团，而在细节缺失的地方创建得不够，导致模型臃规模庞大且训练耗时。

成都理工大学与深圳传感数据科技有限公司的研究人员提出了一种新的训练方法，该方法既更快也更高效。他们的方案侧重于三个方面的改进：阻止计算机制造不必要的云团、移除那些没有帮助的云团，以及加速背后的计算过程。他们的新方法不再是在图像看起来稍微模糊时就盲目添加更多云团，而是通过观察一段时间内图像的实际误差来进行判断。如果图像的某个特定区域在连续几轮中都已重建良好，系统就会知道停止在该处添加云团。它只允许新云团在那些仍然难以呈现正确效果的地方形成。这防止了模型因冗余部件而变得拥挤，而这些部件除了拖慢速度外别无用处。

在模型添加了新云团之后，研究人员还引入了一种清理杂乱的方法。他们开发了一种测试方法，用于识别那些过于微弱或波动过大而无法发挥作用的云团。这些不稳定或不可见的云团会被剪枝剔除，从而留下更精简、更有效的形状集合。为了使整个过程更加迅速，团队还重写了处理繁重任务的底层计算机代码。通过以一种能让计算机图形处理器更流畅读取的方式来组织数据，他们减少了计算图像应如何变化所需的时间。这类似于图书管理员整理书架的方式，以便读者可以轻松取书，而无需在房间里来回走动；书本身是一样的，但获取它们的路径缩短了。

这项工作的成果是显著的。在包含花园中的自行车或寺庙中的坦克等复杂数据集的测试中，与以往的技术相比，新方法大幅缩短了总训练时间。在针对自行车场景的一次特定测试中，训练时间从超过224秒降至仅190秒，同时用于构建场景的云团总数也几乎减半，从超过947,000个减少到了约570,000个。尽管使用的云团更少且完成速度更快，但最终图像的质量依然保持在高水平，其视觉锐度和色彩准确度与原先较慢的方法非常接近。研究人员发现，通过更聪明地决定何时添加细节以及何时移除细节，他们可以在不牺牲使这些场景如此引人入胜的视觉保真度的前提下，创建紧凑且高质量的3D模型。这表明，创造数字世界的未来可能不仅在于增加更多数据，更在于以更高的精度来管理数据。