3D Gaussian Accelerated Ray Tracing: Fast training through particle-based backward propagation
本文介绍了 3DGART，这是一个实用的训练框架，它通过将反向传播从以像素为中心重新组织为以原语为中心，从而消除了原子竞争并实现了 3–4 倍的加速，进而实现了高质量、全光线追踪渲染的 3D 高斯光线追踪。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个你可以走进一张照片的世界，可以绕过转角观察，或者靠近一棵树，而场景会随着你的移动呈现出完美的真实感，就像现实生活中的情况一样。多年来，计算机科学家一直在追求这种“新视角合成”的梦想，试图教会机器如何从一组扁平的图像中理解三维场景的结构。最近最成功的方法之一，是将场景表示为由数百万个微小的、模糊的斑块（blobs）组成的云团，而不是一个实体对象或复杂的神经网络。这些斑块形状如椭圆，携带着颜色和透明度的信息。通过将这些斑块投影到屏幕上并进行融合，计算机可以创建出极其清晰且快速的图像，使其能够实时观看。这种被称为“高斯泼溅”（Gaussian Splatting）的方法彻底改变了我们重建三维环境的方式，使得将一段简单的视频几乎瞬间转化为可导航的三维空间成为可能。
然而，这种速度是以折衷为代价的。标准方法依赖于一种借鉴自电子游戏的技巧，即计算机通过近似处理这些斑块在屏幕上的视觉效果来完成工作。虽然这种基于屏幕的方法速度极快，但在处理光的复杂物理特性方面却显得力不从心。它无法轻松处理从闪亮表面反射出的光线、穿过玻璃折射的光线，或是物体阻挡光线时产生的阴影。为了解决这个问题，研究人员尝试了一条不同的路径：他们不再是在屏幕上对斑块进行近似处理，而是让虚拟光线直接穿过场景并击中斑块。这种“光线追踪”（ray tracing）方法具有物理准确性，能完美处理反射和阴影，但它有一个致命缺陷：训练速度极其缓慢。以这种方式创建场景需要数小时甚至数天的时间，这使得它在许多实际应用中变得毫无用处。问题依然存在：我们能否在保留光线追踪的物理准确性的同时，又不牺牲最初那种方法所具备的高速性能？
来自新西兰坎特伯雷大学的一个研究小组找到了一种弥合这一差距的方法。他们开发了一个名为“3D高斯加速光线追踪”（3DGART）的新系统，使这些精确的光线追踪场景的训练速度达到了实用的水平。这一突破并非源于让光线移动得更快，也不是找到了更好的光线反弹方式。相反，团队发现瓶颈并不在于计算机如何“观察”场景，而在于它如何“学习”错误。在标准方法中，当计算机试图改进图像时，它会逐像素地观察最终图像。如果一个模糊的斑块贡献了成千上千个不同像素的颜色，那么成千上上个处理器就会在同一时间尝试更新同一个斑块的设置。这会导致计算机内存中出现大规模的“交通堵塞”，处理器必须排队等待才能进行修改，从而使一切都慢如蜗牛。
研究人员意识到，解决方案在于颠倒这个过程。他们不再让成千上万个处理器争夺同一个斑块，而是组织工作流程，让每个处理器负责一个特定的斑块及其在图像一小部分区域内所触及的所有像素。他们构建了一个临时存储系统，将必要的数据按这些斑块而非按屏幕上的像素进行分组。这一改变将混乱的交通堵塞转化为了有序的流水线。每个处理器收集其负责的斑块所需的各种信息，计算必要的调整，并在无需等待他人的情况下更新设置。这是一种从分散、竞争的过程向结构化、协作过程的转变。
这种重组的结果是令人瞩目的。在针对复杂户外场景（例如花园里停放的一辆自行车）进行测试时，新方法的训练速度大约是之前最佳光线追踪方法的四倍。更重要的是，它不仅变快了，还产生了更高质量的图像。因为该系统不再需要使用快捷方式或折衷方案来提速，它可以保留光线的完整、准确的物理特性。由此产生的场景比那些依赖屏幕近似法的旧方法拥有更清晰的细节和更真实的照明。研究人员还发现，虽然新方法在训练过程中使用了更多的计算机内存，但这种内存成本是暂时的，在场景完成后就会消失。在训练结束时，最终的模型与原始快速方法一样高效，但它承载了完全光线追踪世界的卓越视觉保真度。
这项工作表明，三维重建的未来并不需要在速度和准确性之间做出选择。通过重新思考计算机组织学习过程的方式，该团队证明了我们可以兼得两者。该方法为创建包含反射和阴影等复杂效应的高度逼真、可交互的三维环境打开了大门，同时还能在符合现实应用需求的框架内完成训练。它将一个曾经因速度太慢而无法投入实际使用的过程，转化为了准备好迎接下一代虚拟现实、数字孪生和沉浸式媒体的成熟技术，证明了有时前进最快的方式不是更用力地推，而是更好地组织。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。