Differentiable Voronoi Ray Tracing Beyond Rasterization Speeds

在计算机图形学领域，长期以来一直存在着速度与灵活性之间的根本权衡。几十年来，在屏幕上创建逼真图像最快的方法是一种被称为“光栅化”（rasterization）的技术。想象一位画家看着一个3D场景，并将其简单地投影到一块平坦的画布上，逐个像素地填充。这种方法速度极快，驱动着我们每天看到的视频游戏和电影，但它难以处理复杂的光学效果，例如摄像机镜头的模糊或广角视图的畸变。为了获得这些效果，软件必须在绘画过程中添加特殊的、复杂的规则，这往往会降低速度或引入误差。另一种选择是“光线追踪”（ray tracing），这是一种模拟光线实际传播方式的方法。它不是投影一个平面图像，而是从摄像机向场景中射出不可见的射线，以观察它们撞击到了什么。这种方法能够自然地处理所有复杂的光学效果，而无需额外规则，但在历史上，由于需要巨大的计算能力来仅计算每秒几帧图像，它对于实时使用来说一直太慢了。

来自瑞典的一个研究小组现在挑战了“你必须在画家的速度和光束射手的灵活性之间做出选择”这一观点。他们开发了一种名为 VoroTracing 的新系统，它使用光束法，但运行速度足以用于实时应用。他们的工作专注于一种组织3D空间的新颖方式，将空间划分为由不规则气泡组成的拼贴画，就像蜂巢中的细胞一样，但这些形状能更好地契合场景中的物体。通过以一种聪明且有序的方式在这些气泡中导航，他们的系统可以快速地在复杂环境中追踪光束，其速度可以媲美、甚至在某些情况下超过最快的传统方法。

研究人员首先研究了为什么光线追踪一直如此缓慢。他们发现，主要的瓶颈不仅在于寻找光束撞击物体的数学运算，还在于计算机在旅程的每一步都需要加载和处理的海量数据。在以往试图加速这一过程的尝试中，计算机经常因为为每一个微小的步骤加载过多信息而陷入停滞，或者在找到坚实物体之前在空白空间中徘徊太久。该团队意识到，要使这项技术奏效，他们需要重新设计光束的整个旅程——从场景的构建方式到计算机芯片处理数据的方式。

他们首先从改变场景的表示方式入手。他们不再为每个气泡使用仅根据观察角度变化的单一平滑颜色，而是给每个气泡分配了一个微小的、精细的纹理贴图。这使得单个气泡可以承载复杂的图案和细节，这意味着计算机不需要为了展示一面砖墙或一棵树而创建数百万个微小的气泡。他们还改变了计算机决定何时停止观察的方式。通过训练系统使物体之间的空白空间变得完全透明，并将物体表面变为完全实体，光束就可以在空气中快速穿行，并在撞击表面的瞬间停止。这防止了计算机在计算空白空间的颜色上浪费时间。

为了让过程更快，研究人员重新组织了计算机内存存储这些气泡的方式。他们对数据进行了排列，使得在3D世界中位置靠近的气泡在计算机内存中也被存储在一起。这使得图形卡可以一次高效地抓取一组光束所需的所有信息，而不是在内存库中到处跳转。他们还添加了一个智能过滤器，告诉计算机忽略那些过于微弱、不会改变最终图像的任何气泡，从而完全跳过相关计算。

这种重新设计的成果令人瞩目。在标准的一组复杂3D场景测试中，新系统在高端图形卡上以每秒623帧的速度渲染图像。这比之前最快的光束法快了三倍多，也明显快于目前该领域使用的最快传统绘画法。生成的图像与较慢的方法一样清晰、逼真，没有质量损失。或许最重要的一点是，由于该系统使用光线追踪，它可以立即切换到渲染具有不同摄像机效果的图像。无需更改核心软件，研究人员只需改变光束的路径，就可以生成具有鱼眼镜头畸变、移动相机模糊或人像镜头浅景深效果的图像。

这项工作表明，如果系统从一开始就是针对硬件进行设计的，那么“光线追踪对于实时应用而言太慢”的旧观念可能不再成立。通过精心协同设计场景存储方式、光束旅行方式以及计算机处理数据的方式，研究人员证明了同时拥有现代视频游戏的速度和真实光线的自然灵活性是可能的。他们已经发布了代码供他人使用，为虚拟现实、自动驾驶和移动设备等领域的未来应用打开了大门，他们已经在智能手机上演示了该系统的流畅运行。这项研究表明，未来逼真的计算机图形学之所在，不在于在速度和真实感之间做出选择，而在于寻找一种让两者协同工作的新方法。