A Query-Efficient Stochastic Volume Rendering Framework for Time-Varying Implicit Neural Volumes

想象一下，你是一位科学家，正试图观看一段复杂事件的电影，比如旋转的风暴或跳动的心脏，但这部电影并不是由帧组成的。相反，它是一个神奇的、连续的“配方”，可以描述在任何时刻的场景，甚至是帧与帧之间极其微小的瞬间。这就是**隐式神经表示（Implicit Neural Representations, INRs）**的世界。不要把它们看作一叠照片，而要将它们视为一个超级聪明、紧凑的神经网络，它知道在任何坐标 $(x, y, z)$ 和任何时间 $t$ 下物体的形状和颜色。问题在于，为了看到物体的样子，你必须向这个神经网络提问：“这里的颜色是什么？”然后，网络必须进行大量的繁重数学运算才能给出答案。在过去，为屏幕上的每个像素都进行这样的提问是如此缓慢且昂贵，以至于实时观看这些电影是不可能的。科学家们要么只能看到模糊、低质量的视图，要么必须等待几分钟才能看到一帧画面的出现。

这篇论文介绍了一种全新的、能够实时观看这些“神经电影”的巧妙方法，在强大的游戏电脑上实现了流畅的每秒 30 到 40 帧。作者 Alper Sahistan 及其团队意识到，观察这些体积（volumes）的旧方法——即沿着光线检查每一个点，就像一个缓慢、刻板的步行者——是非常浪费的，因为“步行者”在每一步都需要停下来向神经网络寻求帮助。相反，他们构建了一个查询高效的随机体积渲染框架（query-efficient stochastic volume rendering framework）。他们将渲染过程处理成一种使用**增量追踪（delta tracking）**技术的“猜与查”游戏。想象一下，你正在穿过一片雾气浓度的变化不断的森林。与其在每英寸处都采取微小的、等距的步伐并检查雾气，不如进行大步的、随机的跳跃。如果你落在了一块浓雾区，你就停下来进行绘制；如果你落在了一块稀薄区，你就继续跳跃。通过这种方式，他们向神经网络提出的问题次数大大减少了。

为了让速度更快，他们将工作分配给了显卡上两种不同类型的“大脑”。“遍历”（决定跳向哪里）部分使用专门的光线追踪核心（ray tracing cores），而“评估”（向神经网络提问）部分则使用专为重型数学设计的张量核心（tensor cores）。他们还加入了智能策略：在看起来相同的区域跳过提问（均匀性剪枝/homogeneity pruning），以及仅重新检查发生变化的像素（自适应光线预算/adaptive ray budgeting）。结果是，该系统可以渲染具有光线追踪阴影的1024² 分辨率变形时变物体，更新时间步长仅需 1 到 2 毫秒。论文表明，这种方法允许科学家直接探索连续时间，而无需重新训练神经网络或为每一个时刻存储海量的缓存数据，以一种真正具有交互性的方式让“不可见”变为“可见”。

“跳跃式”光线的魔力

为了理解其工作原理，让我们把一条光线想象成一个好奇的探险家，试图寻找一个神秘、隐形物体的颜色。在过去，这个探险家会沿着直线迈出细小的、婴儿般的步子，在每一步都停下来问一位图书管理员（神经网络）：“这里的颜色是什么？”如果物体很大且步长很小，探险家就会询问图书管理员数百万次。由于图书管理员正忙于进行复杂的数学运算，探险家就会陷入等待，导致电影画面冻结。

作者们的新方法——**增量追踪（delta tracking）**改变了探险家的策略。不再是走婴儿步，而是进行大步的、随机的跳跃。他们有一个规则：“我知道雾气不会比这个最大极限更厚。”所以，他们跳跃的距离是基于这个最大极限下的安全距离。当他们落地时，他们会问图书管理员：“这里的雾气真的有这么厚吗？”

• 如果答案是“是的，这里很厚”，他们就停下来并涂抹颜色。
• 如果答案是“不，这里其实很薄”，他们就忽略落点并进行下一次大跳跃。

这就像是在玩一个游戏，你只有落在“特殊”瓷砖上时才会停下来检查分数。大多数时候，你只是在空中飞跃。因为神经网络是缓慢的部分，所以在“没什么特别”的地方跳过提问可以节省大量时间。

双脑协作团队

论文强调了一个关键洞察：计算机处理“行走”（遍历）和“数学”（神经推理）的方式是非常不同的。行走就像是一个人按部就班地检查地图，而进行复杂的数学运算则像是一个合唱团在完美和谐地歌唱。如果你试图让合唱团一次只唱一个音符，效率会非常低下。

作者构建了一个类似于井然有序的工厂的四阶段流水线：

1. 光线初始化（Ray Initialization）： 工厂为摄像机设置好探险家（光线）。
2. 遍历（RT 核心）： “行走”专家（光线追踪核心）引导探险家在虚拟空间中跳跃。他们找到了落点，但还没有询问图书管理员。他们只是记录下了地址。
3. 评估（张量核心）： “数学”专家（张量核心）一次性获取大量的地址，并同时向图书管理员寻求所有答案。这就是奇迹发生的地方；神经网络被喂入一批问题并一次性回答所有问题，从而发挥其全部力量。
4. 最终化（Finalization）： 结果被带回，探险家决定是停止还是再次跳跃。

这种“波前（wavefront）”方法确保了计算机的大脑永远不会闲置。当一组人在行走时，另一组人在做数学运算。论文显示，这种方法比尝试逐一完成所有工作的朴素方法快了约 125 倍，并且比使用不利用专用光线追踪硬件的旧方法快了 2 倍以上。

智能跳过：并非每个问题都要问

即使有了“跳跃并检查”的方法，向图书管理员提问仍然是昂贵的。作者加入了两个“智能跳过”功能来使其更快：

1. “无聊区域”跳过（基于均匀性的查询剪枝/Homogeneity-Based Query Pruning）：
   想象探险家落入了一个看起来完全洁白且空旷的房间。如果已知房间是均匀的（颜色一致），为什么还要问图书管理员？系统会检查该区域是否是“无聊的”（均匀的）。如果是，它就直接猜测平均颜色并继续移动。这节省了一个问题。然而，论文指出，如果你预测得过于激进，可能会错过微小的细节，因此他们在这些无聊区域的边缘会使用“随机衰减（stochastic falloff）”以保持谨慎。

2. “只绘制变化的部分”跳过（自适应光线预算/Adaptive Ray Budgeting）：
   想象你在看一段视频。如果背景是一面静止的墙，你不需要每秒都重绘它。你只需要重绘有鸟飞过的地方。系统查看前一帧并询问：“这个像素变了吗？”

• 如果像素是稳定的（墙壁），它会跳过绘制，直接使用旧颜色。
• 如果像素正在变化（鸟），它会投入“预算”来重新绘制它。
  他们测试了三种决定绘制内容的方法：一种观察颜色变化程度的（残差直方图/Residual-Histogram），一种使用随机但美观模式的（STBN），以及两者的结合。他们发现，将随机模式与“变化检测”结合在一起的效果最好，即使在跳过许多像素时，也能保持图像看起来平滑自然。

结果：流畅、实时的科学可视化

团队在六个不同的数据集上测试了他们的系统，包括变形物体的 X 射线扫描和流体流动的模拟。他们在 NVIDIA RTX 4090 GPU 上以 1024² 的分辨率运行了所有测试。

• 速度： 对于标准渲染，该系统实现了 30 到 40 帧每秒 (FPS) 的速度，即使添加复杂的阴影，也能达到约 30 FPS。这足以提供流畅的交互式体验。
• 响应性： 当用户更改时间（配方中的“t”）时，系统在约 1 到 2 毫秒 内即可完成更新。这意味着你可以拖动滑块并立即看到物体的变形，而无需等待。
• 内存： 该系统非常高效。神经网络本身很小（仅 1–2 MB），即使加上渲染所需的额外结构，总内存使用量也保持在 600 MB 左右，这远低于传统的科学可视化系统。

论文明确排除了“需要重新训练神经网络或将数据转换为体素网格（voxel grids）才能使其可渲染”的观点。他们证明了你可以直接渲染训练好的神经网络。他们还认为，虽然缓存（保存答案以备后用）适用于静态图像，但对于随时间变化的动态数据，缓存会失效，因为随着时间推进，答案会变得不再准确。他们的方法通过高效地实时计算答案，避免了这个问题。

为什么这很重要

对于研究心脏跳动、风暴旋转或材料在压力下变形等现象的科学家来说，能够实时看到数据是一个游戏规则的改变者。在此之前，他们可能需要等待几分钟才能得到一帧画面，或者只能接受低质量的视图。现在，他们可以与数据进行交互，旋转视角，并连续观察其演变过程。作者指出，该框架为使用这些紧凑的神经表示进行交互式科学可视化打开了大门，允许研究人员在不被观察“连续时间”所需的高强度数学运算所困扰的情况下，探索其数据的本质。

论文总结道，尽管仍存在一些局限性——例如需要仔细设置“无聊区域”的阈值，或者目前依赖于特定的 NVIDIA 硬件——但该方法成功地弥合了神经表示的紧凑性与交互式高质量可视化需求之间的鸿沟。它证明了你不需要为了追求速度而牺牲数据的“神经”特性；你只需要以正确的方式、在正确的顺序提出问题，并跳过那些不需要的问题。