Volumetric Inverse Rendering via Neural Radiative Transfer

想象你正盯着一团浓厚、旋转的雾气，一杯奶咖啡，或者一束穿过布满灰尘的房间的阳光。你所看到的不仅仅是光线在固体表面上的反射；而是光线在穿过这些物质本身时，经历了迷失、散射和吸收的过程。这就是“参与介质”（participating media）的世界，在这里，光与物质在一种复杂且无形的纠缠中翩翩起舞。几十年来，科学家和计算机图形学艺术家一直致力于逆向工程这种舞蹈。如果你拍了一张雾气弥漫的森林照片，你能准确推断出雾气的厚度、它吸收红光与蓝光的比例，以及它在各个方向上散射光线的程度吗？这就像是仅仅通过品尝一勺汤，就要猜出这道汤的配方一样，只不过这道“汤”是由光组成的，而其中的“食材”又是肉眼不可见的。掌握这一点至关重要，因为它能让我们创造出超写实的电影、为气候模型模拟天气，甚至帮助医生在不进行手术的情况下观察人体内部。

你即将阅读的这篇论文通过一个巧妙的新方法解决了这个棘手的难题。作者并没有尝试模拟每一个光子的跳动（这就像为了了解一片沙滩而试图数清每一粒沙子），而是提出了一种将整个场景视为一个巨大的、可学习的数学问题的方法。他们使用了“神经场”（neural fields），这本质上是能够同时描述光场和物质属性的超级智能且灵活的函数。通过强制这些函数遵循基本的物理定律（特别是辐射传输方程，Radiative Transfer Equation），同时又要与我们拍摄的照片相匹配，他们可以推导出雾气或烟雾的隐藏属性。其结果是一个不仅能重建云雾场景的 3D 形状和颜色，还能对其进行“重光照”（re-light）的系统——让你能够将光源从太阳变为月亮或霓虹灯，并观察雾气如何做出真实的反应。

问题所在：迷雾之谜

想象你是一名侦探，正试图在一个浓厚、旋转的雾气中破解谜题。你手里有几张从不同角度拍摄的照片，但雾气掩盖了真相。你知道光源（也许是太阳），但你不知道雾气有多厚，它吸收了多少光，或者它是如何散射光的。在过去，解决这个“逆向渲染”（inverse rendering）问题就像是戴着拳击手套去解开一团缠绕在一起的耳机线。

以往的方法主要尝试通过两种途径来解决，但这两种都有明显的缺陷。第一种方法是使用一种叫做“随机路径采样”（stochastic path sampling）的技术来模拟每一次光线的跳动。你可以把它想象成向雾气中派出数百万个微小的、隐形的信使，去观察它们的最终去向。虽然这种方法很精确，但计算成本极高，极其缓慢，就像为了测量一场暴雨的强度而去数清楚每一滴雨水一样。第二种方法是使用忽略了复杂光线跳动的简化模型（即忽略了全局光照）。这种方法很快，就像仅仅通过观察云层来猜测暴雨的强度，但它无法捕捉到光线在厚重介质中实际行为的复杂物理过程。它无法处理“全局”效应，即光线从雾气的一个部分跳动并照亮另一部分的部分。

新方法：注入物理学的神经网络

本文的作者 Ntumba Elie Nsampi 及其同事决定尝试一条不同的道路。他们问道：“如果我们不模拟那些‘信使’，而是教神经网络同时‘成为’雾气和光呢？”

他们创建了一个由两个“神经场”（可以理解为神奇的、连续的地图）协同工作的系统。其中一张地图描述了介质的光学特性（它吸收多少、散射多少，以及散射光的方向）；另一张地图则描述了光场（在每一点、每个方向上的亮度）。

这里的魔术在于：他们没有运行沉重的模拟程序来观察光是如何移动的，而是使用了辐射传输方程（RTE）。这是一个著名的物理公式，描述了光在穿过介质时是如何变化的。作者并没有将这个公式视为一种模拟工具，而是将其作为其神经网络必须遵守的一套规则或“法则”。

他们设定了一个包含三个主要目标的优化游戏：

1. 物理规则： 神经网络必须在随机选取的体积点上满足 RTE。这确保了光线和雾气的行为符合物理定律。
2. 边界规则： 从外部进入雾气的光必须与已知的环境（如天空或房间）相匹配。
3. 照片规则： 从雾气离开并撞击摄像机的光必须与拍摄到的实际照片相匹配。

然而，这里有一个陷阱。神经网络有一种倾向，即变得“懒惰”，更喜欢平滑、模糊的答案而非锐利、细节丰富的答案。这被称为“低频偏差”（low-frequency bias）。为了修复这个问题，作者加入了一个特殊的成分：一个基于**体积渲染方程（VRE）**的项。这个项强制网络关注从摄像机到物体的实际路径，就像一个“锐化器”一样，将模糊的细节变得清晰。

他们的发现

团队在 50 个合成场景上测试了他们的方法，这些场景涵盖了从轻盈、低密度的云朵到浓密、不透明的雾气。他们将自己的方法与两种旧方法进行了对比：缓慢且沉重的“随机路径采样”（具体为微分比例追踪法，Differential Ratio Tracking）以及快速但不够准确的“学习表示”（learned representation）方法。

结果令人印象深刻。他们的方法能够高精度地重建吸收（光被吞噬的程度）、散射（光被弹射的程度）和消光（总体的光损失）。

• 在数值表现上，他们在吸收方面的平均平方误差（MSE）为 1.33，在散射方面的 MSE 为 1.66，这显著优于随机采样法的散射 MSE（4.06）。
• 他们还可以处理各向异性散射（anisotropic scattering），这意味着雾气可以比其他方向更多地向特定方向散射光线（例如，从侧面看和从正面看效果不同的雾）。旧的方法完全无法做到这一点。

或许最酷的部分是他们在重建之后能做的事情。由于他们恢复了真实的物理属性，他们可以改变光照。他们拿出了一个由晴朗天空照明的场景，并用三种颜色的局部光（红、绿、蓝）以及一个新的环境贴图对其进行“重光照”。雾气做出了真实的反应，展示了在新的条件下光线会如何散射和吸收，而简化的模型在这一点上失败了。

他们还展示了这种方法在生成建模方面的应用。通过在许多场景上进行训练，他们的系统学习到了什么是真实的雾气“分布”。随后，他们只需选择一个随机的“潜在代码”（latent code，即定义场景的一个秘密数字），就能生成全新的、符合物理规律的云雾场景。这些新生成的场景不仅仅是漂亮的图片，它们拥有真实且一致的物理特性，允许像真实物体一样在不同的光照条件下进行重光照。

为什么这很重要

作者认为，这种方法之所以是一场变革，是因为它将复杂的物理光传输过程与对专门、缓慢的模拟器的依赖解耦了。通过将问题构建为对神经场的约束优化，他们证明了你不需要重型渲染器也能理解体积中的全局光照。你只需要正确的数学和正确的规则。

尽管作者指出，目前的实验是在合成数据（计算机生成的场景）上进行的，而非真实的摄影照片，但该方法为创建物理准确的 3D 体积（用于电影、游戏和科学模拟）打开了大门，且无需传统方法那样庞大的计算成本。它预示着这样一个未来：我们可以通过一张雾气缭绕的风景照，瞬间得知空气的密度、颜色和散射特性，从而让我们步入那个世界，并随心所欲地改变天气。