🔬 optics

Non-line-of-sight imaging with arbitrary relay surface geometries via 3D Gaussian Transient Rendering

本文提出了一种新颖的非视线成像流水线，该流水线利用 3D 高斯原语和可微瞬态渲染，在空间受限、稀疏采样的条件下，针对任意中继表面几何形状，实现了对隐藏场景的最先进重建，从而消除了现有方法中对平面墙壁的限制性假设。

原作者： Yi Wang, Ziyu Zhan, Yuran Wang, Hao Wang, Qiang Liu, Zuoqiang Shi, Lingyun Qiu, Xing Fu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Wang, Ziyu Zhan, Yuran Wang, Hao Wang, Qiang Liu, Zuoqiang Shi, Lingyun Qiu, Xing Fu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：无需平整墙面的“隔墙视物”

想象一下，你正试图看到躲在拐角后的一个人（比如从停放车辆后走出来的行人）。你无法直接看到他们，但你可以看到汽车的侧面。如果你向汽车射出一束超快速的激光，光线会从汽车表面反射，撞击到隐藏的人，再反射回汽车，最后进入你的相机。通过精确测量这段微小旅程所花费的时间，你就能推算出人的位置。这被称为非视线（Non-Line-of-Sight, NLOS）成像。

问题所在：
以往大多数实现这种“魔术”的方法都有一个严格的规则：用于反射光线的表面（即“中继表面”）必须是一个巨大的平面墙。

现实情况： 在现实世界中，我们很少见到巨大的平面墙。我们看到的是弯曲的车头、凹凸不平的人行道，甚至是其他人的背影。
失败原因： 如果你尝试将旧方法应用于弯曲或形状奇特的表面，数学计算就会崩溃，导致图像变得模糊甚至完全消失。这就像是用锤子去弹钢琴；工具本身就不是为这些形状设计的。

解决方案：“3D 高斯瞬态渲染”（3D-GTR）

作者提出了一种全新的解决方法，这种方法不再关心墙面的形状。他们将这种方法称为 3D-GTR。其工作原理分为以下三个简单的步骤：

1. “智能手电筒”（视线引导/LOS-Guided）

在尝试观察隐藏物体之前，系统首先会对它能看到的表面进行快速扫描（即“视线”或 LOS 范围）。

类比： 想象你在黑暗的房间里寻找一个隐藏的物体。在开始瞎猜之前，你先用手电筒照一下面前的桌子，看看桌子的形状。它是平的？还是凹凸不平的？还是弯曲的？
作用： 系统通过扫描可见表面，创建一个关于其形状和角度的 3D 地图。这张地图能告诉计算机，光线将如何在这块特定的、形状奇特的表面上进行反射。

2. “点云”（3D 高斯基元/3D Gaussian Primitives）

系统并不是试图构建一个实体的 3D 模型（像数字雕塑那样），而是将隐藏的场景表示为一个由模糊发光点组成的云团。

类比： 想象一团烟雾。你看不清单个的水滴，但你能看到烟雾的形状。系统使用数以千计的这些“模糊点”（称为 3D 高斯点）来代表隐藏的人或物体。每个点都有自己的位置、大小、方向和亮度。
为什么有效： 因为这些点具有灵活性，它们可以根据任何形状进行自我塑形，无论隐藏物体是一个直线还是一个弯曲的雕像。

3. “虚拟模拟器”（可微渲染/Differentiable Rendering）

这是其中的“魔法引擎”。系统进行了一次反向模拟。

过程：
1. 它猜测这些隐藏的点位于何处。
2. 它模拟激光撞击可见表面、反射到隐藏点、再返回的过程。
3. 它将模拟结果与相机收集到的实际数据进行对比。
4. 如果模拟结果与实际数据不符，它会自动调整这些模糊点的位置、大小和亮度。
结果： 它不断重复调整这些点（在极短的时间内），直到模拟过程与现实世界的测量数据完美匹配。一旦这些点到了正确的位置，计算机就能清晰地“看到”隐藏的物体。

为什么这篇论文意义重大

作者在两种设置下进行了测试：

标准平面墙： 即使是在平面墙上，由于其方法在数据稀疏（例如只有少量光点而非完整扫描）的情况下表现更优，因此比现有技术更快、更清晰。
奇特形状（真正的考验）： 他们在弯曲表面上进行了测试，甚至使用了两个人体模型（人体假人）的背部作为中继表面。
- 结果： 旧方法在人体模型上完全失效。而新方法成功重建了隐藏的物体，证明了即使“墙面”是弯曲且不规则的，它依然有效。

一句话总结

这篇论文介绍了一种新的相机技术，它利用“模糊点云”和智能模拟引擎来观察隐藏物体，使其即使在反射面是弯曲、凹凸不平或呈现人体形状（而非完美的平面墙）时，也能完美工作。

技术摘要：通过 3D 高斯瞬态渲染实现任意中继表面几何形状的非视距成像

问题陈述
非视距（NLOS）成像旨在通过分析从可见中继表面散射的光线来重建隐藏物体。虽然基于飞行时间（ToF）的 NLOS 成像已取得显著进展，但其在实际部署中仍受到现有方法严格假设的限制。大多数最先进的技术假设存在一个大型、连续且平面的中继墙，并进行密集、均匀的采样。在实际场景中（例如自动驾驶或机器人感知），测量通常是在空间受限的区域以及具有任意非平面几何形状（例如行人背部或不规则墙壁）的情况下获取的。包括基于模型的迭代框架和基于学习的神经场在内的现有方法，在这些条件下表现挣扎，通常需要漫长的优化时间，缺乏对复杂几何形状的鲁棒性，或者在中继表面不受约束时无法解析目标。

方法论
作者提出了一种由视线（LOS）引导的 NLOS 成像流水线，该流水线消除了对中继表面的几何假设。该方法的核心是 3D 高斯瞬态渲染（3D-GTR），它集成了以下组件：

LOS 引导的几何恢复： 系统首先利用视线（LOS）ToF 测量来重建中继表面的点云。该点云经过后处理以估计局部表面法线，从而创建一个“虚拟中继表面”，该表面能够准确反映真实世界测量环境中的任意几何形状。
3D 高斯表示： 隐藏场景不是由体积网格或隐式神经场表示，而是由一组 3D 高斯原语（primitives）表示。每个原语由均值位置 ( $\mathbf{x}_g$ )、定义空间弥散的协方差矩阵 ( $\mathbf{\Sigma}$ ) 以及控制散射强度的反照率 ( $\rho$ ) 参数化。
可微瞬态渲染： 一种基于物理的可微渲染模型将这些 3D 高斯原语映射到 1D 时间高斯核。该模型明确考虑了：
- 光传输几何： 从照明点到原语再到探测器的光程长度在原语均值附近进行线性化，从而在路径长度域内诱导出高斯分布。
- 辐射度加权： 模型结合了原语相对于照明点和探测点的张角，以及通过表面法线 ( $\mathbf{n}_i, \mathbf{n}_d$ ) 实现的双向反射分布函数（BRDF）效应。这产生了一个具有物理依据的辐射度权重，遵循 NLOS 前向模型中典型的距离四次方反比关系。
端到端优化： 系统通过反向传播优化 3D 高斯原语的参数（位置、尺度、方向和反照率），以最小化渲染的瞬态信号与测量瞬态信号之间的 $L_2$ 损失。该过程支持共聚焦和非共聚焦采集配置。
合成与重建： 一旦完成优化，3D 高斯表示被用于在规则的虚拟网格上合成密集的、物理一致的瞬态测量值。这些合成的瞬态信号随后被输入到传统的求解器（如光锥变换或 RSD）中，以生成最终的体积重建结果。

核心贡献

几何无关的流水线： 所提出的框架不对中继表面几何施加先验假设，天然支持具有任意照明-探测点对配置的共聚焦和非共聚焦采集。
3D 高斯瞬态渲染 (3D-GTR)： 作者引入了一种高效的、完全可微的、基于物理的瞬态渲染模型，该模型构建在轻量级的 3D 高斯原语之上。通过显式结合物理感知的光传输和表面法线，该模型在多种采集设置下均实现了可靠的性能。
鲁棒性与效率： 该方法通过来自公共数据集和自定义构建采集系统的真实世界测量进行了验证。结果表明，在空间受限、稀疏采样和任意形状的中继表面条件下，其在鲁棒性和重建保真度方面显著优于现有方法（如 NeTF、CC-SOCR、FBP）。

实验结果
论文在三种具有挑战性的采样机制下评估了该方法：

区域受限： 在空间采样稀疏（例如“NLOS”形状的掩模或随机 3,000 个点）的场景下，3D-GTR 保留了多物体几何结构，并在其他方法失效的地方保持了高保真度。
孔径受限： 当测量孔径受到严重限制（小于隐藏物体）时，该方法重建出的形状比现有技术更清晰。
分辨率受限： 该方法表现出超分辨率效应，即使在采样间距（4 cm）超过目标分辨率的情况下，也能成功解析 2 cm 的特征，优于在欠采样下性能退化的竞争方法。
非共聚焦与任意几何： 在使用弯曲中继表面（如人体模型躯干）的非共聚焦设置中，3D-GTR 比基准方法能更清晰地恢复目标形状。通过消融实验证明，在处理变化的表面方向时，在渲染模型中包含表面法线至关重要。
运行时间： 该方法展示了显著的效率优势，其训练收敛速度明显快于 NeTF，且由于利用了高斯原语在 GPU 上的并行特性，其推理时间比迭代优化方法快几个数量级。

意义
论文声称，这项工作建立了一个全新的 NLOS 成像框架，将范式从“几何假设型流水线”转向了“测量驱动型框架”。通过利用 LOS 测量来恢复中继表面几何，并利用 3D 高斯原语进行高效的可微渲染，该方法弥合了理论 NLOS 成像与复杂现实世界环境中实际部署之间的差距。作者将其定位为实现 NLOS 成像应用于自动驾驶导航和公共安全等领域的具体一步，在这些应用中，中继表面很少是平面或密集的。该工作承认，尽管该方法比现有基准更快，但尚未达到实时水平，但指出其基于物理且可微的表示特性，为未来集成视频重建技术提供了一条充满前景的路径。