💻 computer science

Seeing through boxes: Non-Line-of-Sight 3D Reconstruction from Radar Signals

本文介绍了 GeRaF 2.0，这是一个统一的神经框架，它利用可见的视场几何信息来引导和稳定从含噪射频信号重建隐藏三维场景的过程，从而实现了最先进的非视域成像性能。

原作者： Jiachen Lu, Hailan Shanbhag, Haitham Al Hassanieh

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiachen Lu, Hailan Shanbhag, Haitham Al Hassanieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《透过盒子看：基于雷达信号的非视距三维重建》（GeRaF 2.0）的通俗解释，辅以日常类比。

核心难题：“盲目”的雷达

想象你有一只利用回声定位（声呐）来“看”东西的蝙蝠。它能听到藏在纸箱里的球。然而，与人类眼睛或相机不同，这只“蝙蝠”没有镜头来聚焦视野。它同时听到所有声音：从盒子表面反弹的声音、从盒内球体反弹的声音，以及从房间墙壁反弹的声音。

由于雷达信号是“无镜头”的，生成的图像非常模糊，充满静态噪声（杂波），且难以解读。以往试图将这种模糊的雷达回波转化为隐藏物体的清晰三维模型的尝试往往以失败告终。计算机会感到困惑，生成奇怪的形状（例如一只戴着由盒子构成的大帽子的兔子），或者无法准确判断物体表面的确切位置。

旧方法 vs. 新方法

旧方法（GeRaF 1.0）：
想象你试图通过听一个密封盒子的声音来猜测里面有什么，但你假装盒子不存在。你直接忽略了盒子的墙壁。

缺陷： 雷达信号确实会与盒子发生相互作用。它在击中内部物体之前，会先从盒子表面反弹、变弱或改变方向。通过忽略盒子，计算机的数学计算就错了。它认为信号比实际更强或更弱，从而导致三维模型失真。

新方法（GeRaF 2.0）：
作者意识到，虽然雷达无法清晰地穿透盒子，但相机可以完美地看到盒子的外部。

类比： 把盒子想象成一个黑暗的洞穴。雷达试图绘制洞穴内部的地图，但里面雾气弥漫。相机站在外面，完美地看清了洞穴入口。GeRaF 2.0 利用相机对“入口”（盒子）的清晰视野，帮助雷达弄清楚“雾中”（内部）正在发生什么。

GeRaF 2.0 的工作原理（三个步骤）

该论文提出了一种名为GeRaF 2.0的框架，通过三个巧妙的步骤将“外部”视野（视觉）与“内部”视野（雷达）结合起来：

1. “套娃”地图（统一表示）

系统不再将盒子和内部物体视为两个独立的问题，而是将它们视为一套俄罗斯套娃。

概念： 它创建一个单一、连续的地图（即“有向距离场”），覆盖外部空气、纸箱、盒内空气以及物体本身。
作用： 这防止计算机搞混一个物体在哪里结束、另一个物体在哪里开始。它理解信号必须穿过“外层套娃”（盒子）才能到达“内层套娃”（物体）。

2. “稳定锚点”（视觉引导训练）

训练神经网络理解雷达，就像试图在飓风中走钢丝一样；既不稳定又摇晃。

技巧： 系统首先利用相机构建一个完美、稳定的盒子模型。然后，它利用这个完美模型作为雷达训练的“锚点”或起点。
类比： 想象你要透过一扇脏窗户画房间的画。你首先完美地画出窗框，因为你能清晰地看到它。然后，你利用这个完美的窗框来引导你的手，尝试绘制内部模糊的家具。这能防止雷达训练偏离正轨。

3. “校准”（解决“表面模糊性”）

这是最关键的创新。雷达信号很棘手，因为其强度取决于许多因素（物体有多远、由什么材料制成、盒子如何吸收信号）。

问题： 计算机不知道“弱信号”意味着物体很远，还是仅仅因为材料本身很弱。这导致了“表面模糊性”——计算机可能会将物体表面画得向外或向内偏移 5 厘米。
解决方案： 系统执行第二轮训练。它强制雷达模型在盒子的外部与相机模型达成一致。
逻辑： 如果雷达模型和相机模型在外部（我们可以清晰看到的地方）完美一致，数学证明它们在内部也必须一致。这种“校准”将雷达模型锁定在正确的位置，确保三维表面被精确绘制在应有的位置，而不是漂浮在空间中。

成果：他们实现了什么？

研究人员在机械臂上安装了雷达，对隐藏在各种盒子里的兔子、大象和船只等物体进行了扫描测试。

之前： 雷达重建结果通常充满噪声，带有“幽灵”形状（如兔子的帽子），或者表面位置错误。
之后（GeRaF 2.0）： 系统生成了干净、准确的三维模型。它成功重建了精细的细节，如大象的象牙或鸡的鸡冠，即使它们被藏在盒子里。
关键要点： 通过利用盒子的“清晰视野”来引导内部的“模糊视野”，他们实现了迄今为止最准确的基于雷达的隐藏物体三维重建。

总结

简而言之，GeRaF 2.0 就像给一位蒙眼的雕塑家（雷达）戴上一副眼镜（相机），让他能看清正在工作的模具（盒子）。通过完美地理解模具，雕塑家终于能以完美的精度雕刻出内部隐藏的雕像，而不是靠猜测并犯错。

技术摘要：透视箱体：基于雷达信号的非视域三维重建（GeRaF 2.0）

1. 问题陈述

由于射频（RF）传感无透镜的特性导致空间分辨率低、噪声高且存在信号伪影，从射频信号中重建三维物体几何结构本质上极具挑战性。尽管射频信号具备穿透遮挡物（非视域或 NLoS）的独特能力，但现有的神经重建方法难以生成精确的几何结构。

以往的方法，如作者之前的工作 GeRaF [31]，试图通过简单地裁剪掉遮挡物体（例如一个盒子）并将场景视为遮挡不存在来重建非视域场景。这种方法之所以失败，是因为它忽略了物理现实：与视域（LoS）遮挡物（即盒子）相互作用的无线信号在到达隐藏物体之前会经历部分反射和衰减。因此，这些方法存在三个主要局限性：

重建不准确：可见表面的反射“泄漏”到隐藏区域，产生噪声和伪影（例如，由盒子引起的兔子上的“帽子”形状）。
优化不稳定：不同的视域几何结构改变了优化景观，导致收敛失败。
表面模糊性：无法归一化信号强度使得确定真实表面位置（有符号距离场或 SDF 的零级集）变得困难，通常导致表面偏移数厘米。

2. 方法：GeRaF 2.0

本文提出了GeRaF 2.0，这是一个统一的视域与非视域（ULoS）神经几何重建框架。其核心理念是利用可见（LoS）区域中稳定、高保真的视觉信息来指导隐藏（NLoS）区域的重建。

2.1 ULoS 场景表示

该框架将整个场景（包括可见和隐藏部分）建模为单个**ULoS 有符号距离场（ULoS SDF）**内的一系列嵌套、闭合且紧凑的集合。

统一域：场景定义为 $\Omega_{\text{ULoS}} = \Omega_{\text{LoS}} \cup \Omega_{\text{NLoS}}$ 。
嵌套集合：空间由层 $M_1, \dots, M_n$ 表示，其中 $M_n \subset \text{int}(M_{n-1}) \dots \subset \text{int}(\Omega_{\text{ULoS}})$ 。
符号语义：与传统 SDF 中“负值”表示物体内部不同，ULoS SDF 根据射频相互作用强度分配符号。射频相互作用强的区域（例如盒壁、物体）被赋予负值，而相互作用弱的区域（例如空气）被赋予正值。这使得该场能够在单个连续场中表示多个表面（盒子的内/外壁、物体）。

2.2 ULoS 无透镜渲染

为了解决使用噪声射频数据训练时的不稳定性，作者引入了一种渲染技术，该技术将视觉预训练的 SDF（ $f_v$ ）作为先验纳入其中。

共享几何：在视域区域（盒子外部），射频训练的 ULoS SDF（ $f_r$ ）与视觉训练的 SDF（ $f_v$ ）是相同的。
透射率调整：系统不使用视觉预训练的 SDF 来从头计算每条射线的透射率（这计算昂贵且易出错），而是利用它来调整主射线的累积透射率。这为射频训练提供了稳定的初始化，确保优化从物理上一致的几何状态开始。

2.3 两阶段训练流程

为了解决表面模糊性问题（即零级集被错误偏移），作者提出了一种两阶段优化过程：

阶段 1：初始化和几何学习
- 反射率网络被冻结并初始化为常数值（1.0）。
- SDF 网络使用视觉预训练的 SDF 进行初始化。
- 训练通过最小化预测值与真实**匹配滤波器（MF）**功率分布之间的损失，并结合 Eikonal 正则化以强制生成有效的 SDF。
- 在渲染过程中使用视觉预训练的 SDF 来调整透射率。
阶段 2：RSDF 对齐
- 所有网络联合训练。
- 引入一个新的损失项，即RSDF 对齐。作者定义了一个相对 SDF（RSDF）， $g_r$ ，它是射频训练的 SDF 偏移了一个未知常数。
- 理论基础：如果两个标量场的梯度相同，且它们在闭合表面上匹配，则这两个场在所有地方都是相同的。
- 实现：系统在盒子的外表面（ $\partial M_1$ ）上将射频训练的 RSDF（ $g_r$ ）与视觉训练的 SDF（ $f_v$ ）进行对齐。这是通过最小化视觉和射频模式之间沿主射线的期望深度差异来实现的。
- 这种对齐迫使射频训练的 SDF 收敛到正确的零级集，有效地将视觉模型的几何精度转移到隐藏的非视域区域。

3. 主要贡献

统一表示：引入了 ULoS SDF，将视域和非视域区域统一到一个具有射频传播物理意义符号语义的单一神经场中。
ULoS 无透镜渲染：一种利用视觉预训练 SDF 提供稳定初始化和透射率调整的渲染技术，减轻了非视域重建中由视域引起的伪影。
RSDF 对齐：一种新颖的两阶段训练策略，利用视域区域（盒子）的已知几何结构来对齐射频训练的 SDF，解决了表面模糊性问题，并能够在无需手动阈值处理的情况下提取精确的零级集。
最先进性能：该框架实现了可见和隐藏几何结构的稳定训练及物理一致的重建，性能优于以往的基于射频的方法。

4. 实验结果

作者使用安装在机械臂上的 77 GHz 毫米波雷达对 GeRaF 2.0 进行了评估，对放置在各种盒子内的不同真实世界物体（兔子、大象、鹿、鸡、船、球）进行了成像。

定量性能：在F1 分数和**Chamfer 距离（CD）**方面，GeRaF 2.0 显著优于基线方法（匹配滤波器成像、GeRaF [31] 以及遮挡场景下的基于视觉的 NeuS [48]）。例如，在“兔子”数据集上，GeRaF 2.0 的 F1 分数为 0.962，CD 为 0.15 毫米，而 GeRaF 分别为 0.822 和 4.24 毫米。
定性改进：该方法生成了具有正确零级集的干净、精确的表面。与之前需要手动选择表面层级（例如 $g_r = 40$ 毫米）的方法不同，GeRaF 2.0 正确地在 $g_r = 0$ 毫米处识别表面，保留了鸡冠和大象象牙等精细细节。
鲁棒性：即使盒子内填充了气泡膜（引入散射层）或重建嵌套盒子时，该系统仍能保持高保真重建。
消融研究：
- 移除 ULoS 无透镜渲染导致收敛变慢且形状形成不准确。
- 移除 RSDF 对齐（ $\lambda_{\text{RSDF}} = 0$ ）导致表面显著偏离零级，证实了对齐阶段对于解决表面模糊性的必要性。

5. 意义

本文声称提出了首个利用视域模态来增强非视域三维重建的工作，确立了基于射频的几何重建的新最先进水平。通过弥合可见与隐藏区域之间的差距，GeRaF 2.0 解决了射频传感中固有的根本性不稳定性和模糊性。该框架使机器人和智能设备能够准确感知遮挡物后的隐藏物体，超越了以往将遮挡视为不存在或未能建模其与射频信号物理相互作用的方法的局限性。这项工作表明，将视觉先验集成到神经射频重建中，是在具有挑战性的可见度条件下实现鲁棒、高分辨率三维传感的可行途径。