💻 computer science

JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

JustDepth 是一个单阶段、实时的雷达-相机深度估计框架，它通过将雷达回波聚合为固定宽度的 1D 表示并利用轻量级 GNN 进行全局深度传播，在实现高精度的同时显著降低了推理延迟，并且完全使用单次扫描的 LiDAR 监督进行训练。

原作者： Wooyung Yun, Dongwook Kim, Soomok Lee

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Wooyung Yun, Dongwook Kim, Soomok Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，在浓雾中开车时试图看清世界。你的眼睛（摄像头）能看到树木和其他车辆的颜色和形状，但无法准确告诉你这些物体离你有多远。这就像是在看一幅平面的画；你知道那里有一座山，但你不知道它是在十英尺外还是在十英里外。另一方面，你汽车的雷达就像利用回声定位的蝙蝠；它能精确地告诉你某个物体有多远，但它提供的图像非常模糊且充满漏洞，就像一张大部分岛屿都缺失了的地图。

为了构建一辆真正安全的自动驾驶汽车，工程师需要结合这两种感官：摄像头的丰富细节和雷达的精确距离。目标是创建一个既详细又准确的“3D地图”，即使在天气恶劣的情况下也是如此。然而，教计算机完成这项任务通常就像是在用一个不稳固的地基建造摩天大楼。以往的方法通常需要大量的额外帮助，比如使用昂贵的激光雷达（LiDAR）进行多次区域扫描以构建完美的地图，或者需要复杂的、多步骤的过程，这些过程无法长时间实时运行。这篇新论文介绍了一种巧妙且更快速的方法，仅通过单次数据快照就能教会计算机感知深度。

开发这项研究的学者来自阿卓大学（Ajou University）和肯尼索尔州立大学（Kennesaw State University），他们开发了一个名为 JustDepth 的新系统。把 JustDepth 想象成一个超级高效的侦探，它仅凭相机的一次观察和雷达的一次脉冲，就能破解“那个东西有多远？”这个谜题。

大多数之前的侦探团队既缓慢又笨拙。他们通常会先尝试构建一个场景的草稿，然后再回头进行完善，或者依赖于一个已经学习了数百万张其他图片的“老师”（预训练模型）。这使得他们速度缓慢，且难以迁移到不同的汽车或数据集上。然而，JustDepth 是一个“单阶段”侦探。它看一眼相机图像和雷达脉冲，然后立即输出一张完整的、稠密的3D地图。它不需要先构建草稿，也不需要从其他模型中进行额外的训练。

JustDepth 的秘诀在于它如何处理杂乱的雷达数据。雷达回波就像一捧散落的弹珠；有时你只有几个，有时有一千个。如果你的计算机试图单独处理每一个弹珠，所需的时间就会剧烈波动，这对于需要做出瞬间决策的汽车来说是非常糟糕的。JustDepth 通过将所有这些散落的雷达点压缩成一条整齐、固定宽度的信息带来解决这个问题。这就像是将一堆混乱的拼图碎片压成一条统一的胶带。这意味着无论有10个还是1000个雷达点，计算机处理数据所花费的时间都是完全一样的。

一旦数据组织完毕，JustDepth 会使用一个特殊的“高度融合模块”（Height Fusion Block）将相机的图像和雷达的距离带粘合在一起。想象一下，用一把只能测量照片垂直线方向距离的尺子，去对齐一张街道照片。然后，它使用一个“图神经网络”（GNN），这个网络就像是在整个图像中进行的“传声筒”游戏。系统会将深度线索从一个像素传递给它的邻居，从而让整个画面在雷达未观测到的区域也能对物体距离达成“共识”。

该领域最大的难题之一是一个被称为“LiDAR 分布泄漏”的问题。因为用于教导计算机的激光扫描仪（LiDAR）只在水平线上进行扫描，计算机往往会学会绘制深度图上的水平条纹，就像扫描仪那样，而不是看到真实平滑的世界表面。为了在不需要更多昂贵数据的情况下解决这个问题，作者使用了一个巧妙的技巧：他们在训练期间通过随机角度旋转图像和数据，并在激光线之间的间隙中填充额外的“伪”点。这迫使计算机停止记忆条纹模式，转而学习真实的3D物体究竟是什么样子的。他们还创建了一种新的衡量这些条纹的方法，称为垂直-水平梯度比（VHGR），以证明他们的方法确实有效。

结果令人印象深刻。在 nuScenes 数据集（一个标准的驾驶场景集合）上进行测试时，JustDepth 处理一帧图像仅需 14.8 毫秒。这比一些之前的最佳方法（如 GET-UP）快了约 39.7 倍，同时仍保持了极高的准确度。事实上，与其他方法相比，它将“条纹伪影”（那些不想要的水平线）减少了 66%。

论文还强调了一个独特的特征：一个充当“辅助轮”的“置信度解码器”（confidence decoder）。在学习阶段，这个系统的部分会检查哪些像素是由雷达支持的，哪些不是，从而帮助主系统更好地学习。但最棒的部分在于：一旦系统训练完成，这个“辅助轮”就会被扔掉。它在最终产品运行时不会增加任何额外的负担，在提升准确度的同时，完全不会增加最终行驶时的耗时。

简而言之，JustDepth 表明，你不需要缓慢的多步骤过程或海量的额外数据就能获得出色的深度估计。通过简化架构、使用固定宽度的雷达表示法以及使用智能数据技巧来消除条纹伪影，作者创造了一个既极其快速又高度准确的系统。这是迈向能够清晰、快速且可靠地感知世界的自动驾驶汽车的一大步，即使在传感器稀疏且天气恶劣的情况下也是如此。

问题陈述

准确、低延迟的 3D 深度估计对于自动驾驶系统至关重要。虽然摄像头提供了丰富的外观线索，但它们缺乏度量尺度。相反，车载毫米波雷达提供了度量范围和对天气变化的鲁棒性，但其产生的数据稀疏、多噪且角度分辨率有限。现有的雷达-摄像头融合流水线通常由于多阶段架构、对预训练单目深度模型的依赖，或需要辅助标注（如语义掩码、边界框）以及多帧 LiDAR 累积来构建真值，从而导致高延迟和高复杂度。此外，使用单帧 LiDAR 监督进行训练往往会导致LiDAR 分布泄漏 (LiDAR Distribution Leakage, LDL)，即模型学习去复制扫描器的特定采样模式，从而导致预测深度图中出现明显的水平条纹伪影。

方法论

作者提出了 JustDepth，一种旨在实现实时推理且无需辅助标注的单阶段雷达-摄像头深度估计器。该架构由三个主要部分组成：

固定宽度雷达编码：
- 将雷达回波投影到图像平面，仅保留水平像素坐标 ( $u$ ) 和距离。
- 将这些点栅格化为宽度为 $W$ 的固定宽度 1D 网格。对于每一列，存储最小距离；空列置零。
- 一个 1D 卷积骨干网络处理该网格，生成潜特征图 $r_L \in \mathbb{R}^{B \times C \times w}$ 。至关重要的是，由于网格宽度是固定的，无论原始雷达点数多少，编码器的计算量和延迟保持不变。
高度融合模块 (Height Fusion Block)：
- 该模块对齐 2D 图像特征 ( $i_L$ ) 和 1D 雷达特征 ( $r_L$ )。
- 雷达特征沿高度维度进行重复以匹配图像特征高度，从而创建一个大小为 $h \times 2C$ 的列向 Token 序列。
- 高度向自注意力 (height-wise self-attention) 机制独立处理每一列，使模型能够在每个图像列内学习一致的雷达先验垂直位置。随后通过前馈网络和轻量级卷积模块来恢复 2D 上下文。
基于图的全局传播：
- 一个具有 $N$ 层的图神经网络 (GNN) 进行全局深度线索传播。
- 节点代表特征图中的空间 Token。边通过特征空间中的 K-最近邻 (K-NN) 搜索来构建。
- 网络采用 最大相对图卷积 (Max-Relative Graph Convolution, MR-Conv)，其中消息是通过节点与其邻居之间的最大差异形成的。这使得深度信息能够从受雷达支持或受 LiDAR 监督的区域传播到不受监督的区域，即使在特征相似的情况下也能跨越长距离进行传播。
解码器：
- 深度解码器： 类 U-Net 的上采样路径将全局传播的特征与来自图像编码器的跳跃连接进行融合，以生成最终的稠密深度图。
- 置信度解码器（仅训练阶段）： 一个辅助头预测每像素的置信度图，指示该像素受雷达支持的强度。该分支仅在训练期间用于监督以稳定学习，在推理阶段会被丢弃，不会产生任何测试时的额外成本。
LiDAR 分布泄漏 (LDL) 缓解策略：
- 为了防止模型过拟合于单帧 LiDAR 的水平扫描线，作者采用了两种策略：
  - 点云上采样： 在合适的 LiDAR 点对之间插入中点，以增加监督密度。
  - 同步旋转与反射填充： 图像、雷达和 LiDAR 被旋转相同的随机角度。对图像应用反射填充，以防止黑边作为旋转线索。这迫使模型学习无论条纹方向如何都能保持深度一致性。

核心贡献

单阶段、恒定延迟架构： JustDepth 将所有雷达回波编码为固定宽度的 1D 表示，实现了运行时间与点数解耦，并消除了对多阶段细化或预训练单目模块的需求。
仅限训练的置信度解码器： 一种新型辅助头，用于监督融合模块以定位受雷达支持的像素，而无需生成中间深度图。它在提高准确性的同时，不会在推理时增加延迟。
LDL 缓解策略： 通过结合点云上采样和带有反射填充的同步旋转，有效地减少了条纹伪影。
引入 VHGR 指标： 作者引入了 垂直-水平梯度比 (Vertical-Horizontal Gradient Ratio, VHGR)，用于定量衡量垂直和水平深度梯度之间的不平衡，作为量化由 LDL 引起的条纹伪影的具体指标。

实验结果

在 nuScenes 数据集（范围 0–50m, 0–70m, 0–80m）上进行的评估显示：

效率： 在 NVIDIA RTX 4070 Ti 上，JustDepth 的推理时间为 14.8 ms 每帧。这大约是先进方法 GET-UP 的 39.7 倍 快，并且显著快于其他竞争方法，从而实现了实时部署。
准确性： 尽管仅使用单帧 LiDAR 扫描且没有辅助标注，JustDepth 仍保持了极具竞争力的准确度。它在 0–50m 范围内的 MAE 为 1324.2 mm，在 0–70m 范围内为 1674.0 mm，优于 Li 等人 [10] 的方法，并在对比方法中取得了最佳的 AbsRel (0.074)。
伪影减少： JustDepth 在所有对比方法中实现了最低的 VHGR (0.1767)，表明与 GET-UP (0.5210) 和 Li 等人 (0.1868) 相比，其水平条纹伪影显著减少。
消融实验： 移除 GNN、高度融合模块的自注意力或 LDL 缓解策略（旋转/上采样）都会导致性能下降。值得注意的是，虽然 LDL 缓解策略通过阻止模型通过匹配稀疏 LiDAR 模式来“作弊”，从而略微增加了标准误差指标（MAE/RMSE），但它们极大地降低了 VHGR，并产生了更清晰、更符合物理规律的深度图。

意义与主张

本文声称 JustDepth 是迈向实用、实时雷达-相机感知的关键一步。通过证明仅使用 单帧 LiDAR 监督 即可在没有辅助标签或复杂多阶段流水线的情况下获得高质量、稠密的度量尺度深度，该方法增强了在不同数据集和传感器间的可移植性。作者强调，其方法成功平衡了延迟与准确性的权衡，在实现实时性能的同时，有效缓解了单帧监督固有的特定伪影（条纹）问题。VHGR 的引入提供了一个必要的工具，用于在标准误差指标之外评估深度图的视觉质量，凸显了在存在 LDL 时，较低的 MAE 并不总是意味着更好的结构保真度。

问题陈述

方法论

核心贡献

实验结果

意义与主张

类似论文