💻 computer science

Easy3D-Labels: Supervising Semantic Occupancy Estimation with 3D Pseudo-Labels for Automotive Perception

该论文提出了名为 Easy3D-Labels 的 3D 伪标签生成方法，利用 Grounded-SAM 和 Metric3Dv2 结合时序聚合直接在 3D 空间进行监督，有效解决了现有自监督语义占据估计方法中计算成本高和渲染复杂的问题，显著提升了模型在 Occ3D-nuScenes 数据集上的性能并降低了对象重复率。

原作者： Seamie Hayes, Ganesh Sistu, Tim Brophy, Ciaran Eising

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seamie Hayes, Ganesh Sistu, Tim Brophy, Ciaran Eising

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Easy3D-Labels 的新方法，旨在帮助自动驾驶汽车更聪明、更安全地“看”懂周围的世界。

为了让你轻松理解，我们可以把自动驾驶汽车想象成一个正在学习画画的小学生，而它要画的是一幅立体的 3D 场景图（包括路、车、行人、树木等）。

1. 以前的难题：只有“平面”的参考书

在以前，教这个小学生画画时，老师（算法）只给他看2D 的照片（就像普通的手机照片）。

问题：照片是平面的，看不出远近和高度。比如，照片里的一棵树和一辆车可能重叠在一起，小学生很难分清谁在前、谁在后，或者树到底有多高。
后果：为了画出 3D 图，小学生不得不自己猜（计算），这非常消耗脑力（计算成本高），而且容易画错，比如把一辆车画成两辆（物体重复），或者把远处的树画得太近。

2. 以前的笨办法：用“透视魔法”硬凑

为了解决这个问题，以前的方法试图用一种复杂的“透视魔法”（叫 Novel View Synthesis，新视角合成），把 3D 模型强行渲染成 2D 照片，再拿去和参考图对比。

比喻：这就像小学生为了检查画得对不对，必须把自己画的 3D 雕塑先拍成照片，再和老师的照片对比。这个过程既慢又累，而且如果雕塑本身有点歪，拍出来的照片也会误导他。

3. Easy3D-Labels 的绝招：直接给“立体积木”答案

这篇论文提出的 Easy3D-Labels 就像给小学生直接提供了一套现成的、立体的乐高积木作为参考答案。

怎么做到的？
1. 智能识别（Grounded-SAM）：先让一个超级 AI 助手看照片，精准地认出哪里是“人”，哪里是“车”。
2. 测量深度（Metric3Dv2）：再用另一个 AI 助手算出每个物体离车有多远。
3. 拼成立体图：把识别出的“物体”和算出的“距离”结合起来，直接在 3D 空间里拼出一堆带颜色的点（点云），最后把这些点变成一个个小方块（体素），这就成了3D 伪标签。
4. 时间魔法（Temporal Aggregation）：就像拍延时摄影一样，把过去几秒看到的画面也拼进来。这样，即使现在被挡住了的东西（比如被前车挡住的行人），也能通过之前的画面补全，让 3D 图更完整、更密集。
好处：
- 不用猜了：小学生不需要再费劲去把 3D 转成 2D 对比了，直接拿着 3D 积木和老师的 3D 积木对比，简单直接！
- 省脑力：省去了复杂的渲染过程，训练速度更快。
- 更准确：能分清谁在前谁在后，减少了“画重影”（物体重复）的毛病。

4. 成果：EasyOcc 模型

作者还基于这个方法，专门训练了一个叫 EasyOcc 的新模型。

比喻：这就好比小学生只用了这套“立体积木”作为教材，没学那些复杂的“透视魔法”，结果画出来的画（自动驾驶感知）反而比那些学了复杂技巧的学长还要好！
数据：在测试中，使用这套方法后，模型识别物体的准确度（mIoU）提升了 45%，对深度和距离的判断（RayIoU）提升了 49%。特别是对行人、自行车这些“脆弱道路使用者”的识别，提升更是惊人（比如行人识别提升了 600% 以上）。

总结

简单来说，这篇论文就是告诉自动驾驶领域：
别再用复杂的 2D 照片去猜 3D 世界了，直接用 AI 把 2D 照片“翻译”成 3D 积木（Easy3D-Labels），让模型直接对着 3D 积木学习。

这样做不仅让自动驾驶看得更准、更安全（能发现被挡住的行人），还让训练过程变得更简单、更便宜。这就像是从“盲人摸象”变成了“拿着 3D 模型摸象”，让未来的自动驾驶汽车能更清晰地理解我们复杂的道路环境。

Easy3D-Labels 论文技术总结

1. 研究背景与问题 (Problem)

在自动驾驶感知领域，语义占据估计 (Semantic Occupancy Estimation) 旨在提供周围环境的完整 3D 表示，相比传统的鸟瞰图 (BEV) 和 3D 边界框方法，它能更好地处理垂直信息，减少定位模糊性，对运动规划和场景预测至关重要。

然而，现有的自监督语义占据模型面临以下主要挑战：

依赖 2D 伪标签与渲染开销：由于缺乏真实的 3D 标注，现有方法通常依赖 2D 图像空间的伪标签（由基础模型如 VLM/VFM 生成）。为了在 3D 空间进行监督，模型必须使用新视图合成 (Novel View Synthesis, NVS) 技术（如 NeRF 或 3D Gaussian Splatting）将 3D 场景渲染回 2D 图像空间进行损失计算。
计算与内存成本高：NVS 过程（特别是 NeRF 和 Gaussian Splatting）在训练期间带来巨大的计算和内存开销。
深度与语义歧义：仅依赖 2D 渲染容易导致深度估计不准确、物体重复检测 (Object Duplication) 以及对近处物体的偏差。
LiDAR 依赖：部分生成 3D 伪标签的方法（如 AGO）依赖 LiDAR 点云，增加了硬件成本和系统复杂性。

核心问题：如何在不依赖 LiDAR 和昂贵的新视图合成渲染的情况下，生成高质量的 3D 伪标签，直接用于 3D 空间的监督学习，从而提升自监督占据估计的性能？

2. 方法论 (Methodology)

论文提出了 Easy3D-Labels 和 EasyOcc 两个核心组件。

2.1 Easy3D-Labels (3D 伪标签生成)

这是一种生成 3D 伪真值标签的技术，无需 LiDAR，也无需在训练中进行新视图合成。其流程分为三步：

语义点云生成：
- 利用 Grounded-SAM 生成 2D 语义分割图。
- 利用 Metric3Dv2 生成 2D 深度图。
- 结合相机内参和位姿，将 2D 像素投影到 3D 全局坐标系，形成带有语义标签的 3D 点云。
点云致密化 (Densification)：
- 引入时间聚合 (Temporal Aggregation)：将当前帧与过去 13 帧（ $\Delta \in \{1, ..., 13\}$ ）的点云进行融合。
- 动态物体过滤：在聚合过程中，剔除动态物体（如车辆、行人）的旧帧点，防止物体在 3D 空间中重复出现（Ghosting），仅保留静态物体（如道路、人行道）以增加场景密度。
- 将聚合后的点云转换回当前帧的自车坐标系。
体素化 (Voxelization)：
- 将致密化的点云体素化到 Occ3D-nuScenes 定义的 3D 网格中（ $0.4m^3$ 分辨率）。
- 去噪策略：设定最小点计数阈值（如 10 个点）才视为占据，以过滤噪声点；占据体素的语义标签由内部点的多数类决定。

2.2 EasyOcc 模型

这是一个简化的自监督语义占据估计模型，专为配合 Easy3D-Labels 设计：

架构：基于 ResNet-101 提取图像特征，通过无参数双线性采样投影到 3D 空间，再经 3D CNN 处理。
简化设计：去除了姿态估计、新视图合成、多帧光度一致性等复杂模块。
损失函数：仅使用 Easy3D-Labels 作为监督信号。
- 伪损失 ( $L_{Pseudo}$ )：包含交叉熵损失 ( $L_{CE}$ ) 和几何损失 ( $L_{Geometry}$ )。
- 几何损失：包含几何尺度损失、语义尺度损失和 Lovász-Softmax 损失（用于优化 IoU）。
- 关键创新：在 Lovász 损失中忽略“空”类 (Empty Class)，避免其对损失计算的干扰，从而提升性能。

2.3 集成策略

Easy3D-Labels 可作为辅助损失函数，轻松集成到现有的自监督模型（如 SelfOcc, OccNeRF, GaussianOcc）中，无需修改模型架构，仅需在损失函数中增加 $L_{Pseudo}$ 。

3. 主要贡献 (Key Contributions)

Easy3D-Labels 框架：提出了一种无需 LiDAR、无需新视图合成的 3D 伪标签生成方法。利用 Grounded-SAM 和 Metric3Dv2 结合时间聚合，直接在 3D 空间生成高质量伪标签。
显著的性能提升：
- 将 Easy3D-Labels 集成到 OccNeRF 中，mIoU 提升了 45%，RayIoU 提升了 49%。
- 在 SelfOcc 中，行人（Pedestrian）类的分割性能提升了超过 600%，显著增强了对弱势交通参与者的检测能力。
EasyOcc 模型：提出了一个仅依赖 3D 伪标签的轻量化模型，在 Occ3D-nuScenes 上达到了 15.7 mIoU，超越了部分使用复杂渲染策略的基线模型，证明了复杂渲染并非高性能的必要条件。
解决重复检测与深度歧义：通过时间聚合和 3D 直接监督，有效减少了物体重复检测，提高了深度估计的准确性（体现在 RayIoU 的提升上）。

4. 实验结果 (Results)

实验在 Occ3D-nuScenes 和 OpenOccv2 数据集上进行，评估指标包括 mIoU 和 RayIoU。

mIoU 表现：
- EasyOcc (仅用伪标签) 达到 15.7 mIoU，优于 GaussTR (13.8) 和原始 OccNeRF (11.0)。
- 集成 Easy3D-Labels 后，OccNeRF 的 mIoU 从 11.0 提升至 16.0，GaussianOcc 从 11.3 提升至 15.7。
- 在动态物体（如行人、自行车）上的提升尤为显著。
RayIoU 表现：
- RayIoU 对深度过预测更敏感。集成 Easy3D-Labels 后，OccNeRF 的 RayIoU 从 10.4 提升至 15.5 (Occ3D 数据集)，提升了 49%。
- 这表明模型不仅学会了分类，还更准确地估计了深度，减少了虚假的占据预测。
效率分析：
- EasyOcc 去除了渲染模块，训练时间显著减少（单 epoch 仅需 1 小时 25 分，而 OccNeRF 需 5 小时 8 分）。
- 推理速度 (FPS) 与 OccNeRF 和 GaussianOcc 持平 (5.4 FPS)，未因引入伪标签而降低推理效率。
消融实验：
- 时间聚合：使用 13 帧聚合效果最佳，mIoU 达到饱和。
- 损失权重 ( $\lambda$ )： $\lambda=0.1$ 时几何损失与交叉熵损失平衡最佳。
- Lovász 损失：排除“空”类索引后，mIoU 额外提升 0.5 点。

5. 意义与影响 (Significance)

降低门槛与成本：该方法完全基于单目相机，无需昂贵的 LiDAR 传感器，使得高质量 3D 感知模型的训练更加普及和低成本。
摆脱渲染依赖：证明了在自监督学习中，可以直接在 3D 空间进行监督，无需依赖计算昂贵的 NeRF 或 Gaussian Splatting 渲染过程，为未来模型设计提供了新的范式。
提升安全性：显著改善了对行人、自行车等弱势交通参与者的检测能力，对于自动驾驶的安全性至关重要。
通用性与可扩展性：Easy3D-Labels 作为一种通用的辅助损失，可以无缝集成到现有的各种占据估计架构中，提升了整个领域的性能基准。
开源贡献：作者已开源 Easy3D-Labels，促进了社区对自监督 3D 感知研究的进一步发展。

总结：Easy3D-Labels 通过巧妙结合基础模型（Foundation Models）的时间聚合能力，成功构建了高质量的 3D 伪标签，解决了自监督占据估计中渲染成本高和深度歧义的问题，在性能、效率和安全性之间取得了极佳的平衡。