Towards Camera Open-set 3D Object Detection for Autonomous Driving Scenarios

本文提出了名为 OS-Det3D 的两阶段训练框架，通过结合 LiDAR 几何线索生成类无关 3D 提案并利用联合选择模块进行筛选，有效解决了自动驾驶场景中相机 3D 检测器难以识别未知物体的问题，同时提升了对已知物体的检测性能。

要点

这是一篇关于自动驾驶汽车如何“看见”并识别路上从未见过的奇怪物体的论文。

为了让你轻松理解，我们可以把自动驾驶汽车想象成一个刚毕业的交通协管员，而这篇论文提出的 OS-Det3D 系统，就是给这位协管员配备的一套超级“直觉”训练法。

🚗 背景：为什么现在的自动驾驶会“翻车”？

想象一下，你教一个学生认路。你给他看了一堆照片，告诉他：“这是汽车（红色），这是行人（蓝色），这是自行车（绿色）。”

• 传统方法（闭集检测）： 这个学生非常听话，但他只认识你教过的这三样东西。如果路上突然跑出来一只长颈鹿，或者一个巨大的充气玩偶，或者一堆奇怪的垃圾，他会直接无视，或者错误地把它当成“汽车”或“行人”。
• 现实风险： 在真实的道路上，情况千变万化。如果自动驾驶汽车认不出这些“新面孔”，就可能会发生危险。

💡 核心方案：OS-Det3D（两步走训练法）

这篇论文提出了一种新的训练框架，叫 OS-Det3D。它不像以前那样只教学生认“已知物品”，而是分两步走，教学生学会“发现未知”。

第一步：让“雷达”当老师，找出所有“像物体”的东西

（3D 物体发现网络 ODN3D）

• 问题： 如果只让摄像头（眼睛）去猜，它很容易被骗。比如，它可能把墙上的海报当成车，因为海报上有车轮的图案（纹理）。
• 解决： 我们引入一个激光雷达（LiDAR）作为“几何老师”。激光雷达不靠颜色或图案，它靠形状和距离（就像用手摸东西）。
• 比喻： 想象你在一个黑屋子里，你看不见东西，但你伸出手去摸。不管摸到的是猫、狗还是椅子，只要它是立体的、有形状的，你就知道“这里有个东西”。
• 操作： 这个系统利用激光雷达的几何信息，不管那个东西叫什么名字，只要它看起来像个物体，就给它发一张“入场券”（生成候选框），并给它打一个**“像不像物体”的分数（Objectness Score）**。
  • 注意： 这时候它还不知道那是什么，只知道“那里有个东西”。

第二步：让“摄像头”当裁判，筛选出真正的“新面孔”

（联合选择模块 JS）

• 问题： 第一步找出来的东西太多了，里面混杂着很多噪音（比如树影、路面的反光），甚至可能把已知的车也混进去了。我们需要把真正的“新面孔”挑出来。
• 解决： 我们让**摄像头（眼睛）和第一步的“像物体分数”**联手。
• 比喻： 这是一个**“排雷”游戏**。
  • 摄像头说：“这个东西看起来很像我们以前见过的‘卡车’或‘行人’。”（如果很像，说明它是已知的，或者只是长得像已知的，排除）。
  • 第一步的分数说：“这个东西在三维空间里确实是个立体的物体！”（确认它是物体）。
  • 联合判断： 如果一个东西**“确实是立体的物体”（高分），但是“摄像头觉得它长得不像任何已知的车或人”**（低相似度），那么！🎉 这就是我们要找的“新面孔”（未知物体）！
• 结果： 系统把这些挑出来的“新面孔”当作**“假想真值”（Pseudo Ground Truth）**，反过来再教摄像头：“看，这就是未知物体，下次见到类似的要认出来！”

🌟 这个系统厉害在哪里？

1. 不再“瞎眼”： 以前摄像头只能认死记硬背的东西，现在它能发现路上的垃圾、奇怪的障碍物、没见过的动物等。
2. 越练越聪明： 它利用激光雷达的“形状直觉”来辅助摄像头，让摄像头也能学会识别未知物体，而不仅仅依赖激光雷达（因为激光雷达太贵，很多车只有摄像头）。
3. 双向提升： 实验证明，这套方法不仅让汽车能认出“新东西”，连以前认识的“老熟人”（已知车辆）也认得更准了。

📝 总结

这就好比给自动驾驶汽车装上了一个**“好奇心”**。

• 以前的车： “我只认识红车、蓝人和绿自行车。别的我不看。”
• 现在的车（OS-Det3D）： “虽然我不认识那个绿色的、长得像大象的物体，但我知道它是个立体的、挡路的家伙，而且它肯定不是车或人。我要小心它！"

这篇论文就是教自动驾驶汽车如何从“死记硬背”进化到“举一反三”，从而在复杂的现实世界中更安全地行驶。

技术摘要

论文技术总结：面向自动驾驶场景的相机开集 3D 目标检测 (OS-Det3D)

1. 研究背景与问题定义 (Problem)

在自动驾驶领域，传统的基于相机的 3D 目标检测器通常基于闭集（Closed-set）假设，即模型仅在训练时预定义的物体类别上进行训练和推理。然而，现实世界的驾驶环境是动态且不可预测的，经常会出现训练集中未包含的新颖或未知物体（如施工车辆、特殊障碍物、散落的 debris 等）。

• 核心挑战：
  1. 安全性风险：闭集检测器无法识别未知物体，可能导致自动驾驶系统做出错误决策。
  2. 3D 开集检测的难点：现有的 2D 开集方法难以直接迁移到 3D 领域。基于 RGB 图像的 3D 检测缺乏可靠的深度信息，容易过拟合于纹理等捷径线索；而现有的无类别（Class-agnostic）3D 提案网络往往将未标注的物体视为背景，导致对未知物体的泛化能力差。
  3. 伪标签噪声：在 3D 空间中生成高质量的未知物体伪标签（Pseudo Ground Truth）非常困难，低质量的伪标签会严重损害模型对已知和未知物体的检测性能。

2. 方法论 (Methodology)

作者提出了 OS-Det3D，这是一个专为基于相机的开集 3D 目标检测设计的两阶段训练框架。该框架巧妙地结合了 LiDAR 的几何信息和相机的视觉特征，无需在训练阶段使用未知物体的标注。

阶段一：3D 物体发现网络 (ODN3D)

利用 LiDAR 点云的几何信息生成类别无关（Class-agnostic）的 3D 物体提案。

• GeoHungarian 匹配：提出了一种仅基于几何信息的匈牙利匹配算法。与传统匹配不同，它去除了分类代价，仅关注边界框的位置（Location）和尺度（Scale）的几何对齐。这避免了模型过拟合到已知的标注类别，使其能够学习到通用的几何特征。
• 3D 物体性评分 (3D Objectness Score)：设计了一个新的评分机制来衡量提案的几何质量。
  • 将 3D 边界框分解为定位部分（中心点 $x, y, z$）和尺度部分（长宽高 $w, l, h$ 及偏航角 $r$）。
  • 分别计算预测与真值在定位和尺度上的距离，并通过高斯核函数转化为置信度分数。
  • 该分数用于指导网络学习对未见物体具有良好泛化能力的几何特征。
• 输出：生成一组带有 3D 物体性评分（$s'_{obj}$）的 3D 物体提案。

阶段二：联合选择模块 (Joint Selection, JS)

利用相机检测器的特征响应来筛选阶段一生成的提案，构建高质量的未知物体伪标签。

• 交叉模态筛选：
  • 3D 物体性评分 ($s'_{obj}$)：反映提案的 3D 定位质量（位置、大小是否准确）。
  • BEV 特征响应 ($s_{fea}$)：从相机检测器（如 BEVFormer）提取鸟瞰图（BEV）特征，计算提案区域在 BEV 特征图上的平均响应。高响应通常意味着该物体与已知类别相似。
• 联合评分公式：
  $$s_{jos} = s'_{obj} \cdot (1 - s_{fea})$$
  该公式旨在选择定位质量高（$s'_{obj}$ 高）且外观与已知类别差异大（$s_{fea}$ 低）的提案作为未知物体的伪标签。
• 训练策略：将筛选出的高质量伪标签与已知物体的真值合并，用于训练相机 3D 检测器。在损失函数中，未知类别的损失权重由物体性评分 $s'_{obj}$ 动态调整，使模型更关注高置信度的未知区域。

3. 主要贡献 (Key Contributions)

1. ODN3D 网络：提出了一种新颖的 3D 物体提案网络，通过结合 GeoHungarian 匹配和 3D 物体性评分，有效学习了不依赖于特定类别的几何线索，显著提升了发现未知 3D 物体的能力。
2. 联合选择模块 (JS)：设计了一个利用跨模态信息（LiDAR 几何 + 相机 BEV 特征）的筛选机制，有效去除了噪声提案，生成了高质量的未知物体伪标签，解决了 3D 开集检测中伪标签不可靠的难题。
3. OS-Det3D 框架：构建了一个完整的两阶段训练框架，使得仅使用相机数据的检测器能够在推理阶段同时检测已知和未知物体，同时保持甚至提升对已知物体的检测性能。

4. 实验结果 (Results)

作者在 nuScenes 和 KITTI 两个主流自动驾驶数据集上进行了广泛实验。

• nuScenes 数据集：
  • 在 nuScenes Split 2 测试集上，OS-Det3D 相比基线方法（如 BEVFormer+OW-DETR 或 CA-3D）显著提升了未知物体的召回率（ARunk）和平均精度（APunk）。
  • 例如，在 Split 2 上，ARunk 从 25.9% 提升至 31.8%，APunk 从 1.4% 提升至 4.2%，同时已知物体的 mAP 也略有提升（42.5% -> 43.4%）。
• KITTI 数据集：
  • 在未知物体发现任务中，ODN3D 的 Recallunk 达到 74.4%，远超 MLUC (50.0%) 和 OSIS (31.0%) 等现有方法。
  • 在未知物体的 APunk 指标上，比 MLUC 高出 23.5%，证明了其伪标签生成策略的高效性。
• 消融实验：
  • 验证了 GeoHungarian 匹配、3D 物体性评分以及联合选择模块各自的重要性。
  • 证明了引入联合选择模块后，模型在提升未知物体检测能力的同时，没有牺牲已知物体的检测精度。

5. 意义与价值 (Significance)

• 提升自动驾驶安全性：解决了传统闭集检测器在面对“长尾”未知物体时的盲区问题，显著降低了自动驾驶系统在复杂现实场景中的安全风险。
• 突破模态限制：虽然训练过程利用了 LiDAR 数据来辅助生成提案，但最终推理仅需相机数据。这使得该方案能够低成本地部署在仅配备摄像头的自动驾驶车辆上。
• 方法论创新：提出的“几何引导发现 + 视觉特征筛选”的两阶段范式，为 3D 开集检测领域提供了新的解决思路，特别是针对 3D 空间中深度信息缺失和类别不平衡的难题提供了有效的解决方案。

总结：OS-Det3D 通过巧妙融合 LiDAR 的几何先验和相机的视觉语义，成功赋予了相机 3D 检测器“发现未知”的能力，是迈向更鲁棒、更安全的自动驾驶感知系统的重要一步。