Person Detection and Tracking from an Overhead Crane LiDAR

本文针对工业室内场景下吊装 LiDAR 视角的行人检测与跟踪难题，构建了专用数据集并评估了多种 3D 检测器与跟踪算法，实现了高精度实时检测并开源了相关资源以填补该领域的研究空白。

要点

这篇论文讲述了一个关于**“在工厂里，如何让头顶的‘天眼’看清并记住每一个工人”**的故事。

想象一下，你走进一个巨大的工厂，头顶上有一台巨大的起重机（就像老式仓库里那种吊着货物的机器）。为了安全，防止起重机撞到工人，或者防止工人误入危险区域，研究人员在起重机上装了一个激光雷达（LiDAR）。

这个激光雷达就像一只**“360 度无死角的独眼巨人”**，它不靠拍照（保护隐私），而是发射激光束，通过反射回来的点来描绘周围物体的形状。

1. 遇到的难题：视角的“水土不服”

通常，我们看到的激光雷达都是装在汽车上的，它们是从侧面看人（就像你在路边看行人）。但这次，雷达是装在头顶往下看的（就像无人机或监控摄像头俯视）。

这就好比：

• 汽车雷达看人，看到的是人的“侧脸”和“全身”，像看一个站立的圆柱体。
• 头顶雷达看人，看到的是人的“头顶”和“肩膀”，像看一个扁平的圆盘。

现有的很多人工智能模型（就像受过训练的“看门狗”），都是看着汽车雷达的数据长大的。突然让它们看头顶视角的数据，它们就**“晕头转向”**了，就像让一个习惯看平视照片的画家，突然去画俯视的地图，完全找不到北。而且，市面上根本没有现成的“头顶看人”的练习题（数据集）给它们练手。

2. 解决方案：重新训练“看门狗”

为了解决这个问题，研究团队做了几件很酷的事情：

• 自创“练习册”：他们在工厂里装好设备，让几个人在底下走动，自己收集数据，并手动给这些人的头顶画上了“框框”（标注）。这就相当于给 AI 准备了一套专属的“头顶视角练习题”。
• 挑选“优等生”并特训：他们找来了几个在自动驾驶领域很厉害的 AI 模型（比如 VoxelNeXt 和 SECOND），把它们带到工厂，用这套新数据重新训练（微调）。
  • 这就好比把几个擅长认“侧面人”的警察，带到工厂，教他们认“头顶人”。
  • 结果发现，VoxelNeXt 和 SECOND 这两个模型学得最快、最准。特别是离雷达近的时候（1-3 米），VoxelNeXt 像鹰眼一样准；离得远一点（3 米以上），SECOND 则更稳健，不容易看花眼。

3. 不仅要“看见”，还要“记住”

光发现有人还不够，系统还得知道**“这是谁”，并且“他在往哪走”**。

• 检测（Detection）：就像保安一眼看到“那里有人”。
• 追踪（Tracking）：就像保安接着想“哦，那是刚才那个穿红衣服的人，他正往左走，别让他进禁区”。

论文里用了两种轻量级的追踪方法（AB3DMOT 和 SimpleTrack）。它们不需要重新学习，而是像**“老练的跟班”**，只要保安（检测模型）指认了目标，它们就能用简单的数学逻辑（比如卡尔曼滤波，一种预测运动轨迹的数学方法）紧紧跟上，给每个人分配一个 ID，确保不会跟丢，也不会把两个人搞混。

4. 成果如何？

• 看得很准：在离雷达 5 米远的范围内，系统能认出 84% 的人；如果只在 1 米范围内，准确率高达 97%！这就像在近距离内，几乎不会漏掉任何一个工人。
• 反应很快：整个系统处理速度非常快，能在毫秒级完成，完全满足实时安全监控的需求（就像反应极快的守门员）。
• 开源共享：最棒的是，他们把这套“练习题”（数据集）和“训练方法”（代码）都公开了，就像把食谱和食材都发给了全世界，让其他研究者也能来研究怎么更好地保护工人安全。

总结

这篇论文的核心就是：我们发明了一套方法，让装在头顶的激光雷达，能像经验丰富的老工头一样，在复杂的工厂环境里，精准地“看见”并“记住”每一个工人，从而防止意外发生。

它解决了“视角不同”带来的难题，证明了即使没有现成的数据，通过巧妙的“转行训练”，也能让现有的 AI 技术在工业安全中大显身手。

技术摘要

这篇论文提出了一种基于车载起重机（Overhead Crane）搭载的 LiDAR进行工业室内工作空间内人员检测与跟踪的解决方案。文章针对从常见的车辆中心视角（Frontal View）到工业俯视视角（Overhead View）的领域差异（Domain Shift），构建了一个专用的数据集，评估了多种 3D 检测器，并集成了轻量级跟踪算法。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

• 背景：在工厂和仓库等工业自动化环境中，确保靠近自动化系统的人类工人的安全至关重要。传统的基于相机的方法受光照影响大且涉及隐私，而基于 LiDAR 的 3D 检测具有抗光照干扰、提供直接 3D 几何信息且保护隐私的优势。
• 挑战：
  • 领域差异 (Domain Shift)：现有的 LiDAR 检测基准（如 KITTI, nuScenes）主要针对车辆前视视角，而起重机视角是垂直俯视，导致点云密度分布、遮挡关系和目标几何特征完全不同。
  • 数据稀缺：缺乏公开可用的、针对俯视视角 LiDAR 的人员检测与跟踪数据集。
  • 目标特性：人员在俯视视角下点云稀疏，且随距离增加点密度下降，导致检测困难。
• 目标：开发并评估适用于起重机俯视视角的人员检测与跟踪系统，量化其实际工作范围（Operating Envelope）。

2. 方法论 (Methodology)

A. 数据采集与标注

• 硬件设置：在离地 2.94 米高的起重机上安装了一台 32 线 LiDAR (RS-Bpearl)，水平视场角 360°，垂直 90°。
• 数据集：构建了一个特定的俯视 LiDAR 数据集。
  • 训练/验证集：包含 29 个标注帧（3 名参与者进行任意移动）。
  • 测试集：包含 76 个标注帧（10 名未参与训练的新参与者），用于评估泛化能力。
  • 标注：使用 labelCloud 工具进行 3D 边界框标注。
• 跟踪数据：从 ROS bag 数据中提取连续片段，手动标注边界框，利用检测器自动分配 ID 生成“伪真值”（Pseudo-GT）用于跟踪评估。

B. 检测模块 (Detection)

研究采用了迁移学习策略，将预训练在自动驾驶数据集上的模型微调以适应俯视视角。评估了以下五种主流 3D 检测架构：

1. PointPillars (PP)：将点云离散化为垂直柱状体，使用 2D CNN 处理 BEV 特征。
2. SECOND：基于体素（Voxel）的稀疏卷积网络。
3. PV-RCNN：两阶段方法，结合体素特征和点特征进行细化。
4. VoxelNeXt：全稀疏管道，直接预测目标，无需密集中间表示。
5. Voxel RCNN：两阶段方法，基于体素特征进行区域提议和细化。

关键调整：

• 检测头（Head）的锚框（Anchors）尺寸调整为 $0.8m \times 0.6m \times 1.73m$ 以匹配俯视视角下的人体尺寸。
• 使用 OpenPCDet 工具箱进行训练和评估。

C. 跟踪模块 (Tracking)

采用检测即跟踪 (Tracking-by-Detection) 范式，集成了两种轻量级跟踪器：

1. AB3DMOT：基于卡尔曼滤波（KF）和 IoU 关联，使用马氏距离进行数据关联，边界框尺寸和偏航角通过指数移动平均（EMA）更新。
2. SimpleTrack：同样基于 KF 和匈牙利匹配，但直接利用 BEV 几何 IoU 重叠进行关联，状态更新包含完整的 3D 框参数。

• 特点：两者均无需额外训练数据，计算轻量，适合边缘部署。

D. 评估协议

• 距离切片评估 (Distance-sliced evaluation)：将检测性能按水平径向距离（$r$）分段统计（1.0m, 2.0m, ..., 5.0m），以量化系统的有效工作范围。
• 指标：精确率 (Precision)、召回率 (Recall)、F1 分数、平均精度 (AP)、mIoU。
• 跟踪指标：MOTA, MOTP, IDF1。

3. 主要贡献 (Key Contributions)

1. 专用数据集：发布了一个包含 3D 边界框标注的工业起重机俯视 LiDAR 人员检测数据集，填补了该领域的空白。
2. 模型适配与评估：系统性地评估了多种 3D 检测器在俯视视角下的表现，证明了迁移学习的有效性。
3. 距离切片分析：通过距离切片评估，明确了不同模型在不同工作半径下的性能边界，为实际部署提供了指导。
4. 开源资源：在 GitHub 上开源了数据集和代码实现。

4. 实验结果 (Results)

A. 检测性能

• 最佳模型：VoxelNeXt 和 SECOND 表现最佳。
  • VoxelNeXt：在近距离（< 3.0m）表现最优，AP 高达 0.97 (1.0m 处)。
  • SECOND：在远距离（> 3.0m）表现更稳健，AP 在 5.0m 处达到 0.84。
• 对比实验：未经微调的预训练模型（Pretrained-only）在俯视视角下几乎失效（召回率极低），证明了领域差异的巨大影响和微调的必要性。
• 延迟：所有检测器在 CPU 上的推理延迟均满足实时性要求（P50 在 32ms - 46ms 之间，PV-RCNN 较慢）。

B. 跟踪性能

• 最佳组合：结合 VoxelNeXt 检测器和 AB3DMOT 跟踪器取得了最佳跟踪效果（MOTA 0.70, IDF1 0.87 @ IoU=0.3）。
• 关键发现：跟踪性能主要取决于上游检测器的质量。
• IoU 阈值影响：降低 IoU 阈值（从 0.3 到 0.1）显著提高了 MOTA 和 IDF1，说明部分错误源于 BEV 定位的微小偏差而非完全关联失败，但也增加了 ID 切换的风险。
• 延迟：AB3DMOT 比 SimpleTrack 快约 6 倍（1.08ms vs 6.30ms），两者均适合实时应用。

5. 意义与结论 (Significance & Conclusion)

• 填补空白：该研究成功 bridging 了标准驾驶数据集与工业俯视传感之间的领域鸿沟，证明了 LiDAR 在工业安全监控中的可行性。
• 实用指导：明确了系统的最佳工作半径（约 5.0m），并指出在近距离应优先选择 VoxelNeXt，而在需要覆盖更大范围时应选择 SECOND。
• 局限性：数据集规模较小，且评估距离受限于实验场地（4.5m-5.0m）。未来的工作将致力于扩大数据集规模，并在更动态、复杂的工业环境中进行测试。
• 总体结论：基于 LiDAR 的俯视人员检测与跟踪在工业室内环境中是准确且可行的，结合轻量级跟踪算法可实现实时的端到端安全监控。