Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

该研究提出了一种针对全景骑行视频的多目标检测与跟踪新框架，通过图像分割投影、边界连续性优化及类别信息融合，有效解决了全景图像畸变与小目标检测难题，显著提升了车辆超车检测等骑行安全分析任务的精度与鲁棒性。

要点

这篇论文就像是在给骑自行车的人装上一双“超级 360 度智慧眼”，并教这双眼睛如何在大脑里快速、准确地识别周围的危险。

想象一下，你骑着自行车在伦敦的街道上穿梭。传统的摄像头就像你只戴着一个普通的眼罩，只能看到正前方，或者只能看到正后方。但现实很残酷：危险可能来自你身后突然超车的汽车，也可能来自你侧面的“开门杀”。

为了解决这个问题，研究团队给自行车装上了全景相机（360 度摄像头），就像给自行车戴上了一顶能看见前后左右所有东西的“魔法头盔”。但是，这个“魔法头盔”拍出来的照片有个大问题：它把整个球形的世界强行压扁在一张长方形的纸上（就像把地球仪压成地图一样），这导致画面边缘的东西被拉得很长、很扭曲，而且画面左右两边其实是连在一起的（就像地球仪的左右边缘是相接的）。

现有的电脑视觉技术（AI 的眼睛）习惯了看普通的、不变形的照片，直接看这种“压扁”的全景图就会“晕头转向”，认不出物体，或者把同一个车在画面左边和右边当成两个不同的车。

这篇论文就是为了解决这个“晕头转向”的问题，提出了一个三步走的“魔法咒语”：

第一步：把“压扁的地图”切成四块“小拼图”

想象你有一张被压得变形的世界地图，上面的汽车都长得奇形怪状。

• 传统做法：直接硬着头皮去认，结果经常认错。
• 论文的做法：把这张大图像切蛋糕一样，切成四块小的、正常的视角图（就像把地球仪切成四瓣，每一瓣看起来都是正常的）。
• 效果：AI 在这些“小拼图”上认车，就像在普通照片上认车一样轻松，看得清清楚楚。最后，再把这四块拼回去，把被切开的长车（比如一辆横跨画面边缘的公交车）重新“缝合”成一个完整的车。

第二步：给 AI 装上“记忆”和“分类”功能

当 AI 看着这些视频时，它不仅要认出“那是辆车”，还要记住“那是刚才那辆车，不是另一辆”。

• 问题：在全景图里，一辆车从画面最右边绕到最左边，AI 可能会以为“右边消失了一辆车，左边突然出现了一辆新车”，于是给它们换了个名字（ID 切换），这就乱了。
• 论文的改进：
  1. 加分类标签：告诉 AI，“车”只能跟“车”配对，“人”只能跟“人”配对。这样就不会把一辆车和一个行人搞混。
  2. 修补边界：专门设计了一种算法，当车从画面右边“消失”并立刻从左边“出现”时，AI 能明白：“哦，这是同一辆车绕回来了”，而不是两辆不同的车。这就像玩一个无缝衔接的魔术，让车在画面边缘“穿墙”时也不会丢魂。

第三步：自动识别“危险超车”

有了上面两步，AI 现在能稳稳地盯着周围所有的车和人。最后一步是教它识别**“超车”**这个动作。

• 逻辑：如果一辆车从你的身后出现，穿过你的侧面，最后跑到你的前面去，这就是“超车”。
• 成果：系统能自动记录：“刚才那辆卡车在 10 秒前从后面超车了，距离我只有 1 米，很危险！”

实验结果怎么样？

研究团队在伦敦的街道上测试了这套系统：

• 看得更准：识别小物体（比如远处的行人）的能力提升了。
• 记性更好：在跟踪物体时，把同一个物体“认错人”（ID 切换）的情况减少了 10%。
• 抓得准：在识别“超车”这个动作时，准确率达到了 82% 左右。

还有什么小缺点？

虽然很厉害，但也不是完美的：

1. 大个子有点难搞：如果一辆超级长的公交车横跨了画面，把它切开后，有时候切得不够好，导致拼回去时有点变形。
2. 晚上有点晕：在晚上，如果是一辆黑色的车，或者光线不好，AI 有时候会“瞎”，看不清楚。

总结

这篇论文的核心思想就是：别硬碰硬，要巧用方法。 既然全景图很难看，我们就把它切开看；既然 AI 容易在边缘迷路，我们就给它修条路。

这项技术的未来意义在于，它能从成千上万个骑手的日常骑行视频中，自动提取出那些“差点出事”的瞬间（近失事件）。以前我们只能靠事故报告来改进交通，现在我们可以提前发现哪里最危险，从而更好地保护骑自行车的人，让城市骑行更安全。

技术摘要

这是一份关于论文《Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis》（用于骑行安全分析的全景视频多目标检测与跟踪）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
骑行作为一种零碳排放的交通方式，其安全性受到广泛关注。然而，传统的交通事故记录（如 STATS19 数据）过于稀疏，难以在精细的时空尺度上识别风险因素。自然主义研究（Naturalistic Studies）利用视频数据捕捉复杂的行为和基础设施风险因素成为一种趋势。全景视频（Panoramic Video）能够记录骑手周围 360°的视野，非常适合捕捉复杂的交互场景（如超车、开门杀等）。

核心挑战：
现有的计算机视觉模型（目标检测和多目标跟踪 MOT）主要针对传统有限视场（FOV）的图像设计，直接应用于全景视频（等距圆柱投影，Equirectangular Projection）时面临以下三大难题：

1. 图像畸变与尺度差异： 等距圆柱投影会导致物体严重变形（近大远小，边缘拉伸），且物体尺寸差异巨大。
2. 边界连续性（Boundary Continuity）： 全景图像的左右边缘是连续的，但传统模型会将跨越边界的物体视为两个独立对象，导致跟踪 ID 切换（ID Switch）或漏检。
3. 小目标检测困难： 骑行场景中，周围车辆和行人通常较小，且受畸变影响，检测精度下降。
4. 数据匮乏： 缺乏大规模标注的全景视频数据集。

2. 方法论 (Methodology)

该研究提出了一个三步走的框架，旨在将预训练的传统深度学习模型适配到全景骑行视频分析中：

步骤一：增强全景图像的目标检测 (Object Detection)

为了克服畸变并提高检测精度，提出了一种分割与投影策略：

• 投影变换： 将原始的 360°等距圆柱图像（ERP）分割并投影为 4 个透视投影（Perspective Projection）子图像。
  • 投影角度设置为：0°, 90°, -180°, -90°（经度），每个子图像视野（FOV）为 120°，相邻子图像之间有 30°的重叠区域。
  • 这种重叠设计确保了靠近边缘的物体在另一个子图像中处于中心位置，从而减少畸变。
• 模型应用： 使用在 COCO 数据集上预训练的轻量级模型 YOLO12n 对每个子图像进行独立检测。
• 重投影与合并：
  • 将子图像中检测到的边界框（Bounding Boxes）通过查找表（Lookup Tables）重投影回原始全景图像。
  • 长物体合并： 针对跨越子图像边界的长物体（如跨越 180°线的车辆），提取跨越边界的框，去除重叠区域内的冗余框，并将同一类别的相邻框进行合并，计算加权平均得分。

步骤二：改进多目标跟踪 (Multiple Object Tracking, MOT)

基于 StrongSORT 算法进行改进，以解决全景视频中的跟踪问题：

• 引入类别信息（Category Information）： 在数据关联（Data Association）阶段，强制要求轨迹（Track）只能与相同或相邻类别的检测框（Detection）匹配。这防止了不同类别的物体（如汽车和自行车）在距离较近时发生错误的 ID 关联。
• 支持边界连续性（Boundary Continuity）：
  • 预处理： 在输入跟踪器之前，将跨越 180°经度线的检测框在虚拟图像上进行“平移合并”，使其成为完整的框。
  • 距离计算优化： 在计算马氏距离或 IoU 时，将检测框在图像左右两侧进行虚拟复制（扩展），计算轨迹与原始框及两个虚拟框的距离，取最小值作为匹配代价。这解决了物体从一侧消失并在另一侧重新出现时的 ID 保持问题。

步骤三：自动化超车行为检测 (Automated Overtaking Detection)

利用改进后的跟踪结果，开发了一个基于规则的下层应用：

• 运动方向识别： 根据物体在全景图中相对于中心线的位置变化（前 5 帧的平均趋势）判断物体是“向前”还是“向后”移动。
• 超车判定逻辑： 定义超车为机动车从后方完全超越骑行者。在等距投影中，表现为车辆从图像一侧（如左侧 -90°线）进入，穿过中心区域，并从另一侧（或回到同侧）离开。
• 状态输出： 区分“未确认（进行中）”和“已确认（完成）”的超车事件，并输出开始/结束帧及轨迹 ID。

3. 数据集与实验设置 (Data & Experiments)

• 数据来源：
  • 标注数据集： 研究团队在伦敦骑行收集的 3 段视频（10-15 秒），包含 24,454 个标注物体和 224 条轨迹。类别包括人、自行车、汽车、摩托车、公交车、卡车和交通灯。
  • 验证数据集： 来自 UCL "100 Cyclists Project" 的 100 段视频（50 段包含超车，50 段不包含），涵盖白天、夜晚、黎明/黄昏及不同天气条件。
• 硬件环境： 双 NVIDIA TITAN RTX GPU。
• 评估指标： mAP (平均精度均值), AP (各类别精度), IDF1, IDP, IDR, MOTA, MOTP, ID Switches, 以及超车检测的准确率、召回率和 F1 分数。

4. 关键结果 (Results)

目标检测性能

• 提出的方法显著提升了小目标（Small objects）的检测精度。
• 在输入分辨率为 1280 和 1920 时，合并边界框（Merging） 的操作有效缓解了长物体被分割导致的精度下降问题。
• 在 1920 分辨率下，改进模型的 mAP (AP50:95) 达到 19.4%，优于原始 YOLO12n 模型（13.3%），且在小目标检测上表现更佳。

多目标跟踪性能

• 引入类别信息和边界连续性支持后，StrongSORT 性能显著提升：
  • IDF1 从 45.4% 提升至 50.0%。
  • ID Switches (ID 切换次数) 从 101 次降低至 90 次（减少约 10.9%）。
  • False Positives (误检) 从 818 大幅降低至 544（减少约 33.5%）。
  • MOTA 从 38.5% 提升至 41.5%。

超车检测应用

• 在 100 个测试视频片段中，结合改进的检测与跟踪模型，超车检测任务取得了：
  • F1-Score: 0.82
  • Precision: 83.3%
  • Recall: 80.0%
• 误差分析：
  • 误报（False Positives）主要源于骑行者回头查看（导致背景车辆相对运动方向误判）或转弯。
  • 漏报（False Negatives）主要发生在夜间黑色车辆（难以检测）或公交车（边界框不稳定）场景。

5. 主要贡献 (Key Contributions)

1. 全景检测框架： 提出了一种将等距圆柱图像分割为透视子图并进行重投影合并的通用方法，有效解决了全景畸变和长物体分割问题，提升了检测上限。
2. 改进的跟踪算法： 在 StrongSORT 中创新性地引入了类别过滤和边界连续性处理机制，显著减少了 ID 切换和误检，使其适用于 360°全景视频。
3. 端到端安全分析系统： 构建了一个从视频输入到超车行为自动检测的完整流程，为骑行安全研究提供了细粒度的冲突数据。
4. 实际验证： 利用真实世界的全景骑行数据验证了方法的有效性，证明了其在复杂城市环境下的鲁棒性。

6. 意义与展望 (Significance & Future Work)

意义：

• 填补数据空白： 提供了一种从常规骑行视频中提取“近失事件”（Near-miss）代理数据的方法，解决了传统事故数据稀疏的问题。
• 政策与基础设施支持： 能够量化最小超车距离政策的合规性，识别高风险情境（如夜间、大型车辆），为道路设计（车道宽度、缓冲区）和执法提供数据支持。
• 实时应用潜力： 轻量级的模型部署潜力使其能够用于实时骑行辅助系统（如预警即将发生的超车或“开门杀”风险）。

局限性与未来工作：

• 大目标检测： 尽管有合并策略，超大物体（如长公交车）在投影分割后仍可能漏检。未来可增加子图像数量或重叠率。
• 推理速度： 串行处理子图像降低了速度，未来可采用多进程并行推理。
• 夜间与特定车辆： 黑色车辆在夜间检测困难，公交车边界框不稳定。未来计划构建车辆 ReID 数据集重新训练，并结合 IMU/GPS 数据（速度、加速度）来辅助判断运动状态，减少因骑行者转头或转弯导致的误判。

总结：
该论文成功地将传统的计算机视觉模型适配到了全景骑行视频分析中，通过创新的投影、合并和跟踪策略，显著提高了目标检测和跟踪的精度，为骑行安全分析提供了一种高效、自动化的技术手段。