💻 computer science

Online 3D Multi-Camera Perception through Robust 2D Tracking and Depth-based Late Aggregation

本文提出了一种框架，通过利用基于深度的点云重建和增强的数据关联机制，将现有的在线二维多相机跟踪系统扩展至三维空间，并在2025年AI城市挑战赛三维多目标多相机跟踪排行榜上获得第三名。

原作者： Vu-Minh Le, Thao-Anh Tran, Duc Huy Do, Xuan Canh Do, Huong Ninh, Hai Tran

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Vu-Minh Le, Thao-Anh Tran, Duc Huy Do, Xuan Canh Do, Huong Ninh, Hai Tran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图追踪一大群人在一栋大型建筑中穿行，而你拥有 dozen 台从不同角度监控的安全摄像头。你的目标是精确掌握每个人在三维空间中的位置（而不仅仅是在平面屏幕上），并确保不会仅仅因为某人走到柱子后面，或者从摄像头 1 的视野切换到摄像头 2 的视野，就丢失对“人员 A"的追踪。

本文提出了一种用于安全系统的新型“智能助手”，它能在无需彻底重构现有软件的情况下解决这一问题。其工作原理可分解为以下简单步骤：

1. 问题所在：“改造”十分困难

大多数旧式安全系统擅长在平面二维屏幕（如电子游戏）上追踪物体。但要了解某物在真实三维世界中的位置，通常必须抛弃旧系统，从头构建一个新系统。这既昂贵又困难。

作者希望找到一种方法，能够在不拆毁现有系统的前提下，将正在运行的二维系统“升级”为三维系统。

2. 解决方案：两阶段流水线

将他们的系统想象成拥有两个主要工站的工厂：

工站 1：二维侦探（追踪）
首先，系统利用现有摄像头识别人和物体。它在二维屏幕上为它们绘制方框，并赋予临时的 ID（类似于姓名牌）。

“姓名牌”技巧：作者发明了一种巧妙的方法，确保姓名牌保持一致。如果某人被摄像头 A、B 和 C 同时看到，系统会检查这些摄像头提供的“本地”ID 是否与前一秒所见内容相匹配。
“分裂”机制：有时，两个人可能看起来非常相似或靠得太近，导致系统误以为他们是同一个人。作者的系统会像侦探一样意识到：“等等，这实际上是两个不同的人！”并将该群体重新分裂为两条独立的轨迹。

工站 2：三维雕塑家（深度聚合）
一旦系统在二维层面确定了“谁是谁”，便进入第二阶段，以确定他们在三维空间中的“位置”。

收集黏土：系统将二维方框与“深度图”（类似于不可见的三维扫描仪，能告知摄像头物体的距离）相结合。利用这些信息，为每个人构建一个粗略的“点云”（即由数字尘埃塑造出的形态）。
清理工作：由于摄像头并非完美无缺，这些点云可能杂乱无章或存在空洞（例如当某人被部分遮挡时）。系统使用“噪声滤波器”来平滑点云并去除杂散点。
拟合方框：一旦点云被清理干净，系统便为其套上一个完美的三维纸板方框。
“融合”步骤：有时，由于故障，系统可能会为同一个人意外生成两个方框。作者的方法就像一把热熔胶枪，将这些重复的方框合并为一个单一、准确的三维方框。
“偏航”优化：最后，为了确保方框朝向正确（例如，区分某人是在侧向行走还是向前行走），系统会查看该人 10 秒前的位置与当前位置。它计算其移动方向，并旋转三维方框以匹配该方向。

3. 结果：现实世界测试

该团队在一个名为2025 年 AI 城市挑战赛的庞大数据集上测试了这一“升级套件”，该数据集模拟了仓库和医院等复杂环境，最多可容纳 50 台摄像头。

结果：他们的方法不仅有效，而且表现卓越。他们利用现有的二维追踪系统，通过添加其“三维雕塑家”和“姓名牌”升级模块，在全球竞赛中获得了第三名。
意义：他们证明了无需废弃旧的二维安全软件即可获得高质量的三维追踪。你只需在其之上添加这一特定的“后期聚合”层即可。

简而言之：他们找到了如何将扁平的二维视频追踪系统赋予“深度感知”的方法，通过结合多个摄像头视角、清理数字数据并智能管理 ID 标签，而无需从头重建整个系统。

技术摘要：通过鲁棒的 2D 跟踪与基于深度的晚期聚合实现在线 3D 多相机感知

问题陈述

多目标多相机跟踪（MTMC）是实现大规模监控自动化的关键计算机视觉任务。尽管 2D MTMC 已取得显著性能，但将这些能力扩展至 3D 空间仍具挑战性。现有的 3D MTMC 方法通常需要在跟踪之前将多视图数据或检测结果融合到统一的 3D 空间中（例如 EarlyBird、BEV-SUSHI）。这种“早期融合”方法通常需要从底层替换所有 2D 跟踪组件，由于此类全面改造的复杂性和成本，对于现有的大规模监控系统而言往往不切实际。此外，3D 跟踪必须有效处理多视图信息融合、部分遮挡以及可扩展的物体级 3D 几何表示。

方法论

作者提出了一种新颖的框架，通过晚期 3D 边界框聚合，将任何现有的在线 2D 多相机跟踪系统扩展至 3D 空间。该流程分为两个主要阶段：

1. 增强的在线 2D 多相机跟踪

第一阶段侧重于获取跨视图一致的 2D 边界框和全局身份。

检测与特征提取：系统使用基于 Transformer 的 Co-DETR 检测器。在特征提取方面，采用 CLIP-ReID 进行外观嵌入，利用 RTMPose 进行姿态估计（14 个关键点）以识别脚部点。
空间数据关联：在每个时间步，根据 ReID 外观特征（余弦距离）和俯视位置（通过单应性计算的欧几里得距离）对检测到的 2D 目标进行聚类。凝聚聚类将目标分组为唯一实体。
时间数据关联（MOT ID 一致性）：为了分配全局 ID，作者引入了一种MOT ID 一致性机制。该方法利用连续帧之间局部 MOT ID 的一致性。
- 一致性匹配：如果一个聚类的一组局部 ID 与先前轨迹的局部 ID 显著重叠，则该聚类与现有轨迹匹配。
- 轨迹分裂：如果一个聚类包含“意外”的局部 ID（即先前轨迹中未见的 ID），且这些 ID 比旧的局部 ID 与预期轨迹更相似，则系统会分裂该轨迹。这防止了由遮挡或噪声特征引起的 ID 切换。
- 状态管理：轨迹在三种状态下进行管理：暂定（Tentative）、确认（Confirmed）和丢失（Lost），并制定了具体的重新激活和新轨迹创建规则。

2. 晚期 3D 边界框聚合

一旦建立了 2D 跟踪和全局 ID，系统便在不修改 2D 跟踪器的情况下重建 3D 表示。

深度到点云：对于每个跟踪对象，系统使用 SAM2 在其 2D 边界框内分割对象。它从提供的深度图中提取掩模内像素的深度值。这些 2D 像素被投影到 3D 相机坐标，然后使用外参标定参数转换到全局世界坐标系。
点云到 3D 边界框：由于遮挡或投影误差，生成的点云通常包含噪声和碎片。
- 聚类：应用 DBSCAN 去除噪声并隔离对象的点云。
- 边界框估计：使用点坐标的百分位数估计尺寸。为了处理点云过于稀疏或噪声过多的情况，系统将预测体积与训练集中该类别的平均体积进行验证，如果尺寸落在定义范围（ $\alpha_{lower}$ 到 $\alpha_{upper}$ ）之外，则进行钳位处理。
3D 边界框融合：由于 2D 空间关联可能存在误差，单个对象可能被分配多个具有不同 ID 的 3D 框。系统对重叠框进行加权融合（使用 3D IoA），将它们合并为单个准确的 3D 边界框。
偏航角（Yaw）优化：为了提高方向精度，根据目标的运动轨迹优化偏航角。角度根据帧 $t-10$ 和 $t$ 之间的位移向量计算，仅当运动超过特定阈值时进行更新。

主要贡献

灵活框架：一种通过晚期聚合将传统在线 2D MTMC 系统扩展为输出 3D 跟踪结果的方法，避免了重建 2D 组件的需求。
增强的关联机制：一种利用MOT ID 一致性的在线关联策略，通过利用局部 ID 一致性在帧间传播全局 ID，提升了跨相机跟踪性能。
3D 重建机制：一个利用分割、深度图提取、点云聚类和几何细化将分配了 ID 的 2D 边界框扩展至 3D 空间以创建 3D 边界框的流程。
验证：该方法在2025 AI City Challenge 3D MTMC 数据集上进行了验证，在公共排行榜上获得第三名。

结果

所提出的系统在 AIC25 MTMC 数据集（23 个合成场景，最多 50 个相机）上进行了评估。

2D 性能：在验证集上，MOT ID 一致性匹配将 HOTA 分数提高了20.46%（从 48.63 提升至 69.09），主要由关联准确率（AssA）29.03% 的增长驱动。
3D 性能：在公共测试集上，完整流程实现了28.75% 的 HOTA 分数。
- MOT ID 一致性模块使检测准确率（DetA）提高了约 5%，AssA 提高了 7%。
- 晚期 3D 聚合模块提供了最显著的提升，使 DetA 提高了 13%，HOTA 提高了 10%。
- 偏航角优化进一步提高了定位准确率（LocA），将最终 HOTA 推至 28.75%。
排行榜排名：该系统在 2025 AI City Challenge 的 Track 1 中获得第 3 名，优于其他团队，如 UTE AI Lab（25.39 HOTA）和 SKKU-AutoLab（在不同上下文中为 63.13 HOTA，尽管论文列出 TeamQDT 在特定 3D 赛道中为 28.75 HOTA）。

意义与主张

该论文声称，其主要意义在于为升级现有监控基础设施提供了一种实用且具成本效益的解决方案。通过利用“晚期聚合”，作者证明了无需以高昂成本和复杂性替换既有的 2D 跟踪组件，即可实现高质量的 3D 感知。该框架有效地弥合了 2D 跟踪与 3D 定位之间的差距，利用深度信息和鲁棒的 ID 一致性来处理遮挡和多视图挑战，其在严格基准测试中的竞争性表现证实了这一点。