💻 computer science

GenTrack3: Hybrid Stochastic-Deterministic Online Multi-Object Tracking with Cluster-Aware Association

本文提出了 GenTrack3，这是一个在线多目标跟踪框架，它将确定性与随机性原理与一种新颖的聚类感知关联方法相结合，以实现在不确定性下的鲁棒、可扩展跟踪，同时支持群体动态。

原作者： Toan Van Nguyen, Rasmus G. K. Christiansen, Dirk Kraft, Leon Bodenhagen

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Toan Van Nguyen, Rasmus G. K. Christiansen, Dirk Kraft, Leon Bodenhagen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正通过监控摄像头观察一个繁忙的街角。数百人正在其中行走、奔跑并相互穿梭。有些人停下来交谈，有些人消失在公交车后，有些人看起来和他们的邻居一模一样。现在，想象你是一个机器人，试图在人群中仅仅追踪某一个特定的人，即使在被遮挡或突然改变方向时也不丢失目标。这就是“多目标跟踪”（Multi-Object Tracking, MOT）所面临的挑战。它是计算机视觉领域的一个核心问题，在这个领域，机器学习如何“看见”并理解这个世界。为了实现这一目标，计算机通常依赖于两种主要工具。第一种就像一位严格的图书管理员，使用一套死板的规则手册（数学模型）来猜测某人的下一个位置；它快速且一致，但如果那个人突然打破规则，它就会感到困惑。第二种就像一位侦探，利用一波猜想（随机采样）来推测某人可能在哪里；它擅长处理混乱和意外，但可能很慢，而且每次询问时给出的答案可能都不尽相同。科学家们试图解决的大问题是：我们能否构建出一个既快速又可靠的追踪器，即使在世界变得混乱、拥挤且不可预测时也是如此？

本文介绍了一种名为 GenTrack3 的新系统，它试图成为两者的结合体，将严格的图书管理员与富有创造力的侦探融合在一起。作者 Toan Van Nguyen 及其来自南丹麦大学的团队提出了一种“混合”方法。他们并没有在两种方法中做单选题，而是让一个确定性（基于规则）的系统负责处理“谁是谁”的大局，同时让一个随机性（随机采样）的系统充当安全网，在情况变得棘手时精确确定一个人的位置。

以下是通过一个混乱舞池的故事来解释 GenTrack3 的工作原理。

混合舞池

想象一个拥挤的舞池，每个人都在移动。在过去，追踪器就像保安，只看人们一秒钟前的状态，并根据直线路径猜测他们下一步的位置。如果有人突然停下或转身，保安就会跟丢他们。其他的追踪器则像一群嗡嗡作响的蜜蜂，试图同时进行上千次不同的尝试来寻找正确的位置。这种方法虽然准确，但非常耗费精力且缓慢。

GenTrack3 通过给每位舞者一个“影子集群”改变了游戏规则。对于系统正在追踪的每一个人，它都会创建一个虚拟粒子（集群）的小组，这些粒子围绕着真实的人漂浮。这些粒子并不只是随机猜测；它们受到一种称为**粒子群优化算法（PSO）**的智能算法引导。可以把这想象成一群互相学习的蜜蜂。如果一只蜜蜂找到了一个看起来像舞者的脸部或符合其运动轨迹的位置，整个集群就会向那个方向倾斜。这有助于系统处理“非线性”运动——比如舞者突然旋转或停止——而无需一套完美的规则手册。

“集群”策略：将房间划分为区域

同时追踪许多人的最大问题在于，计算机必须将每一个人的检测结果与每一个摄像头的检测结果进行对比。如果有 100 个人和 100 次相机观测，那就是 10,000 次对比。这就像试图一次性将 100 只丢失的袜子与另外 100 只丢失的袜子进行匹配一样；这非常耗时，且会让计算机感到疲惫。

作者们聪明的解决方案是对舞池进行聚类（Cluster）。GenTrack3 不再观察整个房间，而是将摄像机视野划分为一个个微小的方格，就像棋盘一样。然后，它将位于同一个方格（或相邻方格）内的舞者和观测值归为“集群”。

类比： 想象舞池是一个巨大的披萨。与其试图一次性匹配整个披萨上的配料，不如将其切成若干片。你只需尝试将 A 片中的意大利香肠与 A 片中的意大利香肠进行匹配。你不需要担心 B 片中的蘑菇。
结果： 这极大地减少了计算机需要进行的对比次数。论文表明，通过将问题分解为更小的局部小组，该系统变得更加快速，并且可以在不减速的情况下处理更多目标。

处理“丢失”的舞者

有时，一名舞者会被柱子遮挡（遮挡现象），或者相机暂时错过了他们。在许多系统中，这会导致追踪器完全丢失该人，或者将其与其他人的身份混淆（身份切换）。

GenTrack3 使用一种特殊的“轨迹段”（tracklet）系统来记录这些时刻。它为每个目标分配一个“惩罚分”和“年龄”。

如果一名舞者被清晰看到，其惩罚分较低，属于“强轨迹”。
如果他们消失在柱子后面，他们就变成了“弱轨迹”。系统并不会放弃；相反，它会利用“影子集群”和附近舞者的运动来猜测他们可能在哪里。
论文指出，在非常拥挤的场景中，这种“邻里互助”系统如果附近有太多人，有时会产生混乱。然而，作者发现对于稀疏场景（例如机器人导航在走廊中），这种方法是非常鲁棒的。

数据说明

团队在两个著名的数据库上测试了 GenTrack3：MOT17（较不拥挤的场景）和 MOT20（非常拥挤的场景）。

在 MOT17 测试中，该系统表现出色，在 MOTA 指标（衡量整体追踪准确性的指标）上达到了 84.86，在 IDF1（衡量保持身份正确性的指标）上达到了 93.16。它与现有的最佳方法具有竞争力。
在 MOT20 测试（拥挤场景）中，它实现了 78.72 的 MOTA。有趣的是，虽然它在保持身份追踪方面表现优异，但作者注意到，在极端密集的场景中，“邻里”系统有时会导致位置的轻微偏移。这表明，虽然该方法功能强大，但在人们肩并肩挤在一起的环境中，它可能需要更多的调优。

结论

GenTrack3 并不声称已经解决了宇宙中所有的追踪问题。作者谨慎地表示，他们的“基于集群”的方法是一种权衡：它使系统对于许多目标而言变得更快且更具扩展性，但在最极端的拥挤情况下，它可能需要更多的调整。

然而，这篇论文成功证明了你不需要在“快速且僵化”与“缓慢且灵活”之间做出选择。通过将确定性框架（规则）与随机性框架（智能猜测）相结合，并将混乱组织成局部集群，GenTrack3 提供了一种在实时环境下追踪移动物体的稳健方式。对于需要在人类空间中导航的机器人、需要跟随群体的无人机，或是需要监控繁忙人群而不至于崩溃的安全系统来说，这是一个进步。其代码已在 GitHub 上开放，供他人尝试，这表明这种混合方法已准备好进入下一阶段的发展。

技术摘要：GenTrack3 – 混合随机-确定性在线多目标跟踪

问题陈述

多目标跟踪（MOT）在应对遮挡、非线性运动模式以及高目标相似性时面临重大挑战。现有方法通常分为两类，且各具局限性：

确定性方法（基于检测的跟踪）： 如 SORT、DeepSORT 和 ByteTrack 等方法计算效率高且具有可复现性，但过度依赖线性运动模型（如卡尔曼滤波器）和高斯噪声假设。它们对噪声检测较为敏感，且难以处理复杂的非线性动力学。
随机方法： 粒子滤波器显式地对不确定性进行建模，能够很好地处理非线性动力学。然而，将粒子滤波器应用于 MOT 会因目标数量增加而导致高维状态空间问题，从而使计算成本过高。此外，在纯随机框架内管理随时间变化的动态目标计数（轨迹的产生与消失）仍然困难，常导致扩展性问题或重复轨迹。

本文指出当前在线 MOT 方法存在一个空白：即如何在保持可扩展性的同时，同时处理非线性动力学、非高斯噪声以及在目标数量随时间变化的场景下保持目标身份一致性。

方法论

GenTrack3 提出了一个集成确定性和随机性原则的在线 MOT 框架。其核心理念是利用随机采样进行状态估计，同时依靠确定性数据关联进行轨迹管理（初始化与移除），以确保输出的一致性。

1. 混合跟踪流水线

系统通过包含标识符、状态（边界框）、速度、惩罚项和年龄的轨迹（tracklet）来表示每个目标 $i$ 在时刻 $t$ 的状态。该流水线由三个主要阶段组成：

粒子采样与优化：
- 不同于全后验采样，每个目标由一组通过马尔可夫链蒙特卡洛（MCMC）方法并结合随机运动模型采样的粒子表示。
- 这些粒子通过粒子群优化（PSO）进行精炼。PSO 的适应度函数结合了：
  - 历史适应度（History Fitness）： 将粒子与前一最优状态进行比较。
  - 探索适应度（Exploration Fitness）： 将粒子与先前的 PSO 更新进行比较。
  - 社交适应度（Social Fitness）： 鼓励粒子远离附近的其它状态（邻居），以减少身份切换，特别是在遮挡期间。
- 状态更新将位置与尺寸更新解耦，以防止遮挡期间的尺度漂移。
轨迹-检测关联（核心创新点）：
- 为了解决全局代价矩阵（ $O(T \times D)$ ）带来的计算瓶颈，GenTrack3 引入了**聚类感知关联（Cluster-Aware Association）**策略。
- 第一阶段：聚类： 基于先前的目标状态构建二维占据网格图（occupancy grid map）。通过连通分量标记法将占据的单元格分组为簇（clusters）。轨迹被分配到唯一的簇中，而检测值则根据扩展区域被映射到（可能存在的多个）簇中。
- 第二阶段：局部匹配： 将全局匹配问题划分为每个簇内独立的子问题。有效对掩码（valid-pair mask）消除了空间距离较远的轨迹-检测对之间的冗余代价计算。
- 第三阶段：共享检测处理： 由于单个检测可能落在多个簇中，通过后处理步骤将共享检测重新分配给提供最优匹配（最低代价）的簇，从而确保全局的一对一对应关系。
- 第四阶段：最终关联： 在每个簇内执行局部匈牙利算法分配。
轨迹更新：
- 强轨迹（Strong Tracks）： 匹配到的检测直接更新状态；惩罚项和年龄重置。
- 弱轨迹（Weak Tracks）： 未匹配的轨迹使用其 PSO 全局最优解及可靠的邻居进行更新。一种改进的基于邻居的精炼机制通过基于速度相似性来更新状态，以抑制噪声。
- 新轨迹： 未匹配的检测初始化新轨迹。
- 过期： 超过最大年龄阈值的轨迹被移除。

2. 复杂度分析

所提出的聚类方法降低了空间和时间复杂度。虽然全局代价矩阵需要 $O(T \cdot D)$ ，但聚类方法将其划分为 $\sum O(T_l \cdot D_l)$ ，其中 $T_l$ 和 $D_l$ 是簇 $l$ 内的数量。这显著降低了计算开销，尤其是在稀疏场景中，尽管它引入了处理共享检测的复杂性。

核心贡献

混合框架： 一个统一的在线 MOT 框架，利用随机粒子集实现鲁棒的非线性动力学状态估计，同时利用确定性关联进行一致的身份管理。
聚类感知关联： 一种新型的轨迹-检测匹配策略，通过使用占据网格图将全局代价矩阵划分为局部簇。这降低了计算复杂度，并支持群体跟踪，同时通过共享检测处理过程实现了近优解（near-optimal solution）。
精炼的弱轨迹处理： 一种改进的基于邻居的弱轨迹精炼机制，利用可靠的邻居来更新状态，与之前的迭代版本相比，缓解了拥挤环境中的歧义问题。
可扩展性： 该方法通过避免构建庞大的全局代价矩阵，解决了以往 GenTrack 版本在可扩展性方面的限制。

实验结果

该框架在 MOT17（稀疏）和 MOT20（拥挤）数据集上针对最先进的跟踪器（SORT, DeepSORT, ByteTrack, BoT-SORT, OC-SORT, SMILEtrack, ConfTrack, BoostTrack, GenTrack Super, 以及 GenTrack2 Super）进行了评估。

MOT17-04 (稀疏)： GenTrack2 Super 实现了最高的 IDF1 和 HOTA 分数。GenTrack2 Super+（使用新的匹配方法）实现了最高的 MOTA 和 ATA。GenTrack3 Super 表现出极具竞争力的性能（MOTA: 84.86, IDF1: 93.16）。
MOT20-05 (拥挤)： 在密集场景中，GenTrack3 Super 实现了最高的 MOTA (78.72)，优于 GenTrack2 Super (77.45) 和 ConfTrack (78.39)。然而，GenTrack2 Super 在身份一致性方面保持了更优的表现（IDF1: 91.88）对比 GenTrack3 Super (88.23)。
权衡： 作者指出，虽然 GenTrack2 中的弱轨迹精炼在稀疏场景中表现出色，但在密集环境中可能会导致状态偏移。GenTrack3 中引入的新匹配策略有效地降低了计算复杂度，但在极其拥挤的场景中，与前代版本相比，在身份一致性方面表现出轻微的权衡。
边缘情况： 本文承认，在目标密度极高（例如单帧 188 个目标）的情况下，基于占据情况的聚类可能会形成一个巨大的簇，从而抵消计算优势。在这种情况下，建议使用简单的空间图像划分作为替代方案，尽管这会增加共享检测的复杂性。

重要性与主张

本文声称 GenTrack3 为不确定性下的在线 MOT 提供了一个鲁棒且可扩展的解决方案。通过将用于处理非线性动力学的随机原理与确定性的聚类感知关联策略相结合，该框架在跟踪精度和计算效率之间取得了平衡。

作者认为该方法特别适用于需要群体跟踪以实现社会感知导航的场景（如机器人导航、人机交互）。虽然该方法在拥挤场景中表现出竞争力的性能，但作者也指出，全局掩码代价矩阵（用于之前的版本）在密集场景中可能提供更好的整体鲁棒性。该工作旨在推进实用的 MOT 系统，是 VelKoTek 项目的一部分。