💻 computer science

GenTrack: A New Generation of Multi-Object Tracking

本文介绍了 GenTrack，这是一种新颖的多目标跟踪方法，它将随机与确定性方法与粒子群优化及社会交互建模相结合，以稳健地处理未知目标数量、非线性动力学和遮挡问题，在实现标准基准测试卓越性能的同时，提供了首个公开可用的、具有多种变体的最小依赖参考实现。

原作者： Toan Van Nguyen, Rasmus G. K. Christiansen, Dirk Kraft, Leon Bodenhagen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Toan Van Nguyen, Rasmus G. K. Christiansen, Dirk Kraft, Leon Bodenhagen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正身处一个拥挤的节日现场，试图盯着一群朋友。有些朋友很容易被发现，有些则会淹没在人群中，偶尔还会有人被巨大的广告牌或帐篷挡住视线。你的大脑必须同时做三件事：在看不见他们时猜测他们在哪里，在他们看起来很相似时分辨出谁是谁，以及知道一个朋友是离开了派对还是有一个新陌生人加入了。

这正是 GenTrack 为计算机解决的问题。它是一种全新的“多目标跟踪”（Multi-Object Tracking）系统，旨在追踪视频中许多移动的事物（如人和牛），即使在摄像机的视野模糊、物体被遮挡或移动轨迹难以预测的情况下也能保持精准。

以下是 GenTrack 的工作原理，通过简单的概念进行了拆解：

1. “混合型”侦探团队

大多数跟踪系统要么像个赌徒，要么像个机器人。

赌徒（随机性/Stochastic）： 利用随机猜测来观察事物可能出现的位置。它擅长处理混乱，但表现不够稳定。
机器人（确定性/Deterministic）： 遵循严格的规则和数据。它很一致，但如果情况不符合规则（比如突然停止或奇怪的转向），它就会感到困惑。

GenTrack 是一个混合型侦探。它结合了这两种风格。它利用“机器人”来追踪“谁是谁”（赋予他们一致的名字/ID），并利用“赌徒”来猜测如果他们在障碍物后消失了，他们可能在哪里。这样，即使情况变得混乱，它也能保持一致性。

2. “无人机群”式 GPS（PSO）

为了在难以看清物体时预测其位置，GenTrack 会在物体的最后已知位置周围释放一小群数字“无人机”（称为粒子）。

问题： 在嘈 {闹的人群中，这些无人机可能会到处乱飞。
解决方案： GenTrack 使用了一种名为**粒子群优化算法（Particle Swarm Optimization, PSO）**的技术。想象一下这些无人机是蜜蜂。如果一只蜜蜂找到了花朵（与目标匹配的最佳位置），它会向其他蜜蜂发出信号。整个集群会迅速向最佳位置汇聚。
优势： 即使摄像机的检测器很弱或者物体很模糊，这群无人机也能通过协作找到目标，而不是仅仅依赖于一个完美的猜测。

3. 目标的“社交网络”

在人群中，人们并不是在真空中移动；他们会互相碰撞或成群结队地行走。

问题： 如果两个朋友走得很近，跟踪器可能会不小心交换他们的名字（ID 切换）。
解决方案： GenTrack 赋予了目标一种“社交意识”。它知道如果目标 A 靠近目标 B，他们不应该合并成一个，也不应该交换位置。系统利用这种“社交评分”来确保目标 A 的无人机远离目标 B 的无人机。这防止了在物体重叠或互相遮挡时让跟踪器产生混乱。

4. 三个版本应对不同需求

作者构建了三个版本的系统，就像汽车的不同型号一样：

GenTrack Simple（基础版）： 基础模型。它使用随机猜测和基本规则，适用于简单任务。
GenTrack Strengthen（加强版）： 中端模型。它加入了“集群”（PSO）功能，以帮助在嘈杂环境下更好地寻找目标。
GenTrack Super（超级版）： 豪华模型。它加入了“社交网络”功能。它了解目标之间如何互动，这使其在处理拥挤场景和长时间遮挡时表现最为出色。

5. 现实世界测试

作者在两个截然不同的“派对”中测试了这个系统：

人类派对 (MOT17)： 一段人们在城市中行走的视频。摄像机有些晃动，检测软件也不是完美的。GenTrack 的表现优于所有其他顶尖跟踪器，在保持人物姓名正确方面犯错更少。
奶牛派对 (MooTrack360)： 一段奶牛在谷仓里的视频。奶牛的移动难以预测，且摄像机使用的是广角“鱼眼”镜头。这对标准的跟踪器来说是一场噩梦。
- 结果： GenTrack 表现近乎完美。它追踪了整整一个小时的奶牛，且零次 ID 切换（它从未弄丢过哪头奶牛是谁），而其他跟踪器则表现得非常吃力。

核心总结

GenTrack 是一种让计算机“观察”移动事物的全新方式。它不再仅仅是追踪一条单一的线，而是使用一支能够相互交流、并知道如何应对人群的数字侦察队。作者声称，它比目前的先进方法更快、更准确、更鲁棒，尤其是在物体难以看见或移动方式奇特的情况下。他们甚至已经开放了代码供他人尝试。

技术摘要：GenTrack —— 新一代多目标跟踪技术

问题陈述

多目标跟踪（MOT）在应对不规则运动、频繁遮挡以及目标间视觉相似性等条件下，面临着维持鲁棒性能的重大挑战。现有方法通常分为两类：检测无关型方法（detection-free methods），这类方法在处理序列中后期出现的物体时表现乏力；以及基于检测的方法（detection-based methods），这类方法过度依赖目标检测器的质量，且通常假设线性运动模型和高斯噪声。此外，许多基于粒子滤波的方法在处理高维状态空间、权重退化以及管理随时间变化的动态目标数量时的计算成本过高。在检测器较弱或存在噪声的情况下，如何处理非线性动力学和非高斯噪声，并确保跨运行过程的一致性目标身份（ID），目前仍存在关键的技术空白。

方法论

本文提出了 GenTrack，一种结合了随机与确定性方法的混合跟踪框架，旨在解决上述局限性。该方法论构建于以下核心组件之上：

1. 混合跟踪框架

GenTrack 结合了随机方法（处理不确定性和非线性动力学）与确定性方法（确保一致的目标 ID）的优势。

随机组件： 利用粒子滤波方法对目标状态进行建模，采用随机运动模型来处理自然实体（如人类、动物）常见的不可预测运动。
确定性组件： 通过轨迹段（tracklets）与检测结果之间的确定性数据关联来管理目标的产生与消失（轨迹初始化与移除）。这确保了全局输出的一致性，并防止了纯随机运行中常见的 ID 切换现象。

2. PSO 引导的粒子优化

为了在不依赖精确运动模型的情况下引导随机粒子趋向最优目标分布模态，GenTrack 采用了 粒子群优化算法（PSO）。

适应度度量： 框架引入了定制的适应度函数来评估粒子质量：
- 历史适应度 ( $f^h_{PSO}$ )： 当前粒子与目标先前最优状态之间的对齐程度。
- 探索适应度 ( $f^p_{PSO}$ )： 当前粒子与其自身在上一轮 PSO 迭代中的更新值之间的偏差。
- 社会适应度 ( $f^{i,s}_{PSO}$ )： 粒子与其相邻目标之间的相互作用。该组件有助于粒子从相邻状态中分离，从而减少遮挡期间的混淆。
优化过程： 粒子根据个体最优和全局最优进行迭代更新，即使在检测器较弱的情况下，也能引导粒子群向高似然区域移动。

3. 社会交互与状态更新

该框架显式地对目标间的交互进行建模，以提高跟踪连续性。

邻域搜索： 通过自适应最近邻搜索识别相互作用的目标。
状态更新：
- 强轨迹（已匹配）： 直接使用配对的检测结果进行更新。
- 弱轨迹（未匹配）： 使用来自 PSO 的全局最优估计、速度以及与邻居的社会交互进行更新。这一机制有助于在遮挡期间恢复轨迹并减少 ID 切换。

4. GenTrack 变体

论文定义了三种框架变体，以提供不同复杂度与性能的灵活性：

GenTrack Simple： 使用随机运动模型进行粒子采样，不包含 PSO 精细化过程。
GenTrack Strengthen： 结合了包含历史和探索适应度的 PSO，以精细化粒子并更新弱轨迹。
GenTrack Super： 最先进的变体，将社会适应度度量整合进 PSO 过程中，以进一步精细化粒子行为及复杂交互期间的状态更新。

5. 视觉 MOT 基准与实现

作者通过引入空间一致性、外观（HoG 特征）、检测置信度、轨迹惩罚项以及社会得分到似然和适应度函数中，重新定义了视觉 MOT 基准。

数据关联： 利用匈牙利算法，其代价矩阵平衡了运动代价、检测置信度和轨迹历史惩罚。
实现： 提供了一个最小依赖、开源的参考实现，支持三种变体，并兼容预录制数据和实时传感器流。

核心贡献

本文概述了五项主要贡献：

混合框架： 一种结合随机与确定性方法的创新方法，能够鲁棒地处理未知、随时间变化的物体数量及非线性动力学，同时保持 ID 一致性。
PSO 集成： 使用带有提议适应度度量的粒子群优化算法来引导粒子趋向目标模态，从而实现在弱检测和噪声检测下的有效跟踪。
社会交互集成： 将社会交互纳入 PSO 引导的粒子中，以增强粒子性能并优化强/弱轨迹的更新，特别是在减少遮挡期间的 ID 切换和轨迹丢失方面。
重新定义 MOT 基准： 一个基于空间一致性、外观、检测置信度、轨迹惩罚和社会得分的综合状态与观测模型，用于系统性的目标更新。
开源参考： 首个公开可用的源代码实现，具有极低的依赖性，提供三种变体（Simple, Strengthen, Super）并支持灵活的重实现选项。

实验结果

该方法在两个不同场景下使用标准检测模型进行了评估，以确保与最先进的跟踪器（SORT, DeepSORT, ByteTrack, BoT-SORT, OC-SORT, SMILEtrack, ConfTrack）进行公平比较。

人类跟踪 (MOT17-04)： 在一个具有弱/噪声检测器的 1050 帧序列上进行评估。
- GenTrack Super 表现最优，ATA 为 62.946，IDF1 为 93.593，HOTA 为 68.601，MOTA 为 85.111。
- 它仅记录了 4 次 ID 切换，优于所有对比的跟踪器，包括 ConfTrack（58 次 ID 切换）和 DeepSORT（11 次 ID 切换）。
牛只跟踪 (MooTrack360)： 在一个涉及不可预测动物运动和鱼眼畸变的 1 小时（53,920 帧）视频序列上进行评估。
- GenTrack Simple, Strengthen, 和 Super 均取得了近乎完美的成绩，MOTA > 99.98，IDF1 > 99.99，且 0 次 ID 切换。
- 相比之下，其他跟踪器表现挣扎，其中 ConfTrack（非 GenTrack 中表现最好的）记录了 1 次 ID 切换，且 ATA/IDF1 得分较低。
延迟： GenTrack 展示了实时处理能力。在牛只跟踪场景中，在 CPU 上的延迟分别为 3.67ms (Simple)、6.35ms (Strengthen) 和 6.74ms (Super)。在更复杂的人类跟踪场景中，延迟分别为 56ms、64ms 和 92ms。值得注意的是，该系统在极少量的粒子数（6–8 个）下仍能保持稳健性能。

重要性与主张

论文声称 GenTrack 代表了“新一代”MOT，因为它成功解决了随机灵活性与确定性一致性之间的权衡。其重要性在于：

对弱检测器的鲁棒性： 不同于许多会随输入噪声增加而性能下降的基于检测的方法，GenTrack 利用 PSO 引导粒子，即使在次优检测下也能维持性能。
可扩展性与效率： 该方法在极少量的粒子数下即可实现卓越结果，使其具备高效的计算能力，适用于实时应用。
处理变化的物体数量： 混合方法有效地管理进入和离开场景的目标，而不会产生以往变目标粒子滤波器所带来的高昂计算成本或轨迹重复问题。
可复现性： 通过提供具有多种变体且依赖极少的开源实现，作者促进了 MOT 领域的系统性比较与进一步发展。

作者总结道，虽然目前的实现使用了随机运动模型，但该框架设计具有高度适应性。未来有望通过集成特定的外观模型、噪声自适应采样策略以及改进的运动建模（例如基于路径的聚类）来提升性能。该框架被视为一个灵活的基础平台，适用于从行人跟踪到牲畜监测的多种应用领域。