技术摘要：GenTrack2 —— 一种改进的混合式多目标跟踪方法

问题陈述

视觉多目标跟踪（MOT）在机器人任务（如物体操纵和自主导航）中仍然是一个重大挑战。目前的系统在以下三个主要因素方面表现挣扎：目标之间的高度相似性导致身份混淆、部分或完全遮挡导致临时目标丢失，以及不规则或不可预测的运动使帧间关联变得复杂。

现有方法面临特定的局限性：

• 基于检测的跟踪（Tracking-by-Detection）： 虽然流行（例如 SORT、DeepSORT、ByteTrack），但这些方法通常依赖于假设线性运动和高斯噪声的卡尔曼滤波器，这无法捕捉现实世界中的非线性动力学和非高斯噪声。
• 基于粒子滤波的方法： 这些方法能很好地处理非线性，但在随着目标数量增加时，面临高维状态空间的挑战。独立滤波器在物体交互期间会失效，而多目标滤波器通常假设目标数量固定。处理可变目标数量的现有方法往往存在计算效率低下、重复轨迹或在频繁目标变化时可靠性降低的问题。

方法论

本文提出了 GenTrack2，这是一个混合视觉多目标跟踪框架，它集成了随机和确定性机制，以在非线性动力学下维持未知且随时间变化的变量数量的标识符一致性。该系统运行在一个由目标标识符 ($K_t$) 和其状态 ($X_t$) 定义的状态上，状态包括位置、尺寸、速度、轨迹惩罚和年龄。

该框架由三个主要阶段组成：

1. 基于 PSO 引导的随机粒子采样

该方法并非进行全后验采样，而是为每个目标生成最优粒子，以趋向于状态分布的众数。

• 运动模型： 使用随机运动模型来处理不可预测的自然运动，基于先验状态或之前的最优状态并加入扰动来生成粒子。
• 粒子群优化算法 (PSO)： 为了引导粒子并减轻发散，PSO 算法通过一个新型适应度函数 ($f_{PSO}$) 来优化粒子位置，该函数包含三个组成部分：
  • 历史适应度 ($f^h_{PSO}$)： 测量当前粒子与前一最优目标状态之间的相似度。
  • 探索适应度 ($f^p_{PSO}$)： 测量当前粒子与先前 PSO 更新之间的相似度。
  • 社会适应度 ($f^i_{PSO}$)： 考虑相邻目标之间的相互作用。它使用最近邻搜索来定义社会上下文，鼓励粒子远离附近的其它状态，从而在遮挡期间减少 ID 切换。
• 适应度度量： 核心相似度函数结合了 HoG（梯度直方图）外观特征的余弦相似度和基于运动的距离成本。

2. 确定性数据关联

优化的粒子集通过匈牙利算法与当前检测进行匹配，并使用提出的面向目标的成本矩阵 ($C_{mat}$)。

• 成本组成部分： 匹配成本整合了：
  • 运动成本： 结合了交并比 (IoU) 和源自粒子集的距离成本。
  • 检测置信度： 对低置信度的检测进行惩罚。
  • 轨迹惩罚： 纳入历史轨迹惩罚以优先考虑稳定的轨迹。
• 轨迹管理：
  • 强轨迹： 成功匹配的轨迹被直接更新。
  • 弱轨迹： 对于没有匹配到检测的轨迹进行仔细处理以防止 ID 切换。它们利用来自 PSO 的全局最优解和邻域信息（如果可用）进行状态估计。
  • 新轨迹： 当检测置信度超过阈值时启动。
  • 过期轨迹： 根据最大年龄限制进行移除。

3. 状态更新与速度回归

• 弱轨迹处理： 对于缺乏检测的弱轨迹，状态更新将位置和尺寸解耦，以防止在长时间遮挡期间出现不切实际的增长或收缩。位置更新依赖于邻居的一致性（如果可靠）或排斥力机制，以避免与邻居发生碰撞。
• 速度回归： 为了解决预测下一帧速度的挑战（特别是对于弱轨迹），系统对过去 $H$ 个状态的序列进行速度回归。它通过分析过去状态斜率的增量排序列表来计算“趋势种子速度”。这提供了一个鲁棒的速度估计，用于粒子生成，而无需未来帧，从而实现了在实时流上的运行。

核心贡献

论文概述了三个主要贡献：

1. 混合框架： 一个创新的框架，集成了随机粒子滤波器（用于处理非线性动力学）与确定性关联（用于保持身份一致性），能够处理未知且随时间变化的目标数量。它引入了一个广义成本矩阵和一个结合了社会交互和 PSO 优化的目标更新方案。
2. 速度回归： 一种利用历史状态来改进粒子采样和状态更新的机制，专门设计用于在预录视频和实时流中应对遮挡和噪声检测器。
3. 开源实现： 提供了所提方法及对比跟踪器的源代码参考实现，以促进重新实现和公平的对比评估。

实验结果

该方法在 MOT17-04 序列（1050 帧，30 fps，1920×1080 分辨率）上进行了评估，重点关注具有弱检测和噪声检测的人类跟踪。使用相同的检测和地面真值（ground truth）与最先进的跟踪器（SORT、DeepSORT、ByteTrack、BoT-SORT、OC-SORT、SMILEtrack、ConfTrack）进行了比较。

性能指标：

• 平均跟踪准确度 (ATA)： 66.903 (提出方法) vs. 56.174 (SORT) 和 52.241 (ConfTrack)。
• IDF1： 93.878 (提出方法) vs. 90.302 (ConfTrack)。
• HOTA： 70.044 (提出方法) vs. 68.345 (ConfTrack)。
• MOTA： 85.717 (提出方法) vs. 82.778 (ConfTrack)。
• ID 切换 (IDSW)： 3 (提出方法) vs. 58 (ConfTrack) 和 103 (SORT)。

结果表明，GenTrack2 在多个指标上均优于现有方法，特别是在跟踪准确度 (ATA) 和身份一致性（低 IDSW）方面有显著提升。该系统仅使用每个目标 8 个粒子就达到了这些结果，从而实现了在仅靠 CPU 的硬件上的实时应用。

重要性

论文声称 GenTrack2 为现实世界的 MOT 应用提供了一个鲁棒的解决方案，因为它有效地处理了非线性动力学、非高斯噪声和可变目标数量，且没有传统多目标粒子滤波器的计算负担。通过在长时间遮挡和交互期间成功维持目标身份，并灵活运行于预录视频和实时流，该方法解决了当前跟踪范式中的关键差距。作者指出，该方法对参数设置基本不敏感，并且能以极少的计算资源实现强大的性能。