💻 computer science

SpikingMOT: A Spike-Driven Multi-Object Tracker

该论文介绍了 SpikingMOT，这是一种脉冲驱动的多目标跟踪器，它利用激活稀疏性偏好和脉冲神经网络，在 SportsMOT 和 DanceTrack 基准测试上实现了最先进的性能，同时显著降低了参数量和能耗。

原作者： Yiding Sun, Xiangyang Yang, Dongxu Zhang, Qirui Wang, Zijie Xu, Wenxuan Liu, Shuiwang Li, Jihua Zhu, Zhaofei Yu, Tiejun Huang

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiding Sun, Xiangyang Yang, Dongxu Zhang, Qirui Wang, Zijie Xu, Wenxuan Liu, Shuiwang Li, Jihua Zhu, Zhaofei Yu, Tiejun Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正从高处的窗户俯瞰着一个繁忙的街角。成百上千的人正在行走、奔跑，并在人群中穿梭。你的大脑并不会试图通过计算每一个人在每一毫秒内的精确速度和方向来追踪他们；相反，它会专注于最重要的运动，并忽略其余的部分。这就是**多目标追踪（Multi-Object Tracking, MOT）**的魔力，它是计算机的一种“超能力”，让它们能够追踪视频中移动的物体，如汽车、球员或无人机。长期以来，计算机尝试通过庞大的、“稠密”的大脑（称为人工神经网络）来进行这项工作，这些大脑会同时为所有事物发出信号，就像一整个体育场里的人都在同时大声喊叫一样。但这会消耗大量能量，并且容易被噪音干扰。科学家们一直在思考的一个核心问题是：我们真的需要这么多喧闹来辨别谁是谁吗？还是说，一种更安静、更具选择性的方法也能同样奏效？

这就是名为 SpikingMOT 的新论文所带来的突破。由 Yiding Sun 及其团队领导的研究人员决定测试一个大胆的想法：如果我们让计算机的追踪大脑更像人类的大脑会怎样？人类的大脑使用“脉冲”（spakes）——即只有在有重要信息需要表达时才会发生的微小电脉冲。该团队发现，对于追踪移动物体而言，“稀疏性”（即只在必要时才发出信号）不仅是一个备选方案，它实际上是一种“超能力”。他们发现，通过使用一种特殊的、受大脑启发的网络——脉冲神经网络（Spiking Neural Network, SNN），他们可以用极少的能量和计算内存实现惊人的追踪精度。

问题所在：喧闹的体育场

多年来，最优秀的追踪器运作起来就像一个混乱的体育场。每当视频帧发生变化时，计算机的“稠密”神经网络就会激活数千个神经元，以预测物体的下一个位置。研究人员注意到了一些奇怪的现象：即使他们强迫计算机保持安静，只允许极少数神经元说话（这个过程称为“丢弃法/dropout”），在许多情况下，追踪效果反而变好了。这似乎意味着体育场里的观众喊得太响了，以至于重要的信息被淹没在了噪音之中。他们将这一观察结果称为激活稀疏性偏好（Activation Sparsity Preference, ASP）。本质上，数据表明，为了预测一个球或一个人下一步会如何移动，你不需要一个完整的合唱团，你只需要合适的独唱者。

解决方案：大脑的秘密代码

为了解决这个问题，该团队构建了 SpikingMOT，这是第一个完全运行在这些“脉冲”之上的追踪器。SpikingMOT 不再是持续的嗡嗡声，而是等待特定的时刻才发出脉冲，就像你大脑中的神经元一样。但仅仅让网络保持安静是不够的。团队意识到，他们需要一种聪明的方法来决定哪些神经元应该发声。

他们设计了一个两步走的“受大脑启发”的循环：

分解（菜单）： 想象计算机有一个可能的动作菜单（例如“左转”、“加速”或“停止”）。SpikingMOT 并不试图猜测确切的动作，而是将运动分解为一组“伪轨迹”（pseudo-trajectories，即虚构的路径）。这就像拥有一副代表人们不同移动方式的扑克牌。
校准（修正）： 在计算机预测物体位置之后，它会检查真实的视频以查看自己是否正确。如果物体实际上在其他地方，计算机就会利用这个“错误”（error）来调整下一秒的菜单。这就像厨师品尝汤的味道，意识到需要加盐，然后根据反馈调整下一批次的配方。这创造了一个闭环，使追踪器能够根据观察到的情况进行实时学习。

结果：更快、更聪明、更绿色

结果令人印象深刻。当他们在 SportsMOT（球员快速奔跑并突然改变方向）和 DanceTrack（舞者看起来非常相似且经常交叉路径）等棘手的数据库上测试 SpikingMOT 时，它不仅跟上了节奏，甚至取得了领先地位。

在 SportsMOT 上，它达到了 74.9 的顶尖分数（称为 HOTA），打破了之前的纪录。
在 DanceTrack 上，它达到了 56.ce，同样创下了新纪录。
但真正的魔力在于效率。通过使用这种脉冲驱动的方法，他们减少了 72% 的计算机参数（即“大脑容量”），并将能量消耗削减了 86.7%。

为什么这很重要

论文指出，对于追踪移动物体，我们不需要制造更大、更吵、更耗能的计算机。相反，我们可以制造更聪明、更安静、模仿自然解决问题方式的计算机。研究人员展示了，通过让计算机仅在有重要信息要表达时才“发出脉冲”，并根据所见内容不断修正自己的预测，它能够比以往任何时候都更好地追踪复杂的运动。虽然团队指出，他们的能量节省目前是基于数学计算而非在特殊的“神经形态”硬件芯片上进行的测试，但结果有力地表明，追踪的未来可能不在于蛮力，而在于生物效率。他们开启了一扇通往新思维的大门：有时，为了看清全貌，你只需要倾听正确的低语。

技术摘要：SpikingMOT

问题陈述

多目标跟踪（MOT）是视觉感知中的一项基础任务，通常遵循基于检测的跟踪（Tracking-by-Detection, TBD）范式。尽管近年来的基于学习的方法通过密集激活的人工神经网络（ANNs）改进了运动建模，但它们往往忽略了是否真的需要这种密集的响应来进行准确的轨迹预测。经典的基于滤波的方法难以处理复杂的运动模式，而现有的基于学习的方法（例如 MambaTrack）依赖于密集计算，这可能会引入冗余的运动线索并造成不必要的能量消耗。

本文识别了一种被称为**激活稀疏性偏好（Activation Sparsity Preference, ASP）**的现象：经验证据表明，适度抑制轨迹预测器中的激活率不仅能保持、甚至可以提高跟踪性能。具体而言，密集的响应可能会放大冗余的运动线索，导致预测不准确或身份切换（ID Switch），而稀疏的激活则可以保留具有信息量的运动响应。核心挑战在于如何构建一种能够从理论上解释 ASP，并将这种稀疏性转化为具有竞争力的跟踪性能的模型架构。

方法论

作者提出了 SpikingMOT，这是第一个用于 MOT 的脉冲驱动跟踪器，它利用脉冲神经网络（SNNs）来自适应地建模稀疏的轨迹动力学。该框架建立在这样一个洞察之上：在相同的激活率下，状态条件下的稀疏门控在理论上并不比状态无关的 Dropout 差。

SpikingMOT 将跟踪过程分解为两个交替进行的、受大脑启发的优化步骤：

1. 运动基分解（Motion-Basis Decomposition）

SpikingMOT 没有采用单一的密集预测，而是将每个轨迹状态分解为伪轨迹基（pseudo-trajectory bases）。

群体编码（Population Coding）： 受生物群体编码的启发，编码后的运动状态被分解为 $K$ 个基条件下的运动响应。
脉冲门控重构（Spike-Gated Reconstruction）： 一个密集的基后验（basis posterior）被编码并通过 Leaky Integrate-and-Fire (LIF) 神经元。膜电位动力学决定了是否发射脉冲。
稀疏选择（Sparse Selection）： 发射的脉冲充当门控，选择一组具有信息量的运动基，同时抑制其他基。这创建了一个“伪轨迹”，其中只有相关的运动假设在当前帧被激活。

2. 预测误差校准（Prediction-Error Calibration）

为了使选定的响应适应新的观测值，系统采用了预测编码循环。

残差计算（Residual Calculation）： 在将预测框与检测结果（或训练期间的真值）进行关联后，系统计算一个尺度归一化的框残差（预测误差）。
校准头（Calibration Head）： 该残差与当前状态及脉冲门控一起被输入到校准头中。该头预测所有运动基的逻辑回归修正值（logit correction）。
后验更新（Posterior Update）： 这些修正值用于更新运动基的后验概率，随后这些概率被传递以校准下一帧（ $f+1$ ）的预测。这形成了一个闭环，即预测误差驱动了未来运动动力学的选择。

总体的损失函数结合了框预测损失与针对脉冲稀疏性和基多样性的正则化项，确保模型学习到一种高效且稀疏的运动分布。

核心贡献

ASP 现象： 本文探讨并形式化了 MOT 中的激活稀疏性偏好，通过群体编码和预测编码理论提供了生物学合理性。
SpikingMOT 架构： 它引入了第一个用于 MOT 的脉冲驱动跟踪器，利用 SNNs 为运动预测提供自适应的稀疏激活。
类脑策略： 作者提出了一种由伪轨迹分解（用于结构化运动表示）和预测误差校准（用于在线自适应）组成的创新策略，实现了有效的稀疏选择。
效率与性能： 大量实验证明，SpikingMOT 在显著降低计算成本的同时，实现了最先进（SOTA）的性能。

实验结果

作者在四个基准测试集上评估了 SpikingMOT：DanceTrack、SportsMOT、SeaDroneSee 和 MOT17。

性能：
- 在 SportsMOT 上，SpikingMOT 达到了 74.9 的 HOTA，超越了像 MambaTrack 这样的密集 ANN 基准模型（72.6）。
- 在 DanceTrack 上，它达到了 56.5 的 HOTA，超过了以往的方法。
- 该模型在处理复杂、非线性运动（SportsMOT）和拥挤交互（DanceTrack）的场景中表现出特别的优势，在密集模型容易发生身份切换的情况下仍能保持一致的身份。
效率：
- 与基准模型 MambaTrack 相比，SpikingMOT 减少了 72% 的参数量和 86.7% 的能量消耗。
- 它在实现这些增益的同时，使用了显著更少的活跃单元（例如，在 8 个基的情况下，脉冲发放率仅为 15.4%）。
消融实验：
- 实验证实，简单的稀疏机制（如随机 Dropout、 $\ell_1$ 剪枝）无法产生与所提出的脉冲门控分解和校准相同的收益。
- 研究发现 LIF 神经元类型在时间记忆与优化复杂度之间提供了最佳平衡。
- 该方法在不同的检测器（SpikeYOLO 和 YOLOX 变体）之间展现出了泛化能力。

重要性与主张

论文声称 SpikingMOT 将 SNNs 带入了多目标跟踪领域，开启了一个极具前景的高效跟踪方向。其主要意义在于证明了稀疏性是运动推理的一种可学习原则。

作者认为：

密集激活对于轨迹预测并非严格必要；事实上，稀疏且自适应的门控可以提高对冗余运动线索的鲁棒性。
所提出的类脑循环（分解 + 校准）有效地模拟了生物机制，以处理复杂的运动动力学。
虽然目前的能量估计是基于操作计数，但结果表明，将此类模型部署在神经形态硬件上可能会带来更大的效率提升。

论文总结道，未来的工作应侧重于将这些模型部署在神经形态芯片上，并在现实世界的场景中利用脉冲相机数据进行评估。