💻 computer science

Enhancing Object Tracking via Spatio-Temporal Collaboration in Frame-Event Networks

本文提出了时空协作网络（STC-Net），该网络通过自适应脉冲神经元模块和高阶时空融合模块将帧模态与事件模态进行集成，以在挑战性条件下实现最先进的目标跟踪性能。

原作者： Nan Wang, Yong Song, Li Wang, Yingbo He, Shaoxing Wu, Ya Zhou, Teng Luo, Shuang Wang, Linjun Zeng

发布于 2026-07-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Nan Wang, Yong Song, Li Wang, Yingbo He, Shaoxing Wu, Ya Zhou, Teng Luo, Shuang Wang, Linjun Zeng

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过摄像机在繁忙的城市中追踪一辆特定的汽车。通常情况下，这运作得很好。但如果阳光突然晃瞎了你的镜头，或者那辆车疾速驶过，变成了一团模糊的残影，会发生什么？标准的相机（比如你手机里的那种）在这种情况下会表现得很吃力，因为它们以固定的速度拍摄“照片”，就像一本翻页书。如果动作太快或光线太诡异，这些书页要么是空白的，要么是一团乱麻。

这篇论文介绍了一种结合了两种不同类型“眼睛”来追踪物体的新方法：一种是标准相机，另一种是特殊的事件相机（Event Camera）。

两种眼睛：照片 vs. 运动传感器

标准相机 (RGB)： 可以把它想象成一位每 1/30 秒拍一张照片的摄影师。在正常光线下，它能看清一切，但如果汽车移动太快，画面就会变得模糊。如果处于漆黑或极度明亮的环境中，这张照片就毫无用处。
事件相机 (Event Camera)： 这更像是一个运动传感器。它不拍照片，而是在感知到变化时才“开口说话”。如果一个像素点检测到光线变化，它就会发送一个极其微小的、超快速的信号（即“事件”）。它的速度极快（微秒级），能在全黑或强光下工作，且永远不会产生运动模糊。然而，它有一个问题：对于静止不动的物体，它是“盲”的，而且它无法展示物体的外观（没有颜色或纹理）。

问题所在： 只使用运动传感器虽然擅长处理速度，但在识别物体方面表现不佳；只使用照片虽然擅长识别，但在处理速度和光照变化方面表现不佳。

解决方案：STC-Net（智能团队）

作者创建了一个名为 STC-Net（时空协作网络）的系统。你可以把它想象成一个侦探团队，两双眼睛配合得如此紧密，以至于它们变成了一个超级传感器。他们使用了两个特殊的工具来实现这种团队协作：

1. “智能过滤器”（自适应脉冲神经元）

事件相机的原始数据是非常杂乱的。这就像一个充满喧哗的房间：有些人是在大喊（信号），而有些人则只是随机的噪声（静态噪声）。

工作原理： 论文中使用了一个名为自适应脉冲神经元 (ASN) 的模块。想象一个俱乐部的保安。
- 一个普通的保安有一个固定的规则：“只要声音超过 50 分贝，就准许进入。”但这并不理想，因为有时是因为环境嘈杂（噪声），而有时则是 VIP 在低声细语（微弱信号）。
- ASN 是一个聪明的保安。它会倾听人群。如果房间很吵，它会提高门槛以忽略嘈杂声；如果房间很安静，它会降低门槛，以免错过细微的耳语。
- 结果： 它过滤掉了随机噪声，只保留了真正属于运动物体的“呐喊”，在计算机尝试理解数据之前就清理干净了信号。

2. “深度混合器”（高阶时空融合）

一旦事件数据被清理干净，系统就需要将其与标准相机的照片进行混合。大多数旧方法只是简单地将两者“订在一起”（就像把一张照片和一张运动图表并排放在一起）。

工作原理： 作者构建了一个高阶时空融合 (HSTF) 模块。你可以不把它看作是简单的混合食材，而要看作是在“烘焙蛋糕”。
- 该模块不仅仅是混合成分，它还会从三个不同的维度分析数据的“风味”：
  1. 频率 (Frequency)： 观察宏观的模式（例如看到汽车的整体轮廓）。
  2. 空间 (Space)： 观察事物之间的相对位置（例如汽车的纹理）。
  3. 通道 (Channels)： 观察数据的不同部分是如何相互交流的。
- 它提取照片中的“外观特征”和事件相机中的“运动特征”，并将它们深度融合。这确保了即使在高速移动或光照极差的情况下，系统也能精确知道汽车的具体位置。

结果：赢得比赛

团队在两个充满挑战性的数据集（FE108 和 VisEvent）上测试了这个系统，这些场景充满了诸如低光照、过曝和快速运动等棘手情况。

得分： 他们的全新系统 (STC-Net) 打败了所有之前的最优方法。
提升： 与排名第二的竞争对手相比，该系统将追踪准确度提高了约 3.7%，将成功率提高了 2.0%。
意义何在： 在追踪领域，几个百分点的提升是非常了不起的。这意味着当情况变得混乱时，该系统丢失目标的概率会大大降低。

总结

论文声称，通过将标准相机与事件相机相结合，并使用智能过滤器来清理运动数据，以及使用深度混合器来融合两种信息，他们创建了一个更加鲁棒的追踪系统。它可以在强光、黑暗和高速运动等其他系统会失效的情况下，持续追踪物体。

注：本论文严格关注该追踪算法在特定数据集上的技术性能。除了实验中所述的范围外，它并未讨论自动驾驶汽车、医疗用途或其他现实世界部署的未来应用。

技术摘要：通过帧-事件网络中的时空协作增强目标跟踪

问题陈述

视觉目标跟踪在高速运动、极端光照条件（低照度或过曝光）以及背景杂乱的场景中面临重大挑战。依赖于基于帧（RGB）摄像机的传统深度学习跟踪器，由于动态范围有限、易受运动模糊影响以及固定的低时间采样率，在这些环境中性能往往会下降。虽然受生物启发的事件相机提供高时间分辨率（微秒级）、高动态范围（高达 140 dB）并具有免疫运动模糊的特性，但它们难以捕捉静态或慢速移动的物体，且缺乏细粒度的纹理信息。

现有的 RGB-Event (RGB-E) 融合方法试图结合这两种模态，但存在两个主要局限性：

忽视时间动态性： 许多方法未能充分利用事件数据的高时间分辨率，通常将异步事件流转换为同步伪帧，从而丢弃了细粒度的时间结构。
浅层融合： 当前的方法通常依赖于简单的特征级融合（例如拼接或基础注意力机制），未能建立 RGB 外观语义与基于事件的运动动态之间深层的、高层级的协同关系。

方法论

作者提出了 时空协作网络 (STC-Net)，这是一个旨在深度集成 RGB 帧的空间外观与事件流的高时间分辨率动态特性的框架。该架构遵循 DiMP 结构，模板分支和搜索分支共享权重，并包含两个核心创新：

1. 自适应脉冲神经元 (ASN) 模块

为了在处理原始事件流的同时保留其时间分辨率，作者引入了一个基于单层脉冲神经元的 ASN 模块。与具有固定参数的标准 Leaky Integrate-and-Fire (LIF) 神经元不同，ASN 会根据输入特性动态调整其行为：

自适应发放阈值 ( $V_{th}$ ): 阈值根据事件密度、局部运动模式方差以及帧间时间变化进行计算。这使得神经元能够针对密集的运动相关簇提高阈值（防止过度激活），并针对稀疏信号降低阈值（防止漏检）。
自适应膜衰减 ( $\beta$ ): 该模块不再使用固定的时间常数，而是通过通道注意力机制学习衰减因子。这使得网络能够优化时间积分与遗忘之间的平衡，以适应变化的运动速度。
空间邻域加权: 通过 3×3 卷积核聚合局部邻域信息，捕捉相邻事件之间的时空相关性，从而稳健地检测出逐像素处理可能错过的运动模式。

2. 高阶时空特征融合 (HSTF) 模块

为了克服浅层融合的局限性，HSTF 模块促进了跨频率、空间和通道维度的深层跨模态交互：

频域交互: RGB 和事件特征通过 2D 快速傅里叶变换 (FFT) 转换到频域。通过元素级乘法建立高效的一阶跨模态相关性，在不产生传统矩阵乘法高昂计算成本的情况下，捕捉全局空间关系。
多上下文调制 (MCM): 一种双向引导机制，利用多尺度卷积核（1, 3, 和 5）来调制特征。每种模态都提供上下文信息，以选择性地强调互补模态中有信息量的区域。
高阶通道交互 (HCI): 作为 Squeeze-and-Excitation 机制的扩展，该模块利用残差连接递归地建模特征通道间复杂的相互依赖关系。
自适应加权 (AW): 一种可学习机制，在最终拼接前平衡 RGB 特征和事件特征的贡献。

核心贡献

本文概述了四个主要贡献：

STC-Net 框架： 一个通过双管齐下的方法，深度集成空间外观与高时间分辨率动态特性的跟踪框架。
自适应脉冲神经元 (ASN)： 一个能够动态调整发放阈值和膜时间常数的模块，用于过滤噪声并增强运动相关事件，有效地保留了高分辨率的时间动态。
高阶时空特征融合 (HSTF)： 一个能够在频率、空间和通道维度实现深层跨模态交互的模块，促进了 RGB 语义与事件动态的互补融合。
最先进的性能 (SOTA)： 在公开基准测试上的广泛实验证明了其优于现有跟踪器的卓越性能，并通过消融实验进行了验证。

实验结果

STC-Net 在两个公开的 RGB-Event 跟踪基准数据集上进行了评估：FE108 和 VisEvent。

FE108 数据集： STC-Net 实现了 89.0% 的代表性精度率 (RPR) 和 57.8% 的代表性成功率 (RSR)。
- 它在 RPR 上比之前的最先进 RGB-Event 跟踪器 (AFNet) 高出 3.7%，在 RSR 上高出 2.0%。
- 它显著超越了基于帧的跟踪器（如 DiMP18, ATOM）以及纯事件驱动的方法，突显了多模态融合的价值。
VisEvent 数据集： STC-Net 实现了 64.0% 的 RPR 和 46.8% 的 RSR，分别超过了第二名方法 3.1% 和 1.0%，证明了在多样化且具有挑战性的户外环境中的鲁棒性。

消融研究：

输入模态： 在 FE108 上，仅事件跟踪 (83.0% RPR) 的表现优于仅 RGB 跟踪 (74.7% RPR)，证实了事件数据在挑战性光照条件下的效用。简单融合 (变体 C) 较单模态基准有所提升，但完整的 STC-Net (变体 E) 取得了最高分。
ASN 模块： 将 ASN 模块添加到融合流水线中（变体 D 对比 C）使 RPR 提升了 4.3%，验证了自适应噪声过滤和时间相干性的有效性。
HSTF 模块： 用 HSTF 替换简单拼接（变体 E 对比 D）带来了额外的 3.0% RPR 增益，证实了高阶交互优于基础的特征组合。

重要性

本文声称 STC-Net 提供了一种有效的方法，通过利用帧模态与事件模态的互补优势来实现可靠的目标跟踪。通过解决现有方法的特定局限性——即事件处理中的时间分辨率损失以及当前融合策略的浅层化——所提出的方法在挑战性场景下实现了最先进的性能。该工作表明，深层的、结构化的跨模态交互，结合受生物启发且具有自适应性的事件流处理，对于在动态和恶劣条件下实现鲁棒的视觉跟踪至关重要。