TAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events

本文提出了 TAPFormer，一种基于 Transformer 的鲁棒任意点跟踪框架，通过创新的瞬态异步融合机制自适应地结合帧与事件流，有效解决了多模态数据在时间对齐和模态失效下的跟踪难题，并在自建数据集及标准基准上取得了显著的性能提升。

要点

这篇论文介绍了一个名为 TAPFormer 的新系统，它的核心任务是：在视频中精准地追踪任意一个点。

想象一下，你正在看一段视频，视频里有一只鸟在飞，或者一辆车在跑。TAPFormer 的任务就是盯着这只鸟的翅膀尖，或者那辆车的车灯，无论它们怎么动、怎么被遮挡，甚至环境怎么变（比如突然变黑或变亮），它都能死死咬住那个点，画出它走过的完整路线。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项技术：

1. 遇到的难题：两种“眼睛”的局限

传统的追踪方法通常只依赖一种“眼睛”——普通相机（帧）。

• 普通相机的缺点：它像是一个慢吞吞的摄影师。它每秒只拍 20-30 张照片。如果物体动得太快（比如赛车飞驰），照片就会模糊（运动模糊）；如果光线太暗或太亮，照片就看不清。而且，因为拍得慢，它容易“跟不上”物体的快速变化，导致追踪丢失。

为了解决这个问题，科学家引入了第二种“眼睛”——事件相机（Events）。

• 事件相机的优点：它像是一个反应极快的神经末梢。它不拍完整的照片，而是只记录“哪里亮了”或“哪里暗了”的瞬间变化。它的反应速度是微秒级的（比眨眼快几百万倍），而且不怕过曝或太暗。
• 事件相机的缺点：它虽然反应快，但没有“记忆”和“细节”。它只告诉你“这里动了”，但不知道动的是什么（是红色的球还是蓝色的车？）。在静止或慢速时，它甚至可能“发呆”，因为没什么变化可记。

以前的做法：把这两种“眼睛”的数据简单拼凑在一起，就像把慢吞吞的摄影师和反应快的神经末梢强行绑在一起走路。结果往往是：步调不一致（时间对不上），或者一方掉链子时，整个系统就崩了。

2. TAPFormer 的解决方案：完美的“双人舞”

TAPFormer 就像是一位超级指挥家，它发明了一套新的配合方式，让这两种“眼睛”完美协作。

核心创新一：瞬态异步融合 (TAF) —— “填补时间缝隙的胶水”

• 比喻：想象普通相机是每隔 1 秒打一次节拍，而事件相机是每毫秒都在跳动。
• 以前的做法：为了配合，只能把事件相机的跳动强行放慢，或者把相机的照片强行插值，这就像让两个人跳舞时，一个人必须等另一个人，导致动作僵硬、不自然。
• TAPFormer 的做法：它不再让两者互相等待。它把事件相机的每一次跳动，都看作是填补两张照片之间空白时间的“胶水”。
  • 当一张照片（帧）到来时，系统先建立一个基础形象。
  • 在等待下一张照片的漫长 1 秒里，事件相机的每一次跳动都在实时更新这个形象。
  • 结果：系统仿佛拥有了每秒几百次的“眼睛”，既看清了细节（靠照片），又跟上了极速（靠事件），完美填补了时间缝隙。

核心创新二：跨模态局部加权融合 (CLWF) —— “聪明的看门人”

• 比喻：在追踪过程中，有时候照片模糊了（比如车开太快），有时候事件数据稀疏了（比如车停着不动）。
• 以前的做法：不管三七二十一，把两种数据平均混合，导致模糊的照片把清晰的数据也带偏了。
• TAPFormer 的做法：它有一个智能的“看门人”。
  • 在某个局部区域，如果照片模糊了，看门人就说：“这里别信照片，信事件数据！”
  • 如果事件数据太乱，看门人就说：“这里别信事件，信照片！”
  • 结果：系统能动态地选择最可靠的信息源。就像你在雾天开车，如果看不清路（照片），你就听雷达（事件）；如果雷达没信号，你就看路标（照片）。这种自适应的能力，让追踪在极端环境下依然稳如泰山。

3. 他们做了什么额外的工作？

为了训练这个“超级指挥家”，他们发现现有的教材（数据集）不够用。

• 造了个新“训练场” (FE-FastKub)：用电脑模拟了一个超高帧率、充满各种混乱场景（极速、模糊、过曝）的虚拟世界，让 AI 在里面疯狂练习。
• 建了个新“考场” (InivTAP & DrivTAP)：他们真的去户外和车里，用特制的同步设备，录制了真实世界的视频，并人工一点点标注了成千上万个点的轨迹。这是世界上第一个专门用来测试这种“帧 + 事件”追踪能力的真实数据集。

4. 效果如何？

在所有的测试中，TAPFormer 都碾压了现有的方法：

• 在普通相机追踪失败（模糊、过曝）的地方，它能继续追踪。
• 在事件相机追踪失败（静止、无纹理）的地方，它能靠照片补位。
• 它的追踪精度比第二名高出了**28%**以上，而且速度也很快。

总结

TAPFormer 就像给机器人装上了一双既看得清细节、又反应神速、还能在恶劣天气下自动切换模式的“超级眼睛”。

这项技术未来可以用在：

• 自动驾驶：在暴雨、黑夜或高速公路上，精准追踪周围的车辆和行人。
• 增强现实 (AR)：让虚拟物体牢牢地“粘”在现实世界的物体上，无论你怎么快速移动。
• 机器人：让机器人在混乱、快速变化的环境中灵活抓取物体。

简单来说，它解决了计算机视觉中“快”与“准”难以兼得的千古难题。

技术摘要

1. 研究背景与问题定义 (Problem & Motivation)

核心任务：
任意点跟踪（Tracking Any Point, TAP），即估计视频中任意点的运动轨迹和可见性状态。

现有挑战：

• 传统帧基方法（RGB）： 依赖固定帧率相机，在快速运动、运动模糊、过曝或低光照条件下，由于时间分辨率不足和动态范围有限，会导致跟踪丢失或精度大幅下降。
• 事件基方法（Event Cameras）： 具有微秒级时间分辨率和高动态范围，适合高速场景。但在静止或慢速场景下事件稀疏，且缺乏纹理和颜色信息，导致空间细节丢失，难以在静态场景中保持跟踪。
• 融合方法的局限性： 现有的帧 - 事件融合方法通常采用同步或非自适应的融合策略。由于帧和事件的时间采样频率不匹配（异步），直接融合会导致时间错位；且在单一模态失效（如模糊或事件稀疏）时，缺乏自适应机制，导致性能严重退化。

目标：
构建一个能够处理异步数据流、在极端条件（高速、低光、模糊）下保持鲁棒性和高精度的任意点跟踪框架。

---

2. 方法论 (Methodology)

作者提出了 TAPFormer，这是一个基于 Transformer 的框架，核心在于**瞬态异步融合（Transient Asynchronous Fusion, TAF）机制和跨模态局部加权融合（Cross-modal Locally Weighted Fusion, CLWF）**模块。

2.1 核心创新模块

1. 瞬态异步融合 (TAF) 机制：

   • 问题： 解决低频帧（20-30Hz）与高频事件流（微秒级）之间的频率失配问题。
   • 方案： 不将事件流强行下采样以匹配帧率，而是将场景建模为时间连续的潜在表示。
     • 初始化： 当新帧到达时，结合当前帧和曝光窗口内的事件，初始化融合状态。
     • 更新： 在帧与帧之间，利用轻量级的交叉注意力更新器（Cross-attention Updater），根据新到达的事件流连续更新融合状态。
   • 效果： 实现了远超帧率的高频特征更新（100-200Hz），显式建模了视觉信息的时间演化，填补了帧间的时间空白。

2. 跨模态局部加权融合 (CLWF) 模块：

   • 问题： 在不同时空条件下，帧和事件的可靠性是动态变化的（例如：运动模糊时帧不可靠，静止时事件稀疏）。
   • 方案： 引入自适应的局部注意力机制。事件 Token 作为 Query，查询其空间邻域内的帧 Token。
   • 机制： 网络自动学习并调整权重，强调当前时刻更可靠、信息量更大的模态。
   • 效果： 即使在模态退化（如模糊或低光）时，也能生成稳定且具有判别力的特征，实现空间上的鲁棒性。

3. Transformer 优化器：

   • 将多尺度融合特征与初始查询点输入到 Transformer 优化器中，通过迭代优化预测点的轨迹和可见性状态。

2.2 数据策略

• 训练数据： 构建了大规模合成数据集 FE-FastKub（基于 Kubric 引擎），包含 48 FPS 的高帧率 RGB 图像（含运动模糊）和对应的合成事件流，用于监督高频特征变化。
• 测试数据： 构建了首个真实世界的帧 - 事件 TAP 基准数据集，包含 InivTAP（室内/通用场景，DAVIS346 相机）和 DrivTAP（驾驶场景，PropheSee EVK4 + RGB 相机），涵盖低光、过曝、高速运动等极端条件。

---

3. 主要贡献 (Key Contributions)

1. 统一的异步融合框架： 提出了 TAPFormer，首次将帧 - 事件融合从“同步聚合”转向“异步时间建模”，利用 TAF 机制实现了高频、时间一致的跟踪。
2. 首个真实世界帧 - 事件 TAP 基准： 发布了包含同步帧 - 事件数据、覆盖多种极端光照和运动条件的真实世界测试集（InivTAP 和 DrivTAP），填补了该领域评估标准的空白。
3. SOTA 性能： 在 TAP 任务和特征点跟踪任务上，TAPFormer 在所有基准测试中均超越了现有的帧基、事件基及融合基方法。
4. 鲁棒性验证： 证明了该方法在帧率降低（低至 10Hz）或单一模态失效时，仍能保持稳定的跟踪性能。

---

4. 实验结果 (Results)

4.1 任意点跟踪 (TAP) 性能

在自建的 InivTAP 和 DrivTAP 数据集上：

• InivTAP： TAPFormer 的平均 Jaccard (AJ) 指标比基于帧的 CoTracker3 提高了 36.4%，比基于融合的 FETAP 提高了 35.1%。
• DrivTAP（驾驶场景）： 在高速和复杂光照下，TAPFormer 的 AJ 指标比事件基的 ETAP 提高了 261.5%，比帧基 CoTracker3 提高了 31.5%。
• 关键发现： 在帧率降低时（如从 25Hz 降至 10Hz），传统帧基方法（CoTracker3）性能急剧下降（几乎失效），而 TAPFormer 性能仅下降约 6.5%，证明了其异步融合机制对低帧率输入的强适应性。

4.2 特征点跟踪 (Feature Tracking)

在 EDS 和 EC 数据集上：

• TAPFormer 在特征年龄 (FA) 和期望特征年龄 (EFA) 指标上均达到最佳，显著优于 EKLT、DeepEvT 和 FETAP 等融合方法。
• 消融实验表明，TAF 机制和 CLWF 模块对性能提升贡献最大，且多尺度语义特征（MSSF）和时序注意力（TAM）进一步增强了特征的一致性。

4.3 应用验证 (SLAM)

将 TAPFormer 集成到视觉 SLAM 系统（VINS-Mono 后端）中，在高速 UAV 和地面车辆场景下，其速度加权成功率（AUCv）优于现有的事件基 SLAM 方法（如 SDEVO 和 SuperEvent）。

---

5. 意义与影响 (Significance)

1. 理论突破： 解决了异构传感器（低频帧 vs 高频事件）在时间维度上的对齐难题，提出了一种无需强制同步的连续时间建模方法，为多模态感知提供了新视角。
2. 实际应用价值： 为自动驾驶、增强现实（AR）和机器人导航等需要在极端环境（高速、低光、模糊）下保持高精度视觉感知的场景提供了可靠的解决方案。
3. 社区资源： 发布的真实世界数据集和合成训练数据，将推动事件相机与 RGB 相机融合领域的进一步发展，特别是针对长时、鲁棒跟踪任务的研究。

总结： TAPFormer 通过创新的异步融合机制，成功结合了 RGB 相机的空间细节优势和事件相机的高时间分辨率优势，实现了在复杂现实世界中前所未有的鲁棒任意点跟踪能力。