💻 computer science

TAPNext++: What's Next for Tracking Any Point (TAP)?

本文提出了 TAPNext++，一种通过序列并行训练和针对重检测的几何增强策略，显著提升了 TAPNext 模型在长视频序列及遮挡点重检测任务中性能并刷新多项基准记录的跟踪任意点（TAP）新架构。

原作者： Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TAPNext++ 的新人工智能模型，它的核心任务是：在视频里“死死盯住”任何一个你指定的点，无论这个点怎么动、怎么被挡住、甚至怎么跑出画面再回来。

想象一下，你在看一段复杂的视频（比如一群人在跳舞，或者机器人在搬东西），你指着视频里的某个人说：“我要一直盯着他。”以前的 AI 要么跟丢了，要么人一旦转身或消失就彻底找不到了。TAPNext++ 就是为了解决这些痛点而生的“超级追踪者”。

下面我用几个生活中的比喻来解释这篇论文做了什么：

1. 以前的痛点：记性差和“断片”

短视的追踪者： 以前的模型（比如 TAPNext 的旧版本）就像是一个记性只有几秒的短跑运动员。如果你让他盯着一个人跑 100 米，他跑得很稳；但如果你让他跑马拉松（长视频），他的脑子就“断片”了，忘了最初那个人的特征，跟丢了。
消失即遗忘： 如果一个人被墙挡住了（遮挡），或者走出了画面，以前的模型就会想：“哦，他不见了，那我也别找了。”等这个人从墙后或画面另一边重新出现时，模型就彻底懵了，认不出那是同一个人。这就像你在玩捉迷藏，朋友躲起来再出来，你却以为来了个陌生人。

2. TAPNext++ 的三大绝招

绝招一：把“短跑训练”变成“马拉松训练” (长序列训练)

比喻： 以前的模型只在短跑道上训练（只看几十帧画面）。TAPNext++ 的开发者们给它换了一个超级大的训练场，让它看长达 1024 帧（甚至更长）的视频。
怎么做到的？ 就像一个人背不动 1000 本书，但可以几个人分工合作。他们利用了一种叫“序列并行”的技术，让多台显卡（GPU）像接力赛一样，共同处理这一长串视频数据。
效果： 现在这个模型拥有了超长的记忆力。即使视频很长，它也能记住最初那个点的样子，不会“断片”。

绝招二：玩“捉迷藏”特训 (重新检测与数据增强)

痛点： 以前模型最怕点“消失”再“出现”。
比喻： 为了训练模型，开发者们故意在训练数据里捣乱。他们把视频画面像卷地毯一样旋转、平移，甚至让点从画面左边跑出去，又从右边跑进来（这叫“周期性滚动增强”）。
效果： 这就像给模型做“脱敏训练”。它被迫学会：“即使这个人刚才跑出了画面，或者被挡住了，只要他再出现，我依然能认出他！” 这让模型在面对物体遮挡或进出画面时，变得非常顽强。

绝招三：发明了新的“考试评分表” (AJRD 指标)

问题： 以前的考试（评估标准）只问：“你全程跟住了吗？”如果跟丢了再找回，以前的评分表可能不算分，或者算得很模糊。
创新： 作者发现大家忽略了“重新认人”的能力。于是他们发明了一个新指标叫 AJRD（重检测平均杰卡德指数）。
比喻： 这就像考试不仅看你全程有没有跑丢，还专门考你：“当你的朋友躲了 10 秒钟再出来时，你能多快认出他？” 这个新指标迫使模型必须学会“重新认人”，而不仅仅是“一直盯着”。

3. 它有多快？有多强？

速度快如闪电： 这个模型非常轻量级，不需要巨大的内存。它能在 H100 显卡 上以每秒 193 帧 的速度运行（比很多其他模型快得多），而且延迟极低。这意味着它非常适合用在手机 AR 眼镜或机器人上，因为它们需要实时反应，不能卡顿。
全能冠军： 在多个测试榜单（DAVIS, PointOdyssey 等）上，它都拿到了第一名。特别是在长视频和物体遮挡的场景下，它把第二名远远甩在身后。

总结

TAPNext++ 就像是一个拥有“超级记忆力”和“火眼金睛”的侦探。

它不再因为视频太长而忘记目标；
它不再因为目标被挡住或跑出画面就放弃；
它反应极快，能实时工作。

这项技术对于增强现实（AR）（比如把虚拟物体牢牢固定在现实世界的桌面上）、机器人（让机器人能持续跟踪移动的物体）以及视频编辑等领域来说，是一个巨大的进步。它证明了：有时候不需要发明全新的复杂架构，只要训练方法和数据策略对头，现有的模型也能变得无比强大。

1. 研究背景与问题定义 (Problem)

Tracking Any Point (TAP) 旨在在视频中持续追踪任意查询点的位置和可见性，这对增强现实 (AR)、机器人和 3D 重建至关重要。现有的 TAP 方法（如 TAPNext）虽然通过线性递归状态空间模型 (SSM) 实现了高效的逐帧在线追踪，但在实际应用中存在两个主要瓶颈：

长序列追踪能力不足：现有模型在长视频序列（如 PointOdyssey 数据集）中表现不佳。由于训练数据通常较短（如 48 帧），模型在长时序推理中会出现状态退化，导致追踪漂移或丢失。
重检测 (Re-detection) 能力缺失：当点被遮挡或移出画面后重新出现时，现有模型往往无法重新定位这些点。目前的评估指标（如生存率）主要关注点的持续可见性，忽略了“消失后重现”这一关键场景，导致重检测性能成为研究盲区。
现有解决方案的局限性：现有的改进策略（如滑动窗口、显式记忆库、基于外观的重检测）通常增加了计算开销和内存占用，或者无法有效解决长时遮挡后的重定位问题。

2. 方法论 (Methodology)

TAPNext++ 并没有改变 TAPNext 的基础架构（即基于 Transformer 和线性递归 SSM 的架构），而是通过数据驱动的训练策略和新的评估体系解决了上述问题。

2.1 长序列训练与分布式并行扫描 (Long-Sequence Training & Distributed Parallel Scan)

挑战：在 1024 帧的长序列上训练递归模型会导致显存溢出，因为激活值和计算图随序列长度线性增长。
解决方案：
- 利用 序列并行 (Sequence Parallelism) 技术，仅沿时间维度切分输入序列，将不同片段分配给不同的 GPU。
- 针对 TAPNext 使用的 RG-LRU (Real-Gated Linear Recurrent Units) 和时序卷积层，设计了 分布式并行扫描 (Distributed Parallel Scan) 算法。
- 该算法允许 GPU 在本地进行扫描，然后通过高效的对数时间合并操作 (Merge Operation) 跨 GPU 传递隐藏状态。这使得在保持完整时序上下文的同时，能够端到端地训练长达 1024 帧的视频。

2.2 数据构建与增强 (Data & Augmentations)

Kubric-1024 数据集：为了弥补真实长序列标注数据的不足，作者生成了包含 10,000 个视频、每个 1024 帧的合成数据集。该数据集使用 Polyhaven 的 HDRI 背景、GSO 物体库，并模拟了复杂的相机运动和物理交互（如物体碰撞、随机速度变化）。
周期性滚动增强 (Periodic Roll Augmentation)：
- 为了模拟点移出画面并重新进入的场景，对视频序列应用平滑的正弦波平移和旋转。
- 关键机制：采用周期性边界处理（Periodic Shift），即像素和轨迹坐标移出图像一侧时，会从另一侧重新进入。这迫使模型不能仅依赖时空邻近性（Local Search），而必须学习基于外观匹配的重检测能力。
遮挡点监督 (Tracking Occluded Points)：
- 修改损失函数，对图像范围内但被遮挡的点（Occluded but within bounds）进行监督。
- 将遮挡点的坐标预测损失权重设为可见点的 0.2，鼓励模型在遮挡期间维持合理的轨迹预测，从而提升重检测成功率。
多数据集微调：结合 PointOdyssey（真实长序列）、Kubric-1024（合成长序列）和 DynHumans（含人体动态的合成数据）进行混合微调，提升泛化能力。

2.3 新评估指标：重检测平均 Jaccard (AJRD)

定义：针对现有指标无法量化“重检测”性能的问题，提出了 Re-Detection Average Jaccard (AJRD)。
计算逻辑：
1. 定义“不可见时长” ( $d$ )：点连续不可见的帧数。
2. 定义“合格重出现事件”：仅当某次重出现的不可见时长 $d$ 严格大于该轨迹之前所有重出现的不可见时长时，才计入统计（确保覆盖不同长度的遮挡）。
3. 计算 $AJRD^{d_{min}}$ ：仅针对不可见时长 $\ge d_{min}$ 的重出现事件，计算其后续追踪段的平均 Jaccard 分数。
4. 最终 AJRD 为不同 $d_{min}$ (1, 4, 16, 64, 256) 下的平均值。

3. 关键贡献 (Key Contributions)

架构扩展与长序列训练：证明了递归视频 Transformer 架构本身具备处理长序列的潜力，通过序列并行技术成功将训练序列从 48 帧扩展到 1024 帧，显著提升了长期记忆稳定性。
Kubric-1024 数据集：发布了一个大规模、高分辨率的合成长序列追踪数据集，填补了该领域高质量长序列训练数据的空白。
重检测指标与增强：
- 提出了 AJRD 指标，填补了当前 TAP 评估中关于“重检测”能力的盲区。
- 设计了周期性滚动增强和遮挡点监督，显著提升了模型在点移出画面后重新进入或长期遮挡后的重定位能力。
SOTA 性能与效率：TAPNext++ 在保持极低内存占用和计算量的前提下，在多个基准测试中刷新了 SOTA，且无需引入新的模型架构。

4. 实验结果 (Results)

长序列追踪 (PointOdyssey)：
- TAPNext++ 在 PointOdyssey 测试集上取得了 52.6 的平均位置误差 ( $\delta_{avg}$ ) 和 67.9% 的生存率 (Survival)，远超 BootsTAPNext (13.0% 生存率) 和其他在线方法。
- 在静态图像重复输入实验中，TAPNext++ 的有效记忆长度从 BootsTAPNext 的 ~150 帧提升至 600+ 帧。
重检测能力 (AJRD)：
- 在 RoboTAP 和 PointOdyssey 上，TAPNext++ 的 AJRD 分数显著高于 CoTracker3、Track-On 等竞品。
- 消融实验表明，Roll 增强对提升长时不可见后的重检测性能至关重要（例如在 RoboTAP 上，有 Roll 增强的 AJRD 明显高于无 Roll 版本）。
速度与延迟：
- 在 H100 GPU 上，TAPNext++ 实现了 193 FPS (256x256 分辨率) 的在线推理速度，延迟仅为 5.18ms。
- 在 1024 帧序列的窗口模式下，速度可达 348 FPS，远快于基于滑动窗口的方法（如 CoTracker3 在线版仅 45 FPS）。
多基准测试表现：
- 在 DAVIS、Kinetics、RGB-Stacking 等多个数据集上均取得了最高的平均 $\delta_{avg}$ 和 AJ 分数，证明了其强大的泛化能力。

5. 意义与总结 (Significance)

TAPNext++ 的工作表明，TAP 任务中的长序列追踪失败和重检测困难并非源于递归 Transformer 架构本身的缺陷，而是由于训练策略和数据的局限性。

理论价值：通过引入序列并行和特定的几何增强，证明了轻量级递归模型可以处理极长时序依赖，打破了“长序列必须依赖显式记忆库或大窗口”的固有认知。
应用价值：该模型在保持极低计算成本（适合移动端和机器人实时应用）的同时，实现了工业级的鲁棒性，特别是在 AR/VR 等动态场景中，能够有效处理物体频繁进出视野的情况。
社区影响：提出的 AJRD 指标为未来点追踪研究提供了更全面的评估标准，促使社区关注重检测这一关键但被忽视的环节。

综上所述，TAPNext++ 通过数据驱动的工程创新，在效率、精度和鲁棒性之间取得了新的最佳平衡，为实时点追踪技术树立了新的标杆。