GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture

本文提出了 GOT-JEPA 框架，通过联合嵌入预测架构将模型预测预训练从图像特征扩展至跟踪模型本身，并辅以 OccuSolver 模块进行细粒度的遮挡感知与状态优化，从而显著提升了通用目标跟踪器在动态复杂场景下的泛化能力与鲁棒性。

要点

这篇论文介绍了一种名为 GOT-JEPA 的新型视频目标追踪技术，它就像给电脑视觉系统装上了一套“超级大脑”和“透视眼”，让它在复杂的现实世界中也能稳稳地盯住目标。

我们可以把这项技术想象成一个经验丰富的老侦探（追踪器）在训练一个新徒弟（AI 模型），主要解决了两个大难题：“怎么在目标被遮挡时不跟丢？” 和 “怎么在没见过的场景里也能认得准？”

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心痛点：以前的追踪器太“死板”

以前的追踪器就像是一个只会死记硬背的学生。

• 问题一（泛化能力差）： 如果训练时只见过“穿红衣服的人”，一旦视频里出现“穿蓝衣服的人”或者“被树挡住了一半的人”，它就傻眼了，因为没学过。
• 问题二（遮挡处理粗糙）： 当目标被挡住时，以前的追踪器只能模糊地猜：“哦，目标可能还在，也可能不在。”它分不清目标的哪部分被挡住了，哪部分还露在外面，导致很容易跟丢。

2. 解决方案一：GOT-JEPA —— “模拟考”训练法

论文提出了一个叫 GOT-JEPA 的预训练框架。这就像是一个**“师徒模拟考”**机制，用来训练那个“新徒弟”（学生模型）。

• 场景设定：

  • 老师（Teacher）： 手里拿着清晰、完美的当前帧画面，直接给出了“标准答案”（即完美的追踪模型）。
  • 学生（Student）： 手里拿着被破坏、被遮挡、充满干扰的当前帧画面（比如加了马赛克、贴了贴纸）。
  • 共同点： 他们看到的过去（历史画面）是一模一样的。

• 训练过程：
  学生必须看着自己手里那团“乱糟糟”的画面，结合过去的记忆，猜出老师手里那个“完美答案”长什么样。

  • 比喻： 就像老师让你看一张被涂改液弄脏的地图，让你猜出地图上原本的路标在哪里。如果你能猜对，说明你真正理解了地图的逻辑，而不是死记硬背。
  • 结果： 经过这种高强度的“模拟考”，学生学会了在恶劣环境（遮挡、干扰）下也能精准地锁定目标，不再依赖死记硬背，而是学会了“举一反三”。

3. 解决方案二：OccuSolver —— 给追踪器装上“透视眼”

为了解决遮挡问题，论文还设计了一个叫 OccuSolver 的模块。它就像给追踪器配了一副**“透视眼镜”**，能看清目标被挡住的具体细节。

• 传统做法： 以前是把整个目标框成一个框，如果框里一半黑了，系统就不知道是“目标还在但被挡了”还是“目标跑了”。
• OccuSolver 的做法：
  • 它把目标拆解成成千上万个**“小点”**（就像像素点，但更智能）。
  • 它会逐个检查这些点：“这个点还在吗？被挡住了吗？”
  • 比喻： 想象你在玩“大家来找茬”或者“连连看”。OccuSolver 能告诉你：“虽然这个人的脸被树挡住了（不可见），但他的肩膀和手还露在外面（可见）。”
  • 互动升级： 这个“透视眼”不是独立的，它会和主追踪器互相学习。主追踪器告诉它“我们要找的是谁”，它反过来告诉主追踪器“哪些部分是可见的”。这种配合让追踪器在目标重新出现时，能瞬间反应过来，不会跟丢。

4. 最终效果：更聪明、更皮实

通过这套组合拳（GOT-JEPA + OccuSolver），新的追踪器表现出了惊人的能力：

• 适应性强： 即使目标变成了没见过的样子，或者环境变得很乱，它也能跟住。
• 抗干扰强： 即使目标被树叶、行人、甚至完全遮挡住，它也能通过“透视”逻辑，在目标露出来的一瞬间精准找回。
• 测试成绩： 在七个不同的权威测试集上，这个方法都打败了现有的顶尖技术（SOTA），特别是在目标被遮挡或变形时，表现尤为突出。

总结

简单来说，这篇论文就是教 AI 追踪器：

1. 别死记硬背，要学会在“烂画面”里猜“好答案”（GOT-JEPA 模拟训练）。
2. 别只看整体，要能看清局部，知道哪部分被挡住了（OccuSolver 点级透视）。

这就好比一个老练的侦探，即使嫌疑人戴了面具、躲进了人群，或者只露出半张脸，他也能通过细节和逻辑推理，死死咬住目标不放。

技术摘要

1. 研究背景与问题 (Problem)

通用目标跟踪（Generic Object Tracking, GOT）旨在仅凭第一帧的初始边界框，在后续帧中持续定位任意目标。尽管现有的基于“检测即跟踪”（Tracking-by-Detection）的范式取得了一定进展，但仍面临以下核心挑战：

• 泛化能力不足：现有跟踪器的模型预测器（Model Predictor）通常在训练目标上过度优化，导致在面对训练集中未见过的目标（Out-of-Distribution）或复杂场景时，鲁棒性下降。
• 遮挡处理粗糙：现有的遮挡处理机制通常停留在场景级或边界框级别（如通过置信度分数判断是否遮挡），缺乏对目标内部细粒度（Fine-grained） 遮挡模式的推理。现有的遮挡标签稀缺且多为隐式监督，导致模型难以学习详细的遮挡模式。
• 缺乏抽象推理能力：与人类视觉系统不同，现有系统难以在动态环境中整合历史观测、适应目标变化，并推理部分遮挡下的可见性。

2. 核心方法论 (Methodology)

作者提出了 GOT-JEPA 框架，包含两个主要创新模块：GOT-JEPA 预训练框架 和 OccuSolver 遮挡感知模块。

A. GOT-JEPA：基于联合嵌入预测架构的模型预测预训练

该模块将 JEPA（Joint-Embedding Predictive Architecture）从传统的“图像特征预测”扩展为新颖的**“跟踪模型预测”**任务。

• 教师 - 学生架构 (Teacher-Student)：
  • 教师预测器 (t-Predictor)：基于预训练的跟踪模型（如 ToMP），在**干净（Clean）**的当前帧上生成伪跟踪模型（Pseudo-tracking models）。教师网络在预训练阶段被冻结，以提供稳定的伪监督信号。
  • 学生预测器 (s-Predictor)：接收与教师相同的历史帧信息（Few-shot examples），但输入的是**被污染/损坏（Corrupted）**的当前帧（通过 Copy-Paste 等增强模拟遮挡、干扰）。
  • 学习目标：学生网络必须从损坏的输入中预测出与教师网络在干净输入下生成的相同跟踪模型。
• 损失函数设计：
  • 不变性损失 (Invariance Loss, $L_{inv}$)：强制学生预测的模型 $\omega$ 与教师生成的伪模型 $\hat{\omega}$ 保持一致，学习在退化观测下的目标 - 背景判别能力。
  • 协方差损失 (Covariance Loss, $L_{cov}$)：通过 Expander 模块扩展输出通道，最小化预测模型特征之间的冗余，鼓励模型学习更多样化、判别性更强的模式。
• ProjNet：一个轻量级的线性网络（Hypernetwork），用于动态生成定位解码器的权重，帮助学生适应帧的变化。

B. OccuSolver：细粒度遮挡感知与点跟踪适配

为了弥补 GOT 在遮挡处理上的不足，作者提出了 OccuSolver，将 GOT 的高层语义先验与点跟踪器（Point Tracker，基于 CoTracker）的低层几何线索紧密结合。

• 对象感知点跟踪 (Object-Aware Point Tracking)：
  • 传统的点跟踪器是无类别的，初始查询点随机采样。OccuSolver 利用 GOT 生成的**对象先验（Object Priors，即参考标签）**来引导点跟踪器。
  • 通过 Prior Encoder 将对象先验编码并注入到点跟踪器的特征中，使点跟踪器能够区分目标点和背景点。
• 可见性状态估计：
  • 利用迭代 Transformer 和 VisHead 模块，估计每个采样点的可见性状态（Visible/Invisible）。
  • 过滤掉冗余的不可见点，保留关键可见点，从而获得细粒度的遮挡模式。
• 特征融合与反馈：
  • Ensemble Network：将 OccuSolver 生成的稀疏点可见性特征（通过高斯核映射为稠密空间）与 GOT 的当前帧视觉特征融合。
  • 双向增强：GOT 提供对象先验优化点跟踪；点跟踪提供的精确可见性状态反过来生成更高质量的伪参考标签，用于优化 GOT 的模型预测器，形成闭环。

3. 主要贡献 (Key Contributions)

1. GOT-JEPA 框架：首次将 JEPA 范式应用于跟踪领域，从预测图像特征转变为预测跟踪模型本身。通过教师 - 学生架构在损坏输入下学习鲁棒的模型预测，显著提升了跟踪器在未见目标和环境变化下的泛化能力。
2. OccuSolver 模块：提出了一种将点跟踪器适配为对象感知（Object-Aware）的方法，实现了细粒度的遮挡推理。它不仅能判断目标是否被遮挡，还能精确识别目标内部哪些区域可见，从而生成更高质量的参考标签。
3. 性能提升：在七个基准测试（包括 AVisT, NfS, OTB-100, GOT-10k, LaSOT, TrackingNet, VOT2022）上进行了广泛评估，证明了该方法在遮挡、变形和分布外（Out-of-Distribution）场景下的优越性。

4. 实验结果 (Results)

• 通用基准测试：
  • 在 GOT-10k 上取得了 79.6% 的平均重叠率（AO），优于 LoRAT (77.5%) 和 PiVOT (76.9%)。
  • 在 AVisT（专为恶劣可见性设计）上，成功率为 63.7%，显著优于 PiVOT (62.2%) 和 LoRAT (62.0%)。
  • 在 OTB-100 上取得了 73.2% 的成功率（SUC），排名第一。
  • 在 LaSOT 和 TrackingNet 上，归一化精度（NPr）和成功率均达到 SOTA 水平。
• 属性分析：
  • 在遮挡（Occlusion）、变形（Deformation）、背景杂乱（Background Clutter）等属性上，GOT-JEPA 表现出比基线（如 ToMP-L, PiVOT）更强的鲁棒性。
  • 特别是在 AVisT 数据集的“遮挡效果”和“目标可见性”属性上，提升显著。
• 消融实验：
  • 证明了 JEPA 预训练（特别是结合不变性损失和协方差损失）能有效提升跟踪器性能。
  • 证明了 OccuSolver 在 JEPA 预训练的基础上进一步带来了显著增益，两者结合效果最佳。
  • 验证了 Copy-Paste 数据增强在特征空间模拟遮挡的有效性。

5. 意义与影响 (Significance)

• 范式转变：该工作将跟踪学习从单纯的“特征匹配”或“分类回归”提升到了“模型预测与适应”的层面，为在线学习（Online Learning）和少样本学习（Few-Shot Learning）提供了新的思路。
• 解决遮挡难题：通过引入点级可见性估计，解决了传统跟踪器在遮挡处理上“黑盒”和“粗糙”的问题，使得跟踪器能够像人类一样推理目标的部分可见性，从而在目标重出现（Reappearance）时能更快恢复。
• 通用性与鲁棒性：该方法不依赖特定目标的训练，能够很好地泛化到未见过的场景和目标，对于实际应用中复杂多变的视频分析任务（如自动驾驶、监控）具有重要的应用价值。

总结：GOT-JEPA 通过结合预测性预训练（JEPA）和细粒度遮挡感知（OccuSolver），成功构建了一个具有高度鲁棒性和泛化能力的通用目标跟踪器，在多个权威基准测试中刷新了性能记录，特别是在处理遮挡和复杂环境方面表现卓越。