🤖 AI

RELO: Reinforcement Learning to Localize for Visual Object Tracking

本文介绍了RELO，一种视觉目标跟踪方法，该方法用基于强化学习的定位策略取代了手工设计的空间先验，该策略针对IoU和AUC等直接指标进行了优化，同时融合了层对齐的时序令牌传播，以实现最先进的性能。

原作者： Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在拥挤且移动的游行队伍中找到一位特定的朋友。每隔几秒，镜头就会放大到人群的新区域，而你必须指出朋友的确切位置。

旧方法：遵循“猜测地图”
长期以来，试图完成这一任务的计算机程序（称为“视觉跟踪器”）依赖于预先制作的“猜测地图”。这就像由人类设计师绘制的热力图。地图会说明：“目标最有可能位于正中心，随着你向四周移动，概率会像钟形曲线一样逐渐降低。”

计算机的工作仅仅是让它的猜测尽可能贴近这张预先绘制好的地图。问题在于？这张地图只是人类的猜测。它并不真正关心计算机是否擅长找到目标；它只关心计算机是否擅长匹配这张图。如果目标移动得奇怪或看起来不同，地图可能是错的，但计算机仍会试图去匹配这张地图。

新方法：RELO（“试错”学习者）
这篇论文介绍了RELO，一种摒弃了预先绘制地图的新方法。相反，它将寻找目标的过程视为一种结合强化学习（RL）的“冷热”游戏。

以下是 RELO 的工作原理，使用简单的类比：

游戏棋盘：想象视频帧是一个巨大的国际象棋棋盘。棋盘上的每一个方格都代表朋友可能所在的潜在位置。
玩家：计算机是一名玩家，它必须在每一帧视频中挑选棋盘上的一个方格。
得分（奖励）：计算机不是检查玩家是否选择了“中心”方格，而是根据它实际找到目标的程度来获得分数。
- 如果它选择的框完美覆盖了目标，它会获得高分（就像获得一枚“金星”）。
- 如果它错过了，它会获得低分。
- 如果它能在整个视频中保持锁定目标，而不仅仅是一秒钟，它还会获得额外奖励。
在做中学：计算机尝试不同的方格。当它选择一个导致高分的方格时，它会记住：“嘿，那个位置有效！”当它选择一个糟糕的位置时，它会学到：“避开那里。”随着时间的推移，它不再基于人类的地图进行猜测，而是基于实际能发现目标的方法进行猜测。

秘诀：“层对齐”记忆
为了确保计算机在视频从一帧切换到下一帧时不会感到困惑，RELO 使用了一种特殊的记忆技巧。

想象你在看电影。如果你要将一张纸条从上一个场景传递到下一个场景，你希望这张纸条处于相同级别的“细节”上。

旧方法：一些系统会从上一个场景的末尾提取一张非常详细的纸条，并试图将其粘贴到新场景的最开始。这就像试图将一张高清照片塞进一本小小的素描本里；细节无法匹配。
RELO 的方法：RELO 传递的纸条完美匹配。详细的纸条被传递到新场景的复杂部分；简单的纸条被传递到简单的部分。这在不拖慢计算机速度的情况下保持了故事的一致性。

结果
作者在许多不同的视频挑战中，将这种新的“游戏化”方法与旧的“遵循地图”方法进行了测试。

更高的准确性：RELO 更准确地找到了目标，特别是在目标看起来与初始状态截然不同的棘手情况下（例如，人物更换了衣服或光线发生了变化）。
速度：它的速度足以在标准计算机芯片上实时运行。
无需模板更新：与某些需要在视频进行中不断重新学习目标外观的方法不同，RELO 能够在不需要不断更新其目标“记忆”的情况下表现出色。

总结
RELO 改变了游戏规则。它不再教导计算机去遵循人类绘制的关于目标应该在哪里出现的地图，而是教导计算机通过玩游戏、犯错以及因成功而获得奖励，来学习目标实际在哪里。论文声称，这种“奖励驱动”的方法比旧的“先验驱动”方法是一种更智能、更灵活的视频目标跟踪方式。

技术摘要：RELO - 用于视觉目标跟踪的强化学习定位

1. 问题陈述

视觉目标跟踪旨在根据目标在第一帧中的初始化信息，估计其在整个视频序列中的状态（主要是位置）。尽管现代判别式跟踪器，特别是基于孪生网络和 Transformer 的跟踪器，已取得了强大的实证性能，但它们严重依赖手工设计的空间先验进行定位。

这些先验通常采取基于中心的热点图或基于角点的概率分布形式。该论文指出了这种方法存在一个根本性的概念局限：

代理监督：监督信号（例如，以目标为中心的 Gaussian 热点图）仅与跟踪的实际目标间接相关。
指标不对齐：这些先验并未直接优化标准的评估指标，如交并比（IoU）或成功曲线下的面积（AUC）。
启发式假设：这些先验的设计引入了额外的假设（例如，二值掩膜或 Gaussian 平滑），这些假设并非跟踪任务所固有，并可能导致性能依赖于启发式设计选择。

作者提出的核心问题是：跟踪器能否在不依赖这些手工设计的空间先验的情况下，直接从面向任务的反馈中学习定位目标。

2. 方法：RELO

作者提出了RELO（REinforcement-learning-to-LOcalize，强化学习定位），该方法将目标定位重新表述为搜索区域空间特征图上的马尔可夫决策过程（MDP）。

2.1. MDP 形式化

状态：通过单流 Transformer 编码器从时间 $t$ 的搜索帧中提取的空间特征图 $F^{(t)} \in \mathbb{R}^{H \times W \times C}$ 。
动作空间：特征图上的每个空间位置 $(i, j)$ 被视为一个候选动作 $a_{ij}$ 。
策略：定位策略 $\pi$ 学习选择有前景的动作。对于给定状态，策略输出空间位置上的分类分布。
回归头：对于每个采样的动作，一个回归头预测相应的边界框。
奖励：策略不使用拟合代理标签，而是利用直接源自跟踪指标的奖励进行优化。奖励 $r^{(t)}$ $r^{(t)}$ 结合了：
1. 帧级 IoU：对当前帧定位准确性的即时反馈。
2. 序列级 AUC：对视频片段中采样轨迹的评估，以鼓励长期一致性。

2.2. 优化策略

RELO 采用Actor-Critic框架来优化定位策略：

Actor（策略头）：输出定义动作分布的 logits。它利用优势函数进行更新，以最大化预期奖励。
Critic（价值头）：预测给定状态的预期未来奖励（价值），以减少策略梯度更新中的方差。
损失函数：总损失结合了策略损失（按优势加权）和价值回归损失。

2.3. 关键技术组件

为确保稳定性和有效性，RELO 集成了两种特定机制：

回归预热阶段：
从头开始的直接 RL 优化是不稳定的，因为采样的空间动作仅当对应的框预测有意义时才有用。作者引入了一个预热阶段，在此阶段模型仅使用广义 IoU 和 $\ell_1$ 损失在真实位置（ground-truth location）上进行监督。这教会了模型如何从局部特征回归一个框，然后策略才学习看向何处。在此阶段学到的权重在随后的 RL 阶段中被冻结。
层对齐的时间 Token 传播：
为了以最小的开销维持帧间的语义一致性，RELO 传播时间 Token。与以往将前一帧的深层 Token 注入当前帧浅层（导致语义不匹配）的方法不同，RELO 采用层对齐策略。在帧 $t-1$ 的第 $l$ 层生成的时间 Token 仅传播到帧 $t$ 的第 $l$ 层。这在保留编码器层次结构的同时，实现了跨帧信息交换。

3. 主要贡献

该论文概述了三个主要贡献：

形式化：将视觉跟踪中的目标定位重新表述为马尔可夫决策过程，并在 RELO 中具体实现，消除了对手工设计空间先验的需求。
训练策略：引入了一种实用的训练流程，包含用于稳定性的回归预热阶段和用于语义一致性的层对齐时间 Token 传播机制。
验证：大量实验表明，通过 RL 直接优化面向任务的奖励（IoU 和 AUC）提供了一种强有力的替代传统先验驱动定位的方法，并取得了最先进的结果。

4. 实验结果

RELO 在七个标准基准（LaSOT, LaSOText, TrackingNet, GOT-10k, TNL2K, NFS, UAV123）上针对近期最先进的跟踪器进行了评估。

性能：RELO 在多个基准上取得了优越的结果。
- LaSOT：RELO-L256 达到了 75.1% AUC（无模板更新），在大型跟踪器中排名第一。
- LaSOText：RELO 达到了 57.5% AUC，显著优于 prior 方法。作者指出该基准测试跨类别泛化能力，表明 RELO 对外观变化和类别偏移具有更强的鲁棒性。
- 短期跟踪：在 TrackingNet 和 GOT-10k 上，RELO 变体在基础尺寸和大型尺寸类别中均排名第一，超越了具有复杂时间设计的方法。
效率：RELO 在 GPU 上保持实时推理速度。例如，RELO-T256 在 NVIDIA RTX 4090 上运行速度为 91 FPS，同时实现了具有竞争力的精度。
消融研究：
- 将 RL 目标替换为先验驱动训练（角点、中心或 IoU 热点图）导致性能下降，证实了奖励驱动学习的优越性。
- 移除序列级 AUC 奖励导致性能显著下降，突显了长视野监督的重要性。
- 层对齐传播策略在不增加额外计算成本的情况下，提供了相对于深层到浅层传播的一致改进。

5. 意义与主张

该论文主张，RELO 验证了奖励驱动定位是先验驱动定位的有效替代方案。

训练与评估的对齐：通过直接针对 IoU 和 AUC 进行优化，RELO 将训练目标与评估指标对齐，消除了由代理监督引起的脱节。
泛化能力：在 LaSOText 上的显著收益表明，与依赖固定空间先验的方法相比，学习到的策略对分布偏移和外观变化具有更强的鲁棒性。
范式转变：作者认为，跟踪的瓶颈不仅在于更好的骨干网络或时间预训练，还在于用于学习定位何处的监督信号。RELO 表明，摒弃手工先验而采用面向任务的探索，能在长期和短期跟踪场景中带来一致的改进。

作者承认了局限性，指出当前的奖励（IoU/AUC）未能完全捕捉严重遮挡或目标消失等复杂场景，且当前范围仅限于单目标、单相机跟踪。然而，他们提出奖励驱动框架与各种跟踪范式兼容，未来可扩展到多目标设置和更广泛的系统级控制决策。