SCATR: Mitigating New Instance Suppression in LiDAR-based Tracking-by-Attention via Second Chance Assignment and Track Query Dropout

本文提出了 SCATR 模型，通过引入“二次分配”和“轨迹查询丢弃”两种架构无关的训练策略，有效缓解了基于 LiDAR 的跟踪 - 注意力框架中的新实例抑制问题，从而在 nuScenes 基准上实现了最先进的性能并显著缩小了其与检测 - 跟踪方法的差距。

要点

这篇论文介绍了一个名为 SCATR 的新系统，它的任务是让自动驾驶汽车“看”得更准、跟得更稳。

为了让你轻松理解，我们可以把自动驾驶汽车想象成一位在拥挤集市里寻找特定人群的“侦探”。

1. 之前的困境：侦探的“健忘症”

在自动驾驶的世界里，有两种主要的“侦探”流派：

• 流派 A（传统派 - TBD）： 这位侦探每走一步，就停下来仔细扫描周围，把看到的所有人（物体）都列个清单，然后再把清单里的人连成线，看看谁是谁。
  • 优点： 只要眼睛好，基本不会漏掉人。
  • 缺点： 动作慢，而且如果第一步看错了，后面全错（误差会像滚雪球一样变大）。
• 流派 B（新派 - TBA，即本文的主角）： 这位侦探手里拿着一个“记忆名单”（Track Queries）。他不需要每次都重新扫描所有人，而是盯着名单上的人，问：“嘿，张三还在吗？李四去哪了？”同时，他也用余光扫视有没有新出现的人。
  • 优点： 动作快，能利用时间记忆，非常流畅。
  • 缺点（也是本文要解决的问题）： 它太依赖“记忆”了，导致它经常“看不见”新人。

这就是所谓的“新实例抑制”（New Instance Suppression）问题：
想象一下，侦探手里紧紧抓着“张三”的名单。当“王五”突然从拐角跑出来时，侦探的大脑被“张三”占满了，潜意识里觉得：“哦，既然我有名单，那新出现的人肯定不重要，或者是我的幻觉。”于是，他直接忽略了新出现的“王五”。

在自动驾驶中，这意味着车子可能看不见突然冲出来的行人或车辆，非常危险。

2. SCATR 的解决方案：给侦探开“小灶”

SCATR 并没有给侦探换一副更贵的眼镜（没有增加复杂的硬件或巨大的模型），而是给侦探设计了两套特殊的训练方法，让他学会如何平衡“老熟人”和“新面孔”。

方法一：给“记忆名单”放个假（Track Query Dropout）

• 比喻： 想象侦探手里有 10 个“记忆名单”（比如张三、李四、王五...）。在训练时，SCATR 会故意把其中几个名单（比如张三的名单）从侦探手里抽走，让他“失忆”。
• 效果： 当侦探发现“张三”的名单不见了，但他明明看到张三还在旁边时，他被迫不能只依赖记忆，必须重新用眼睛去扫描，用“余光”（Proposal Queries）去发现张三。
• 目的： 这强迫侦探学会：即使手里没有名单，也要有能力发现新出现的人，或者重新发现那些“断联”的人。这大大增强了侦探的抗干扰能力。

方法二：给“新人”第二次面试机会（Second Chance Assignment）

• 比喻： 在传统的训练里，只有“新面孔”（Proposal Queries）才有资格去认领新出现的人。如果“记忆名单”（Track Queries）里的人没被分配任务，它们就被扔在一边，毫无用处。
• SCATR 的做法： 它告诉侦探：“嘿，如果你手里的‘记忆名单’（Track Queries）里有人没被分配任务，别扔了！ 把这些名单也拿过来，和新面孔的名单混在一起，一起去认领那些还没被发现的‘新人’。”
• 效果： 这就像给那些原本被闲置的“老员工”（Track Queries）发了一个复活卡。如果它们能认出那个“新人”，就给它一个机会。
• 目的： 解决了“新人”很难被发现的难题。因为有时候，“老员工”对某个物体的特征记得很清楚，比“新面孔”的猜测更准。这大大减少了漏报（False Negatives）。

3. 成果如何？

经过这种“特训”后，SCATR 这位侦探的表现令人震惊：

1. 不再漏人： 它成功解决了“看不见新人”的老大难问题，漏报率大幅下降。
2. 追得更准： 它不仅能认出新人，还能把同一个人（比如一辆车）在几秒钟内认得死死的，不会把“张三”错认成“李四”（ID Switches 大幅减少）。
3. 超越传统： 以前，这种“记忆流”派（TBA）总是比不过“扫描流”派（TBD）。但现在，SCATR 在测试中追平了甚至超越了传统的最强派别，证明了只要训练方法得当，不需要堆砌复杂的硬件也能达到顶尖水平。

总结

简单来说，SCATR 就像是一个聪明的教练。它发现自动驾驶的 AI 侦探太依赖“老经验”而忽略了“新情况”。于是，教练通过故意制造“失忆”场景和给老员工“二次上岗”的机会，训练出了一个既记得住老朋友、又看得清新面孔的超级侦探。

这让自动驾驶汽车在复杂的城市道路上，能更安全、更流畅地识别和跟踪周围的车辆与行人。

技术摘要

SCATR 论文技术总结

1. 研究背景与问题定义

背景：
在自动驾驶和机器人领域，多目标跟踪（MOT）至关重要。传统的**基于检测的跟踪（Tracking-by-Detection, TBD）**方法将检测与关联解耦，在 LiDAR 系统中表现优异（如 CenterPoint + SimpleTrack）。然而，**基于注意力的跟踪（Tracking-by-Attention, TBA）**作为一种端到端的联合检测与跟踪（JDT）范式，虽然在视觉领域（如 Sparse4Dv3）取得了成功，但在 LiDAR 领域却长期表现不佳，与 TBD 方法存在显著的性能差距。

核心问题：新实例抑制（New Instance Suppression）
LiDAR 基于 TBA 的方法面临一个根本性挑战：新实例抑制。

• 现象： 在序列的第一帧之后，模型倾向于抑制那些检测新出现物体（Newborn objects）的提议查询（Proposal Queries），即使这些提议是高质量的检测。
• 原因： 在 TBA 架构中，跟踪查询（Track Queries）负责维持已有轨迹，而提议查询负责初始化新轨迹。由于新实例出现的频率较低，模型在学习过程中倾向于过度依赖跟踪查询，导致提议查询对新物体的置信度大幅下降。这造成了检测任务与跟踪任务之间的内在冲突，导致大量的**假阴性（False Negatives）**错误。
• 后果： 现有的 LiDAR-TBA 方法（如 JDT3D, MotionTrack）在 AMOTA 等指标上远逊于传统的 TBD 基线。

2. 方法论 (SCATR)

为了解决上述问题，作者提出了 SCATR（Second Chance Assignment and Track Query Dropout），一种针对 LiDAR 数据特性设计的新型 TBA 框架。SCATR 并不依赖复杂的架构堆叠，而是通过两种架构无关的训练策略来系统性地缓解新实例抑制问题。

2.1 核心架构

SCATR 采用两阶段时序 Transformer 解码器架构：

1. 检测解码器（Detection Decoder）： 仅使用当前帧的提议查询（Proposal Queries）进行初始物体检测，专注于空间定位。
2. 跟踪解码器（Track Decoder）： 将上一帧传播下来的高置信度跟踪查询（Track Queries）与当前帧的高置信度提议查询拼接，进行自注意力和交叉注意力计算，以建模时序关联和物体持久性。

2.2 关键创新策略

A. 二次分配机制 (Second Chance Assignment)

• 目的： 缓解检测与跟踪任务间的监督不平衡，解决新实例抑制。
• 机制： 在传统的二分图匹配（Hungarian Matching）中，未分配的跟踪查询（Unassigned Track Queries）通常被丢弃。SCATR 将这些未分配的跟踪查询与提议查询拼接在一起，共同作为候选集，去匹配未分配的 ground truth 物体。
• 效果：
  • 赋予未分配的跟踪查询“第二次机会”去检测新物体或重新分配给丢失的物体。
  • 确保跟踪查询不仅学习“延续轨迹”，也学习“初始化轨迹”，从而减少对提议查询的过度依赖，降低假阴性率。

B. 跟踪查询 Dropout (Track Query Dropout)

• 目的： 增强模型对查询缺失或切换的鲁棒性，解决新实例抑制中的置信度问题。
• 机制： 受 Group-DETR 启发，在训练过程中，除了默认的跟踪查询组（Top-N 高置信度查询）外，随机采样构建辅助跟踪查询组。在传播到下一帧时，随机丢弃部分已分配的跟踪查询。
• 效果：
  • 强制模型学习在特定跟踪查询缺失的情况下，如何正确地将目标分配给提议查询（例如，当 Track Query A 被丢弃时，模型必须学会信任 Proposal Query Y 来检测该车辆）。
  • 打破了模型对特定跟踪查询的过度依赖，使解码器能够适应多样化的时序场景（如遮挡导致的检测丢失）。

3. 主要贡献

1. 提出了 SCATR 模型： 首个在 nuScenes 基准测试中显著缩小 LiDAR-TBA 与 TBD 性能差距的框架。
2. 两种创新训练策略：
   • Second Chance Assignment： 通过重新利用未分配的跟踪查询，有效解决了新实例抑制问题，平衡了检测与跟踪的监督信号。
   • Track Query Dropout： 通过模拟查询丢失场景，提升了模型对遮挡和新物体出现的鲁棒性。
3. 架构无关性： 这两种策略可以灵活集成到现有的 TBA 架构中，无需大幅增加模型复杂度。
4. 通用性验证： 消融实验证明，这些策略不仅适用于 LiDAR，也能显著提升基于视觉的 TBA 方法性能。

4. 实验结果

在 nuScenes 数据集（测试集和验证集）上的实验结果表明：

• 性能突破： SCATR 在 LiDAR-TBA 方法中达到了 SOTA（State-of-the-Art） 水平。
  • 在测试集上，相比之前的 SOTA TBA 方法 JDT3D，AMOTA 提升了 7.6%。
  • 在验证集上，AMOTA 提升了 6.6%，mAP 提升了 24.6%。
• 缩小差距： SCATR 成功缩小了 LiDAR-TBA 与传统 TBD 方法（如 CenterPoint + SimpleTrack）之间的长期性能差距。
• 关键指标改善：
  • 假阴性（FN）： 显著减少（验证集上减少了 26%），直接证明了新实例抑制问题的缓解。
  • ID 切换（IDS）： 相比 TBD 方法减少了 69.1%，表明端到端跟踪在身份一致性上具有巨大优势。
• 消融实验：
  • 单独使用“二次分配”即可大幅降低 FN 和 IDS。
  • 单独使用"Track Query Dropout"效果有限，但两者结合效果最佳。
  • 证明了监督信号的一致性（即强制跟踪查询与物体实例的对应关系）对于 LiDAR TBA 至关重要。

5. 意义与展望

• 理论意义： 揭示了 LiDAR-TBA 性能瓶颈并非源于架构本身，而是源于训练策略中的监督不平衡和新实例抑制。证明了通过精心设计的训练策略（而非单纯增加模型复杂度）可以解决这一根本问题。
• 应用价值： SCATR 提供了一种高效、端到端的 LiDAR 跟踪方案，具有更少的假阴性错误和更高的身份一致性，非常适合自动驾驶等对实时性和安全性要求极高的场景。
• 未来方向： 为未来的多模态融合（LiDAR + Camera）和更复杂的场景（拥挤、遮挡）下的端到端跟踪系统奠定了基础。

总结： SCATR 通过“二次分配”和“查询 Dropout"两项核心创新，成功攻克了 LiDAR 基于注意力跟踪中的新实例抑制难题，不仅刷新了 LiDAR-TBA 的性能记录，更证明了端到端跟踪方法在 LiDAR 领域具备与成熟 TBD 方法相抗衡甚至超越的潜力。