AgedNet-Motion: Training-Free Selective Task Refresh for Resource-Aware Streaming Multi-Task Perception

技术摘要：AgedNet-Motion

问题陈述
用于流式视频感知的常规多任务学习（MTL）模型（例如用于自动驾驶的模型，如 YOLOP、A-YOLOM）在每一帧视频上都会执行所有的任务特定分支。虽然这些模型共享一个通用的特征提取骨干网络以避免冗余的底层处理，但它们仍然会对每一帧重新计算每个任务头（例如目标检测、可行驶区域分割、车道线标记）。这种静态执行模式忽略了时间冗余性；相邻帧通常包含相似的信息，这意味着重新计算所有输出是计算资源的浪费。相反，如果只是简单地重用旧输出而没有智能策略，随着物体移动或场景变化，感知质量将会下降。现有的解决方案通常需要训练额外的神经预测器或修改底层的 MTL 架构，这增加了复杂性并需要新的训练数据。挑战在于开发一种资源感知、选择性执行的系统，在不修改现有 MTL 模型已训练权重或训练单独调度器的情况下，降低推理延迟并保持输出质量。

方法论：AgedNet-Motion
本文提出了 AgedNet-Motion，一种无需训练、资源感知的选择性刷新系统。该方法基于以下原则运行：

1. 架构分离： 系统将现有的 MTL 模型分离为一个通用的特征提取路径（$F$）和若干个不同的任务特定分支（$B_i$）。通用路径在每一帧上执行，而每个任务分支在初始化后，每帧仅刷新一个。
2. 时间缓存： 未被选中的任务输出通过“保持最后一次”（hold-last）策略从时间缓存中检索。系统不应用光流或变形；它只是简单地重用上一次计算的输出。
3. 无需训练的调度器： 其核心创新是一个根据两个因素决定刷新哪个任务的调度器：
   • 年龄-遗憾查找表（Age-Regret Lookup Table）： 一个源自离线校准数据的任务特定表（$L_i$）。它将输出的“年龄”（自上次刷新以来的帧数）映射到重用该输出的预期“遗憾”（质量损失）。这是通过将新鲜输出与特定参考帧的地面真值（ground truth）进行比较来计算的。
   • 运动信号： 自该任务上次刷新以来累积的累计灰度帧差（$M_i(t)$）。它捕捉了场景变化的幅度。
4. 优先级评分： 任务 $i$ 在时间 $t$ 的刷新优先级计算如下：
   $$S_i(t) = \max(L_i(\tilde{a}_i(t)), 0) \cdot (1 + w^* M_i(t))$$
   其中 $\tilde{a}_i(t)$ 是封顶后的年龄，$w^*$ 是一个标量运动权重。
5. 校准过程： 该系统不使用梯度下降。相反，它在数据集的一个校准划分集上，通过对一组预定义的运动权重集合（$W = \{0, 1, 2, 4, 8, 16\}$）进行网格搜索。它选择使跨任务的总地面真值质量最大化的权重 $w^*$。如果 $w^*=0$，则禁用了运动项，实际上退化为“仅限年龄”（Age-Only）策略。
6. 逾期保护： 为了防止任何任务出现无限期的饥饿现象，设置了一个阈值 $A_{max}$。一旦任务的年龄超过此阈值，它就会进入一个“候选集”，在该集中它将无视得分进行刷新竞争。

主要贡献

• 资源感知架构： 实现了一种流式架构，将共享特征提取与任务特定执行解耦，允许在不改变模型权重或输出结构的情况下进行选择性分支刷新。
• 无需训练的调度器： 提出了 AgedNet-Motion，它结合了经过校准的年龄-遗憾表与运动信号。它不需要额外的预测器训练，不需要梯度优化，也不需要修改基础 MTL 模型。
• 自适应校准： 证明了校准可以自动确定运动信息是否有益。对于某些模型（如 A-YOLOM），最优权重为零，即复现了仅基于时间的策略；对于其他模型（如 YOLOP），它会选择一个高权重来利用运动信息。
• 全面评估： 在 BDD100K 视频流上的三种不同 MTL 模型（YOLOP、A-YOLOM、YOLOPX）上进行了评估，包括通过 ONNX Runtime 在 GPU 上进行的部署验证。

结果
在 200 个留出的 BDD100K 视频上进行评估，相对于全刷新（每帧执行所有分支）模式，AgedNet-Motion 实现了以下效果：

• 延迟降低：
  • YOLOP： 平均模型及后处理延迟降低了 42.19%。
  • A-YOLOM： 降低了 51.54%。
  • YOLOPX： 降低了 33.24%。
• 质量性能：
  • YOLOP： 比“仅限年龄”基准线提高了 0.453 个百分点的平均地面真值（GT）质量（具有统计学显著性，95% CI > 0）。
  • A-YOLOM： 校准选择了 $w^*=0$，使策略与“仅限年龄”一致。它比“调优固定”（轮询）基准线高出 0.922 个百分点。
  • YOLOPX： 比“调优固定”高出 0.940 个百分点。与“仅限年龄”的差异在统计学上与零不可区分。
• 部署： 当通过 ONNX Runtime 在 RTX 3060 GPU 上部署时，系统保留了相对延迟降低（YOLOP 为 43.2%，A-YOLOM 为 52.3%），并保持了与原生 PyTorch 推理相当的准确度，证实了这些收益并非研究实现中的人为产物。

意义与主张
论文声称 AgedNet-Motion 提供了一种实用的机制，用于控制现有流式多任务模型的资源-质量权衡。其主要意义在于其能够：

1. 降低延迟： 通过跳过冗余的任务计算，在不重新训练感知模型的情况下显著降低推理延迟。
2. 无需训练即可自适应： 通过简单的校准自动调整其调度策略（特别是是否使用运动线索），而不是需要一个学习到的预测器。
3. 鲁棒性： 在不同的 MTL 架构中表现一致，在任何测试的模型上，其表现从未在统计学上被证实差于最强的非学习基准线（无论是“仅限年龄”还是“调优固定”）。
4. 实用性： 在生产环境中（ONNX Runtime）能够有效运行，无需复杂的动态计算图或额外的神经网络。

作者强调，该方法在“无需训练”方面的含义是：它不会训练新的调度器或修改 MTL 权重；它仅使用地面真值在离线校准阶段构建查找表并选择标量权重。