Enhancing Predictability of Multi-Tenant DNN Inference for Autonomous Vehicles' Perception

这是一篇关于提升自动驾驶汽车（AV）多租户深度神经网络（DNN）推理预测性的研究论文。以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

自动驾驶汽车的感知流水线依赖于多个深度神经网络（如目标检测、语义分割、车道线检测）同时运行，这种“多租户”（Multi-tenant）模式对实时性和准确性提出了极高要求。

核心挑战在于：

• 计算资源与需求之间的矛盾： 高精度的DNN模型计算量巨大，而车载计算资源有限。
• 缺乏预测性（Predictability）：
  • 时间预测性（Temporal Predictability）： 由于不同任务的输入尺寸（ROI）变化以及多任务并发导致的调度冲突，感知结果的融合延迟（Fusion Delay）波动巨大，难以保证在硬实时截止日期前完成。
  • 功能预测性（Functional Predictability）： 现有的模型压缩技术（如剪枝、量化）往往会牺牲精度，这在安全敏感的自动驾驶场景中是不可接受的。
• 现有研究的局限： 现有工作大多专注于优化单个DNN的推理速度，而忽略了多任务并发下的融合延迟问题，且未能兼顾精度与实时性的平衡。

2. 核心方法论 (Methodology)

论文提出了 PP-DNN (Predictable Perception system with DNNs)，其核心思想是：通过动态选择“关键帧”和“感兴趣区域（ROI）”，在不损失精度的前提下，减少需要处理的图像数据量。

该系统由以下四个关键组件构成：

• ROI 生成器 (ROI Generator)：
  • 关键帧识别： 利用像素级结构相似性（SSIM）检测图像变化，结合轻量级目标跟踪器（基于DeepSort和YOLOv4-tiny）检测物体运动，并结合交通场景（如高速公路 vs 市区）动态判断当前帧是否为关键帧。
  • 动态ROI选择： 不再使用覆盖全图的大型ROI，而是根据检测到的物体，生成一个或多个紧凑的ROI（Multi-ROIs），从而显著减小输入图像尺寸。
• FLOPs 预测器 (FLOPs Predictor)：
  • 由于ROI尺寸是动态变化的，推理时间也会随之波动。该预测器通过建立输入尺寸与乘加运算量（MACs/FLOPs）之间的非线性关系模型，预估不同ROI的计算成本。
• 任务协调器 (Task Coordinator)：
  • ROI调度器 (ROI Scheduler)： 根据FLOPs预测结果，为每个感知任务选择最优的ROI配置（单ROI或多ROI），以最小化计算量。
  • 帧调度器 (Frame Scheduler)： 监控各任务的延迟。如果某个任务已错过截止日期，则优先处理该任务；如果任务延迟过高，则跳过过时的帧，以减少融合延迟并防止数据堆积。
• 检测预测器 (Detection Predictor)：
  • 为了填补非关键帧之间的感知空白，该模块利用时间局部性（Temporal Locality）进行预测。
  • 框预测（Box Predictor）： 基于跟踪结果更新边界框。
  • 分割预测（Segmentation Predictor）： 基于物体运动速度，通过速度补偿机制动态更新语义分割的像素状态。

3. 主要贡献 (Key Contributions)

1. 新视角： 提出通过动态调整关键帧和ROI来平衡感知精度与计算效率，而非单纯压缩模型。
2. 系统设计： 设计了一套完整的、面向多租户环境的预测性感知框架，解决了动态输入导致的推理时间波动问题。
3. 解耦机制： 通过检测预测器将“实际检测”与“结果发布”解耦，使得系统能以高频率（如30 FPS）输出感知结果，即使实际推理频率较低。
4. 端到端实现： 在基于ROS（机器人操作系统）的流水线中实现了该系统，并利用真实世界的自动驾驶数据集（BDD100K, nuScenes）进行了验证。

4. 实验结果 (Results)

通过在 BDD100K 和 nuScenes 数据集上的评估，PP-DNN 表现出显著的性能提升：

• 提升融合帧数： 在 BDD100K 上，融合帧数量提升了高达 7.3倍；在 nuScenes 上提升了 2.3倍。
• 降低延迟与波动： 融合延迟降低了 >2.6倍，融合延迟的变化范围（波动）降低了 >2.3倍。
• 提高检测完整性： 在 nuScenes 数据集上，目标检测的完整性提升了 75.4%。
• 极高的成本效益（Cost-effectiveness）： 在 BDD100K 上，综合考虑延迟与精度的成本效益比提升了 98%。
• 开销可控： 系统仅引入了约 20% 的 CPU 和 39.3% 的 GPU 内存消耗，属于可接受的范围。

5. 研究意义 (Significance)

该研究为自动驾驶感知系统的设计提供了一种全新的思路：从“处理所有数据”转向“智能处理关键数据”。通过引入环境感知（Environment-aware）的动态调度机制，PP-DNN 成功解决了多任务并发环境下的时间预测性和功能预测性难题。这对于提升自动驾驶汽车在复杂动态环境下的实时响应能力和安全性具有重要的工程应用价值。