🤖 AI

Real-Time Semantic Segmentation with Optimized RetinaNet Architectures for Embedded Automotive Systems

本文介绍了 Opt-RetinaSeg，这是一种基于 RetinaNet 优化而来的语义分割架构，它采用轻量化骨干网络、精简的特征金字塔网络（FPN）以及三阶段优化流水线，旨在资源受限的嵌入式车载平台上实现实时、高精度的性能。

原作者： Sai Sidharth D

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Sai Sidharth D

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一辆汽车，它看到的不仅仅是模糊的形状，而是一张精细的地图，其中的每一个像素都清晰地知道自己是什么：行人、车道线、停止标志或是一片天空。这就是“语义分割”的梦想，它是让自动驾驶汽车做出瞬时、救命决策的超能力。但问题在于：这种视觉背后的“大脑”通常是庞大且贪婪的计算机，需要巨大的电源插座和宽敞凉爽的房间才能运行。然而，真正的汽车内部挤满了微小的、对能量极度渴求的计算机，无法承受如此繁重的任务。这个科学领域的关键问题是：我们如何在不让它们“失明”的情况下，将这些巨大的、聪明的脑袋缩小到足以装进汽车仪表盘的大小？这篇论文正是在解决这个难题，它探索了如何将一个强大的视觉系统进行“瘦身”，并使其在现代汽车中微小的芯片上实现闪电般的运行。

由 Sai Sidharth D 领导的论文作者们决定尝试一个聪明的技巧。他们采用了一个著名的计算机视觉设计——RetinaNet（最初是设计用来像鹰盯着老鼠一样识别物体的），并将其重新构思，使其能够绘制出完整的道路全景，而不仅仅是画出物体的方框。他们将这一新成果命名为 Opt-RetinaSeg。把 RetinaNet 想象成一支高端的专业摄影团队：它擅长发现目标，但由于设备沉重，动作缓慢。团队提出了疑问：“如果我们保留这支团队最好的直觉，但把他们的沉重设备换成轻便、灵活的背包呢？”

为了实现这一点，他们不仅缩小了摄影团队，还重建了整个运作流程。首先，他们用一个混合轻量化特征提取器替换了标准的、重型的“骨干网络”（即负责视觉重活的部分）。想象一下一支建筑施工队，他们使用小型、高效的无人机来扫描建筑物的简单、开阔部分，只有在需要检查复杂、棘手的角落时，才会切换到强壮、经验丰富的专业人工团队。这种混合方法在保持视觉敏锐度的同时，将系统的重量减少了约 73%。

接下来，他们重新组织了团队的沟通方式。原始设计中的“特征金字塔网络”（FPN）就像一个经理在非常高且冗余的塔楼里上下传递纸条。作者意识到，这座塔楼的高层大部分都是空的，只是在浪费能量。于是，他们砍掉了不必要的顶层并简化了信息传递，使团队沟通得更快、更少混乱。他们还调整了“损失函数”——也就是那个给学生评分的老师。在道路场景中，有数百万个属于“道路”或“天空”的像素，但属于“行人”或“交通标志”的像素却很少。旧的老师会对容易的“道路”像素感到厌倦，从而忽略那些稀有且重要的像素。新的老师使用了一种特殊的“焦点损失”（focal loss）策略，这就像一位严格的教练，专门针对那些在困难题目（稀有物体）上挣扎的学生进行纠正，确保汽车不会因为看到了太多的空旷道路就忽略了一个小小的骑行者。

但神奇之处并不止于设计。团队应用了一个三阶段的“压缩流水线”，像为旅行打包行李一样，将模型压缩得更小：

剪枝（Pruning）： 他们切掉了 40% 的“通道”（内部路径），这些路径几乎没做什么工作，就像移除高速公路上闲置的车道。
量化（Quantization）： 他们将数学运算从沉重、精确的小数（浮点数）切换到了简单、快速的整数（INT8），这类似于从高清视频流切换到清晰、高效的标准清晰度视频，加载速度极快。
知识蒸馏（Knowledge Distillation）： 这是最有趣的部分。他们让一个巨大的、超级聪明的“教师”网络（一个庞大的 ResNet-101 模型）去教导这个微小的、经过压缩的“学生”模型。学生学会了模仿老师的直觉，从而找回了在剪枝和压缩过程中可能丢失的准确性。

结果如何？当他们在真实世界的驾驶数据（来自 Cityscapes 和 BDD100K 数据集）上进行测试，并在实际的汽车硬件（NVIDIA Jetson Xavier NX 和 Qualcomm QCS610 芯片）上运行后，数据令人印象深刻。该模型在理解场景方面达到了 73.9% 的准确率（以 mIoU 衡量），同时运行速度达到了 70.4 帧每秒 (FPS)。为了让你理解，原始的沉重版本只能达到约 9.4 FPS。这意味着实现了 7.4 倍的加速！模型体积也缩小了 4 倍，使其足够小，可以装入汽车的计算机中，且几乎没有损失精度（与沉重基准相比，精度下降不到 3%）。

论文表明，这种方法证明了基于 RetinaNet 的架构在经过系统优化后，是实现实时驾驶的可行方案。他们展示了你不需要从头发明一种全新的大脑；有时，你只需要拿出一个经过验证的大脑，给它修剪一下发型，教它变得高效，然后让它在现有的汽车硬件上运行。作者指出，虽然该模型既快速又准确，但未来的工作可以包括让它对特定的汽车芯片更加感知，或者帮助它记住上一帧的内容，以减少视频中的闪烁现象。不过就目前而言，他们已经证明了一个轻量化、经过优化的视觉系统可以清晰地观察道路，其速度足以保障安全，且体积小到可以装进手套箱。

技术摘要：面向嵌入式汽车系统的优化型 RetinaNet 架构实时语义分割

问题陈述

高级驾驶辅助系统（ADAS）和自动驾驶汽车需要高密度、实时的场景理解能力，以做出安全、低延迟的决策。语义分割（即为每个像素分配类别标签）对于诸如自由空间估计和车道检测等任务至关重要。然而，最先进的分割网络通常针对高端 GPU 进行优化，无法满足嵌入式汽车电子控制单元（ECU）和系统级芯片（SoC）平台严格的延迟、内存和功耗约束。此外，汽车场景存在严重的特征前景与背景类别不平衡问题（例如，广阔的道路/天空区域与稀有的行人），以及极端的尺度变化，这对标准的检测和分割架构提出了挑战。

方法论

本文提出了 Opt-RetinaSeg，这是一种源自 RetinaNet 检测框架的语义分割架构，专门针对资源受限的嵌入式硬件进行了重构和优化。该方法由四个核心部分组成：

1. 架构设计

轻量化混合骨干网络（Hybrid Backbone）： 为了取代标准的 ResNet-50，作者构建了一个混合骨干网络。早期阶段（C2–C3）利用深度可分离卷积（depthwise-separable convolutions）来减少空间分辨率最高时的计算量。后期阶段（C4–C5）采用标准的残差瓶颈块（residual bottleneck blocks），配合全秩 3×3 卷积，以确保进行丰富的跨通道信息混合和抽象特征聚合。在每个阶段之后都插入了挤压与激励（Squeeze-and-Excitation, SE）模块，用于重新校准通道重要性。
重构特征金字塔网络（Restructured FPN）： 该分割版本的 FPN 改编自面向检测的 RetinaNet FPN，仅保留了 P2–P5 层级，丢弃了对密集像素预测贡献较小的粗糙层级（P6–P7）。FPN 使用 1×1 卷积进行侧向连接，并采用最近邻上采样结合 3×3 深度可分离卷积来抑制混叠现象，使 FPN 的计算量降低了约 35%。
紧凑型分割头（Compact Segmentation Head）： 金字塔各层级被上采样到统一分辨率（输入尺寸的 1/4），进行拼接处理，并通过两个 3×3 卷积层和一个 1×1 分类层进行处理。

2. 类平衡损失函数

为了解决道路场景中严重的像素级类别不平衡问题，作者引入了一种受 Focal Loss 启发的损失函数：
$L = -\sum_{c=1}^{C} \alpha_c (1 - p_c)^\gamma y_c \log(p_c)$

$\alpha_c$ （类别权重）： 采用剪切后的逆频率比，用于提高稀有类别（如行人、交通标志）的权重，同时通过设置剪切边界（ $\alpha_{max} = 50$ ）防止极端稀有子类导致梯度爆炸。
$\gamma$ （聚焦参数）： 设置为 2，用于降低分类良好的像素权重，迫使网络关注困难样本和稀有类别。

3. 三阶段优化流水线

为了满足嵌入式部署目标，应用了训练后压缩流水线：

结构化剪枝（Structured Pruning）： 移除 L1 范数重要性得分最低的 40% 通道，随后进行 15 个 epoch 的微调。
INT8 训练后量化（Post-Training Quantization）： 利用对训练图像子集的校准，将权重和激活值量化为 8 位整数，并利用逐通道缩放（per-channel scaling）来最小化误差。
知识蒸馏（Knowledge Distillation）： 使用分割任务损失与针对高容量 ResNet-101“教师”网络的 Kullback-Leibler (KL) 散度组合损失，对剪枝和量化后的“学生”网络进行微调，以恢复因压缩而损失的精度。

4. 部署

优化后的模型针对特定硬件进行了编译：

NVIDIA Jetson Xavier NX： 导出为 ONNX 格式，并通过 TensorRT (v8.5) 编译，用于 Volta GPU 执行。
Qualcomm QCS610： 通过 Qualcomm SNPE SDK (v2.x) 转换为 DLC 格式，用于在 Hexagon NPU 上执行。

核心贡献

Opt-RetinaSeg 架构： 一种新型分割设计，通过重新利用 RetinaNet 的 FPN 并结合混合骨干网络和解耦头，实现了计算效率与表征能力之间的平衡。
类平衡 Focal Loss： 一种专门设计的损失函数，旨在减轻汽车数据集中的极端前景-背景不平衡，且不会导致训练不稳定。
统一压缩流水线： 系统地集成了结构化剪枝、INT8 量化和知识蒸馏，证明了这些技术可以共同应用于 FPN 型分割器，且精度下降极小。
全面的嵌入式评估： 在 Cityscapes 和 BDD100K 数据集上，针对两种不同的嵌入式平台（NVIDIA GPU 和 Qualcomm NPU）进行了广泛的基准测试，提供了对现实世界部署性能的真实评估。

结果

在 Cityscapes 和 BDD100K 数据集上的评估表明，所提出的模型在精度-延迟权衡方面表现出显著提升：

性能： 最终优化后的模型在 NVIDIA Jetson Xavier NX 上实现了 73.9% mIoU 和 70.4 FPS 的性能。
效率： 与 ResNet-50 基准相比，该模型实现了 7.4 倍的推理加速，并将模型大小减少了 4 倍（从 27.4 MB 降至 7.1 MB），且精度下降不到 3%（76.8% vs. 73.9% mIoU）。
对比： Opt-RetinaSeg 在相同的硬件上，在精度和吞吐量方面均优于成熟的轻量化方法，如 BiSeNetV2（72.6% mIoU, 47.3 FPS）和 ICNet。
功耗： 在 Jetson Xavier NX 上，该模型在 15W 功耗范围内运行（实测为 11.8W），在持续负载下未出现热节流现象。

意义与主张

本文主张，当经过系统性的重构和优化时，源自 RetinaNet 的架构可以成为实时语义分割在嵌入式汽车感知流水线中的可行候选方案。这项工作证明，实现具有竞争力的精度（接近沉重的 ResNet-50 基准）的同时，满足汽车 ECU 严格的延迟和功耗预算是可能的。作者将该方法定位为一种实用的解决方案，用于在当前一代汽车 SoC 上部署密集像素级预测，填补了高精度研究模型与生产级嵌入式系统之间的鸿沟。未来的工作方向包括探索硬件感知的神经架构搜索、视频流的时间一致性，以及联合检测与分割的多任务头。