⚡ electrical engineering

Uncertainty in Real-Time Semantic Segmentation on Embedded Systems

本文提出了一种结合预训练模型深度特征提取、贝叶斯回归与矩传播的方法，旨在解决嵌入式系统上实时语义分割模型缺乏不确定性推理的问题，从而在保持预测性能的同时实现实时的有意义认知不确定性估计。

原作者： Ethan Goan, Clinton Fookes

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Ethan Goan, Clinton Fookes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个非常实际的问题：如何让安装在小型设备（如自动驾驶汽车、机器人）上的“智能眼睛”（语义分割模型），在快速识别物体的同时，还能诚实地告诉人类“我有多确定我看对了”。

为了让你更容易理解，我们可以把这篇论文的研究内容想象成给一个忙碌的“外卖骑手”配备了一个“自我怀疑助手”。

1. 背景：骑手的困境

想象一下，你有一个非常聪明的外卖骑手（这就是深度学习模型），他能在几秒钟内把街道上的车、人、树都认出来（这就是语义分割）。

现状：现在的骑手跑得很快（实时性），但他有个毛病：他太自信了。即使他站在雾里看不清，或者面对一个从未见过的奇怪物体，他也会毫不犹豫地指着一个东西说：“这是车！”
问题：在自动驾驶或机器人领域，这种“盲目自信”是危险的。如果系统不知道它哪里看错了，一旦出错就是灾难。
难点：传统的“自我怀疑”方法（比如让骑手反复看十次同一个东西来确认）太慢了，而且太费脑子（计算量太大），根本没法在小型的嵌入式设备（骑手的头盔电脑）上实时运行。

2. 核心方案：给骑手配个“轻量级助手”

作者提出了一种新方法，就像给骑手配了一个轻量级的“自我怀疑助手”。这个助手不需要骑手停下来反复思考，而是通过一种巧妙的数学技巧，在骑手跑路的瞬间就能算出“不确定性”。

这个方案由三个部分组成：

A. 固定的“老练向导” (确定性特征提取器)

比喻：骑手本身已经非常熟练了，他脑子里的地图（预训练好的神经网络）是固定的。他负责快速识别“那是棵树”、“那是辆车”。这部分不需要变，保持高速。
作用：负责干脏活累活，提取图像特征，保证速度。

B. 聪明的“概率计算器” (贝叶斯回归模块)

比喻：这是那个新加入的“助手”。它不重新教骑手认路，而是专门盯着骑手最后做决定的那一步。
创新点：传统的“自我怀疑”需要骑手把路走十遍（蒙特卡洛采样），太慢了。这个助手用了一种叫**“矩传播” (Moment Propagation)** 的数学技巧。
- 通俗解释：想象骑手说：“我觉得那是辆车，概率是 80%，但我有点不确定，可能是 70% 到 90% 之间。”助手不需要让骑手跑十次，而是直接根据骑手之前的经验（训练数据），用一套简单的公式（高斯分布），瞬间算出这个“不确定范围”是多少。
- 好处：不需要额外的计算资源，瞬间完成。

C. 两种“怀疑” (两种不确定性)

这个助手能告诉骑手两种不同类型的“不确定”：

认知不确定性 (Epistemic Uncertainty)：
- 比喻：“我没见过这种东西，所以我不知道它是什么。”
- 场景：比如路上出现了一个从未见过的奇怪雕塑。助手会标记这里“我很困惑，不确定”。这通常发生在物体边缘或未知物体上。
偶然不确定性 (Aleatoric Uncertainty)：
- 比喻：“这东西太模糊/太乱了，就算我见过，我也看不清。”
- 场景：比如大雾天、雨夜，或者物体被遮挡。助手会标记这里“数据本身太吵了，看不清”。

3. 实验结果：既快又准

作者把这个“助手”装在了各种现有的模型（如 BiSeNet, ENet 等）上，并放在了NVIDIA Jetson（一种常用于机器人的小型电脑）上测试。

速度：虽然加了助手，速度稍微慢了一点点（比如从每秒 68 帧降到 57 帧），但依然非常快，完全满足实时要求（比如自动驾驶需要 30 帧以上）。
准确度：骑手的识别能力（准确率）几乎没有下降。
可视化：
- 在生成的图像中，绿色代表“我很确定”（低不确定性）。
- 红色代表“我很困惑”（高不确定性）。
- 你会发现，红色区域通常出现在物体的边缘（因为边缘最难认）或者模糊不清的地方。这非常符合人类的直觉！

4. 总结：为什么这很重要？

这就好比给自动驾驶汽车装上了一个**“诚实的仪表盘”**。
以前，车只能告诉你：“前面有个人。”（但它可能看错了，或者其实是个塑料袋）。
现在，车不仅能告诉你：“前面有个人”，还能告诉你：“前面有个人，但我只有 60% 的把握，因为光线太暗了，请小心驾驶。”

这篇论文的贡献在于：
它打破了“要准确就要慢，要快就不敢怀疑”的魔咒。它证明了在资源受限的小型设备上，我们完全可以实现**“既跑得快，又懂得自我怀疑”**的实时智能系统。这对于未来的自动驾驶、医疗机器人和人机交互来说，是迈向安全、可靠的关键一步。

以下是基于论文《Uncertainty in Real-Time Semantic Segmentation on Embedded Systems》（嵌入式系统上实时语义分割的不确定性）的详细技术总结：

1. 研究背景与问题 (Problem)

应用场景需求：语义分割模型在自动驾驶、机器人和人机交互等安全关键领域需要实时预测能力。
核心挑战：
1. 硬件限制：这些应用通常运行在资源受限的嵌入式设备（如边缘计算设备）上，计算能力有限。
2. 不确定性缺失：现有的实时语义分割模型虽然速度快，但无法有效推理预测中的不确定性（Uncertainty）。在安全关键场景中，缺乏不确定性信息可能导致灾难性后果。
3. 现有方法的局限性：
  - 贝叶斯推断（如蒙特卡洛 Dropout）：需要多次前向传播或采样，计算开销巨大，无法满足实时性要求。
  - 确定性方法：无法充分推理预测时的认知不确定性（Epistemic Uncertainty）。
  - 高斯过程（GP）：虽然能处理不确定性，但其计算复杂度随训练样本量呈立方级增长，难以应用于高分辨率图像分割。
目标：在嵌入式硬件上实现实时的语义分割，同时提供有意义的认知不确定性和偶然不确定性（Aleatoric Uncertainty）度量，且计算开销最小。

2. 方法论 (Methodology)

论文提出了一种轻量级的混合架构，结合了确定性特征提取与概率回归，利用矩传播（Moment Propagation）和期望传播（Expectation Propagation, EP）技术。

2.1 模型架构

模型被分为两个阶段：

确定性特征提取阶段：使用预训练的深度学习网络（如 ENet, BiSeNet, PIDNet 等）作为特征提取器 $f(x; \theta)$ 。该部分的参数 $\theta$ 是固定的，不进行概率推断，以保留实时性。
概率分类阶段：将原网络的最后线性层替换为一个概率层。该层参数 $\omega$ $ω$ 被视为随机变量，用于生成预测的对数几率（logits） $\alpha$ $α$ 。
- 公式： $\alpha = \Phi(x)\omega$ ，其中 $\Phi(x)$ 是由固定网络生成的设计矩阵。

2.2 推断策略 (Inference)

对角 SWAG 近似：为了在 Logit 空间进行推断，作者采用对角 SWAG（Stochastic Weight Averaging-Gaussian）方法。
- 利用预训练网络的最后卷积层权重作为后验均值 $\bar{\omega}$ 。
- 通过 SGD 迭代计算权重的经验方差，构建对角协方差矩阵 $\Sigma_{diag}$ 。
- 假设后验分布为因子化的高斯分布，避免了全协方差矩阵的计算，大幅降低内存和计算需求。
矩传播与 EPSoftmax：
- 由于 Softmax 函数是非线性的，无法直接得到精确的解析解。
- 利用矩传播技术，结合对数正态分布（Log-Normal）的性质，近似计算 Softmax 输出的一阶矩（均值）和二阶矩（方差）。
- 提出了 EPSoftmax 层，将高斯分布的 Logits 转换为近似的类别概率分布，从而能够解析地计算最终预测的均值和方差。

2.3 不确定性度量

基于上述概率分布，论文定义了两种不确定性：

认知不确定性 (Epistemic Uncertainty)：源于模型参数的不确定性。通过预测 Logits 空间或最终概率空间的熵（Entropy）来衡量。高熵表示模型对该区域缺乏信心（通常出现在物体边缘或未知区域）。
偶然不确定性 (Aleatoric Uncertainty)：源于数据本身的噪声或模糊性。通过最终分类分布的熵来近似，通常集中在物体边界或模糊区域。
类别条件不确定性：针对特定类别（如“行人”或“车辆”）计算方差，用于识别特定安全关键对象的不确定性。

3. 主要贡献 (Key Contributions)

轻量级不确定性方法：提出了一种结合矩传播的贝叶斯方法，能够在嵌入式设备上实现实时的语义分割不确定性量化。
实时不确定性指标：开发了有意义的实时偶然不确定性和认知不确定性指标，并探讨了它们如何指导终端用户和决策协议。
即插即用适配性：证明了该方法可以轻松适配现有的预训练实时分割模型（如 ENet, BiSeNet, PIDNet），无需重新训练整个网络，仅需微调最后一层。
嵌入式验证：在 NVIDIA Jetson AGX Xavier 等嵌入式硬件上进行了全面验证，证明了在保持预测性能的同时，能够实时输出不确定性信息。

4. 实验结果 (Results)

实验设置：在 NVIDIA Jetson AGX Xavier 上测试，数据集包括 CityScapes, CamVid, ADE20k 和 CoCoStuff。
性能表现：
- 精度：引入不确定性机制后的模型（Bayes-XXX）与原始点估计模型（Point Estimate）相比，mIOU 和 F1 分数下降极小（通常在 0.1% - 0.5% 以内），保持了极高的预测精度。
- 速度：虽然由于概率计算增加了开销，帧率（FPS）有所下降，但大多数模型仍保持在实时（>30 FPS）或接近实时的水平。例如，Bayes-PIDNet 在 CityScapes 上仍能达到 69 FPS。
- 硬件优化：模型被编译为 TensorRT 格式并使用半精度浮点数（FP16）加速，证明了在嵌入式设备上的可行性。
不确定性可视化：
- 认知不确定性：主要出现在物体内部的不确定区域或模型未见过的新颖物体上。
- 偶然不确定性：主要集中在物体边缘和模糊区域。
- 类别条件不确定性：能够精准地针对特定类别（如“卡车”或“人”）显示其边界的不确定性，这对于自动驾驶决策至关重要。

5. 意义与未来展望 (Significance & Future Work)

安全关键应用：该研究填补了嵌入式实时语义分割中缺乏不确定性量化的空白，为自动驾驶和机器人系统提供了更安全的决策依据（例如，当不确定性过高时，系统可采取保守策略）。
计算效率：通过解析近似（Analytic Approximation）替代昂贵的蒙特卡洛采样，使得在资源受限设备上运行概率模型成为可能。
未来方向：
- 探索将偶然不确定性直接整合到训练过程中，以进一步提升基线网络对数据噪声的建模能力。
- 研究如何在实际系统中高效地处理和利用这些不确定性信息，以优化决策流程，同时最小化额外的计算负担。

总结：这篇论文成功地将贝叶斯推断的严谨性与嵌入式系统的实时性要求相结合，提出了一种高效、可扩展的框架，使得边缘设备上的语义分割模型不仅能“看到”物体，还能“知道”自己看错了或看不清的可能性，极大地提升了 AI 系统在安全关键场景下的可靠性。