💻 computer science

From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models

本文介绍了一种针对 YOLO-Pose 模型的轻量级事后概率扩展，该扩展通过为模型增加经过校准的双变量预测分布来量化空间不确定性，从而实现有效的关键点级可靠性排序，并提升视觉辅助飞机着陆等下游应用的效果。

原作者： Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一场高强度的“寻找沃多”（Where's Waldo?）游戏，但你看到的不是卡通人物，而是一个真实的场景，比如繁忙的机场跑道或拥挤的街道。你拥有一个超级快速、超级智能的计算机视觉系统（一种人工智能），它能瞬间识别出人、汽车或跑道，并精准地指出它们重要部位的位置——比如鼻子、手肘或跑道的角落。这个系统极其快速且高效，但它有一个致命的缺陷：它表现得像个自以为是的“万事通”。它指着一个点说：“我100%确定这是鼻子！”却从未承认过：“实际上，这个部位很模糊，或者那可能只是个影子，所以我只有60%的把握。”

在人工智能的世界里，这是一个大问题。当计算机做出一个猜测时，它需要知道自己应该对这个猜测有多少信任度。这被称为“不确定性”（Uncertainty）。把它想象成天气预报：一个糟糕的预报会说：“下午2:00会下雨。”而一个好的预报会说：“在1:55到2:05之间有90%的概率下雨。”第二个预报给了你一个围绕预测结果的“置信气泡”（Confidence Bubble）。对于安全至上的工作——比如帮助飞机降落或让机器人在人群中导航——知道这个置信气泡的大小与知道物体所在的位置同样重要。如果AI错了却以为自己是对的，可能会导致撞机；如果它对了却以为自己错了，可能会错过关键的机会。挑战在于，如何在不降低速度或破坏其原有强大性能的前提下，让这些超快速的AI系统拥有关于自身准确性的“直觉”。

这篇论文的核心思想：给 YOLO 一个“置信气泡”

这篇论文利用了一类流行的AI模型——YOLO-Pose（You Only Look Once - Pose）来解决这个问题。这类模型就像是速度达人；它们可以通过一次闪电般的注视，同时找到物体及其身体部位（关键点）。然而，它们通常只是为每个身体部位输出一个孤立的点，完全不知道这个点有多么“摇晃”。来自空客（Airbus）及其他机构的研究人员提出了一个简单的疑问：我们能否在不重新训练整个模型的情况下，教会这些已经训练好的超快速模型在它们的预测周围画出一个“置信气泡”？

他们的答案是一个巧妙的“事后”（post-hoc）小技巧。他们并没有从头开始重建整个AI，而是让原始的快速模型保持完全冻结和不动。他们只是在侧边附加了一个微小的、轻量级的“概率头”（Probabilistic Head，即一个小型的附加模块）。这个附加模块观察与主模型相同的图像和预测结果，但它不仅仅是说“这里是鼻子”，还会说：“这里是鼻子，而且这里有一个椭圆形的‘气泡’，展示了鼻子可能会如何摆动。”

他们如何教会 AI “担忧”（并保持冷静）

研究人员并非凭空猜测这些气泡的大小；他们通过训练这个附加模块，让它从主模型的错误中学习。他们使用了一种特殊的数学工具，叫做重要性加权负对数似然（Importance-weighted Negative Log-Likelihood）。简单来说，这是一种教学方法，让附加模块去特别关注那些在现实世界中使用时真正会发生的错误，而不是仅仅关注它在实验室练习时犯下的错误。

他们发现，根据情况的不同，“气泡”需要呈现不同的形状。有时不确定性是一个完美的圆（类似于高斯分布/正态分布），但由于阴影遮挡或人体互相遮挡等复杂情况，误差往往具有“重尾”（Heavy-tailed）特性。这意味着虽然大多数猜测都很接近目标，但偶尔会出现一些离谱的异常值。为了处理这种情况，他们测试了两种类型的气泡：

高斯气泡（Gaussian Bubble）： 标准的、平滑的椭圆。这非常适合需要与其他数学工具（如用于飞机导航的工具）协同工作的系统。
学生t分布气泡（Student-t Bubble）： 一种“更厚实”的气泡，它更具灵活性，能更好地捕捉那些偶尔出现的极端异常值。

实验表明，学生t分布气泡最擅长描述现实世界图像中的混乱情况。它比标准的高斯气泡能更好地捕捉误差中的“重尾”现象。然而，高斯气泡仍然非常有用，因为它更容易被其他系统使用。

“剪枝”技巧：剔除错误的猜测

作者发现的最酷的事情之一是，这些置信气泡可以用来清理 AI 的输出。想象一下你正在看一张模糊的人腿照片。AI 可能会猜测左膝盖和右膝盖的位置，但它可能会完全搞混并把它们弄反。旧的 AI 只会把这两个猜测都给你。然而，新系统可以通过观察自己的置信气泡并说：“嘿，我对这个膝盖很不确定；这个气泡很大且很乱。”

论文引入了一种称为基于不确定性的剪枝（Uncertainty-based Pruning）的方法。这意味着系统可以自动删除那些置信气泡过大或过于混乱的猜测。通过丢弃那些“也许”的猜测，只保留那些“我很确定”的猜测，系统变得更加可靠。在他们对著名的 COCO 数据集（用于训练 AI 的大规模图像集合）进行的测试中，这种剪枝并没有改变正确猜测的准确性，但它剔除了错误的猜测，使剩余的数据更加干净。

现实世界测试：引导飞机降落

为了证明这不仅仅是一场数学游戏，研究人员将该方法应用于一项非常严肃的任务：基于视觉的飞机降落。他们利用 AI 通过飞机上的摄像头来识别跑道的角点。这是一种生死攸关的情况，了解不确定性至关重要。

他们发现，AI 可以预测跑道的角点，更重要的是，能为每个角点提供一个经过校准的“不确定性气泡”。当他们使用这些气泡来辅助计算飞机的飞行位置时，系统运行得非常出色。不确定性估计是经过良好校准的，这意味着如果系统说“95% 置信度”，它实际上在 95% 的情况下都是正确的。这使得飞机的导航系统能够信任摄像头的观测数据，并将其与 GPS 等其他传感器进行融合，从而实现安全降落。

不过，论文也指出了一个局限性。当他们在雾天条件下（AI 从未见过的环境）进行测试时，置信气泡并没有变得足够大，以至于无法提醒系统它已经产生了困惑。AI 在大雾中仍然表现出了“过度自信”。这表明，虽然该方法在正常条件下表现出色，但在处理完全陌生的、意料之外的情况（如浓雾）时，仍需要进一步改进。

总结

这篇论文并不声称解决了所有关于 AI 不确定性的问题。相反，它提供了一个实用且轻量级的工具，可以添加到现有的高速 AI 模型中，赋予它们关于自身准确性的“直觉”。通过使用一个巧妙的附加模块来学习绘制“置信气泡”（特别是使用学生t分布以获得更好的准确性），并利用这些气泡来过滤掉错误的猜测，研究人员证明了我们可以让快速的 AI 模型在像飞机降落这样关键的任务中变得更加安全和可靠。这是迈向 AI 不仅知道“看到了什么”，还知道“有多确定”的重要一步。

技术摘要：从关键点到预测分布

问题陈述

YOLO-Pose 模型因其高效性和单次推理能力，被广泛部署于实时关键点定位任务中。然而，这类模型仅输出每个关键点的单一确定性位置以及实例级的置信度分数，无法量化关键点特定的空间不确定性。在对安全性要求极高的下游应用（如传感器融合、目标跟踪）中，无法评估单个关键点可靠性的问题限制了系统的鲁棒性。

YOLO 系列中现有的不确定性量化方法主要侧重于目标检测（边界框），或者需要对模型进行联合重训，以同时预测不确定性和定位信息。这种联合学习范式在已部署的模型中往往并不理想，因为这些模型受限于认证要求而难以重训，或者改变损失函数可能会降低已建立的均值预测性能。此外，标准的 OKS（Object Keypoint Similarity）损失会导致重尾残差分布，这难以通过标准的高斯假设来捕捉，从而导致不准确的校准不确定性估计。

方法论

作者提出了一种轻量级的后验概率扩展方案，该方案在不改变原始 YOLO-Pose 模型关键点预测的前提下，对其进行增强。该方法由三个主要部分组成：

1. 架构扩展

该方法引入了与原始姿态头（pose heads）相对应的附加概率头。这些头部利用共享的多分辨率颈部（neck）特征，为每个关键点预测一个异方差、输入相关的 $2 \times 2$ 离散矩阵 ( $\Sigma$ )。该矩阵通过 Cholesky 分解确保正定性。预测分布的均值固定为原始 YOLO 预测值 ( $\hat{ \hat{y}}$ )，而离散矩阵则用于捕捉空间不确定性。

2. 基于重要性加权的 NLL 进行训练

为了学习离散结构，作者采用高斯负对数似然 (GNLL) 作为 OKS 损失的替代。为了解决训练时标签分配与推理时后处理（如置信度阈值化、NMS）之间的不匹配问题，他们引入了一个重要性加权训练目标：

保留权重 ( $w_{ret}$ )：基于实例级置信度分数 ( $c_{det}^\alpha$ )，近似预测在推理阶段被保留的可能性。
尺度权重 ( $w_{scale}$ )：基于目标面积的倒数 ( $1/s^2$ )，以抵消大尺寸目标在优化信号中的主导地位，确保不同目标尺度下的均衡校准。
该目标函数通过对匹配的“预测-真值”对进行加权 GNLL 最小化来实现。

3. 校准方案

考虑到 OKS 损失会诱导重尾残差（由于其具有鲁棒且抑制异常值的特性），作者提出了两种互补的校准策略，应用于留出的校准集：

高斯校准 (Gaussian Calibration)：对学习到的离散矩阵应用温度缩放 ( $\tau^2$ )。这产生了一个预测分布 $\mathcal{N}(\hat{y}, \tau^2\Sigma)$ ，确保了与下游基于协方差的方法（如卡尔曼滤波器）的兼容性。
Student-t 校准 (Student-t Calibration)：对离散矩阵同时应用温度缩放 ( $\tau^2$ ) 和自由度参数 ( $\nu$ )，将其视为 Student-t 分布 $T_\nu(\hat{y}, \tau^2\Sigma)$ 的尺度矩阵。这能更好地捕捉经验性的重尾残差特性，同时在 $\nu > 2$ 时保持严谨的协方差解释。

4. 基于不确定性的剪枝

校准后的协方差被转换为标量定位置信度分数（例如，使用协方差的迹）。低于阈值（通过在验证集上使用 Youden's J 统计量选定）的关键点会在下游处理前被剪枝，从而在移除不可靠预测的同时，保留保留关键点的均值估计。

评估协议

论文引入了一个全面的异方差关键点回归评估框架：

平均关键点精度 (AKP)：这是对 COCO 风格指标在关键点层面的扩展。它评估不确定性分数是否能有效按正确性对关键点进行排序，从而实现对不可靠关键点的选择或剪枝。
分布校准诊断：
- 覆盖率 (Coverage)：评估名义概率区域（如 95% 椭圆）是否与经验频率相符（平均覆盖误差，ACE）。
- 方差校准 (Variance Calibration)：将预测方差的大小与不同不确定性水平下的经验平方残差进行比较（预期归一化校准误差，ENCE）。
- Q-Q 图：评估预测分布相对于参考定律的形状和尾部行为。

关键结果

在 COCO 数据集上的实验（使用 YOLO-NAS-Pose Nano 和 Large）表明：

可靠性排序：学习到的不确定性估计提供了有效的关键点级可靠性排序，实现了显著高于随机基线的 AKP 分数。
校准性能：
- 高斯校准改善了方差校准（更低的 ENCE），但由于尾部误设定问题，在覆盖率方面表现不佳（较高的 ACE）。
- Student-t 校准取得了最佳的综合性能，在显著降低 ACE（接近完美覆盖）的同时，保持甚至提升了 ENCE 和 NLL。这证实了经验残差分布更适合用重尾 Student-t 分布进行建模。
剪枝功效：基于不确定性的剪枝有效地移除了不可靠的关键点（特别是对于膝盖和脚踝等模糊肢体），从而提升了保留集的校准指标。
消融研究：重要性加权（特别是保留权重和尺度权重）对于跨目标尺寸的均衡校准至关重要。全异方差协方差矩阵的表现优于各向同性或对角近似。

应用演示：视觉引导飞机着陆

作者利用大规模内部数据集，在视觉引导着陆 (VBL) 场景中展示了该方法的实用性。

工作流：检测跑道关键点，并将校准后的 2D 协方差通过协方差加权的 PnP 算法进行传播，以估计飞机的 3D 位置及其协方差。
传感器融合：生成的 3D 位置估计及其协方差与其它导航传感器（GNSS、ILS、IRS）一起集成到扩展卡尔曼滤波 (EKF) 中。
发现：经过高斯校准的模型提供了良好的图像平面协方差，支持不确定性感知的定位估计。该方法保持了 VBL 对低延迟的要求。
局限性：在雾天（分布外）条件下，模型无法捕捉增加的认识不确定性（epistemic uncertainty），这凸显了当前的后验方法主要建模的是训练分布内的偶然不确定性（aleatoric uncertainty），而非本质上检测分布偏移。

意义与主张

论文声称，这是首个在不重新训练底层模型或修改其原始预测的情况下，为 YOLO-Pose 模型提供校准后关键点定位误差预测分布的扩展方法。

其核心贡献包括：

后验灵活性：提供了一种将不确定性估计与点预测解耦的方法，允许对现有的、经过认证的模型进行校准。
分布保真度：证明了 Student-t 校准对于捕捉由鲁棒 OKS 损失引起的重尾残差是必要的，其表现优于标准高斯假设。
评估标准：引入了 AKP 以及一套针对双变量、异方差关键点回归定制的校准诊断工具，填补了文献中不确定性仅通过定性描述或标量置信度进行评估的空白。
实际效用：在安全关键领域（航空）验证了其用途，表明校准后的协方差是下游传感器融合的功能性需求，且基于不确定性的剪枝可以提高系统鲁棒性。

作者对认识不确定性保持了审慎的态度，承认当前方法依赖于分布内残差，处理分布外输入（如严重天气）需要未来在认识不确定性建模方面开展工作。