Anomaly-Informed Confidence Calibration for Vision-Based Safety Prediction

技术摘要：面向基于视觉的安全预测的异常感知置信度校准

问题陈述
可靠的置信度估计对于在安全关键的自主系统（如自主赛车）中部署基于视觉的控制器至关重要。现代预测器在遇到测试时分布偏移时，往往表现出危险的过度自信。本工作识别出的主要障碍是“感知 - 动力学差距”：标准异常信号（例如自编码器重构误差）仅在观测空间中运行。它们能有效检测视觉损坏（例如黑暗、模糊），但无法检测动力学异常（例如执行偏差、控制延迟、未建模的摩擦），在这些情况下，图像流看似正常，而车辆的轨迹却在无声地偏离。现有的事后校准方法（如标准温度缩放）依赖于单一的固定标量，且在分布偏移下性能显著下降。相反，更丰富的不确定性量化技术（如深度集成或 MC Dropout）会产生与实时控制不相容的计算成本，并将所有异常视为单一的不确定性来源。

方法论
作者提出了一种异常感知在线校准框架，该框架无需重新训练基础安全预测器即可调整安全置信度。该方法将来自冻结的“世界模型”的信号与测试时增强（TTA）集成到一个轻量级校准器中。流程包含四个阶段：

1. 异常分数提取：该框架从学习到的世界模型（具有潜在动力学的 VAE）中提取两个互补的连续异常分数：

   • 感知分数（$\rho_i$）：源自 VAE 解码器在上下文窗口内的平均逐像素重构误差。这捕捉了视觉分布偏移。
   • 动力学分数（$\delta_i$）：源自状态转移空间中 12 维特征向量的马氏距离。该向量包括蒙特卡洛 Dropout 不确定性估计、动作模式统计量（例如冻结率、加加速度）以及时序相关性。该分数捕捉了那些使图像在视觉上保持正常但转移动力学出现异常的异常。
     这两个分数均使用分布内统计量归一化至 $[0, 1]$。

2. 测试时增强（TTA）：为了增强视觉鲁棒性，安全预测器 $g$ 在原始图像以及 $M=8$ 个增强版本（随机光度抖动和高斯噪声）上进行评估。预测结果被平均以生成平滑的基础预测 $\bar{p}_{i+k}$。这一步骤降低了对微小视觉扰动的敏感性。

3. 异常条件温度缩放：核心创新是一种动态温度缩放机制，其中有效温度 $T_{eff}$ 是异常分数的函数：
   $$T_{eff} = T_k \cdot \exp(w_\rho \rho_i + w_\delta \delta_i)$$
   此处，$T_k$ 是每个预测时长的基础温度，$w_\rho, w_\delta$ 为可学习权重。随着异常证据（$\rho_i, \delta_i$）的增加，$T_{eff}$ 随之增加，将预测概率拉向 0.5 并降低过度自信。当不存在异常时，该方法退化为标准温度缩放。

4. 训练机制：校准器在分布内数据与合成增强数据（使用与测试协议不相交的损坏类型）的混合体上进行训练。在校准训练期间，基础安全预测器和世界模型保持冻结。

主要贡献

1. 在线校准框架：一种将来自世界模型的异常证据与 TTA 融合以实时调整安全置信度而无需重新训练基础预测器的方法。
2. 解耦异常评分：一种分离感知分数和动力学分数的策略，解决了纯视觉异常信号留下的感知 - 动力学差距。
3. 物理验证：在物理 DonkeyCar 平台上的验证表明，在合成增强数据上训练的校准器能够迁移到定性不同的现实世界损坏中。

实验结果
该方法在物理 DonkeyCar 上针对四种未见过的现实世界异常协议进行了评估：黑暗（视觉）、模糊（视觉）、执行偏差（动力学）和处理延迟（动力学）。

• 分布外（OOD）检测：融合后的异常分数在区分分布内与分布外数据方面实现了 0.830 的平均 AUROC，显著优于特征范数（0.658）和预测衍生启发式方法（约 0.54）等基线。值得注意的是，动力学分数在检测执行偏差和延迟方面提供了显著增益，而这些是图像级方法难以应对的。
• 校准性能：所提出的方法将平均期望校准误差（ECE）从 0.184（最佳基线 DAC）降低至 0.116，代表了 37% 的改进。
• 消融研究：
  • 感知分数（$\rho$）提供了主导的校准信号，当添加到 TTA 时，将 OOD 平均 ECE 降低了 28%。
  • 动力学分数（$\delta$）提供了互补的鲁棒性，特别是在减少跨种子方差和改善特定动力学异常检测方面，尽管当添加到 TTA+$\rho$ 时，它并未进一步显著降低平均 ECE。
  • 该方法保留了分布内性能，在保留的标称测试集上实现了 0.121 的平均 ECE。

意义与主张
本文主张，安全关键机器人中的可靠置信度估计需要超越单标量校准和纯视觉异常检测。通过显式建模“感知 - 动力学差距”并将校准温度条件化于解耦的异常证据，该系统可以在分布偏移下选择性地降低过度自信，同时保持标称性能。这项工作表明，合成增强可以作为现实世界损坏的结构代理，使得在合成数据上训练的校准器能够泛化到未见过的物理异常（例如硬件退化），而无需重新训练底层安全预测器。作者指出，虽然该方法显示出强大的可迁移性，但超出训练严重性范围的推演仍然是一个局限性。