技术摘要：基于超球面置信度映射的不确定性估计

1. 问题陈述

量化神经网络预测中的不确定性对于将人工智能部署到自动驾驶、医疗保健和半导体制造等高利害领域至关重要。现有的不确定性估计方法面临显著的权衡：

• 基于采样的方法（例如：蒙特卡洛 Dropout、深度集成）虽然有效，但会产生巨大的计算和内存开销，限制了其实时适用性。
• 基于分布的方法（例如：高斯回归、证据学习）提供确定性推理，但依赖于强参数假设（例如：高斯或狄利克雷先验），这些假设可能无法捕捉复杂或多模态的不确定性。
• 基于区间和基于相似性的方法通常需要提供多个分位数输出、精心设计目标函数，或依赖于无法自然扩展到回归任务的类别原型。

本文指出，需要一种框架，该框架在回归和分类任务中均具备无采样、无分布、计算高效且可解释的特性。

2. 方法论：超球面置信度映射 (HCM)

所提出的框架超球面置信度映射 (HCM) 通过将模型输出分解为两个几何分量——标量幅度 $R$ 和单位范数方向向量 $d$——来重构预测问题。

2.1 几何公式化

对于目标 $y \in \mathbb{R}^D$，HCM 将预测重构为 $y = Rd$，其中$R \in \mathbb{R}^+$且$d \in \mathbb{R}^D$满足$|d|_2 = 1$。模型被训练以预测$\hat{R}$和$\hat{d}$，并将最终输出重构为$\hat{y} = \hat{R}\hat{d}$。

• 标量回归处理：对于标量目标（$D=1$），目标通过复制嵌入到 2D 空间（$y_{exp} = (y, y)$），以便在不改变核心公式的情况下实现幅度 - 方向分解。
• 约束：方向向量 $\hat{d}$ 被约束位于单位超球面上（$\|\hat{d}\|_2 = 1$）。

2.2 不确定性作为约束违反

与传统方法通过方差或采样来建模不确定性不同，HCM 将不确定性解释为几何约束违反的程度。

• 不确定性分数：不确定性 $u(x)$ 定义为：
  $$u(x) := \hat{R}(x) \left| \|\hat{d}(x)\|_2 - 1 \right|$$
• 解释：如果模型是自信的，$\hat{d}$ 将位于单位超球面附近。如果模型不确定（例如，由于噪声或分布外输入），$\hat{d}$ 将偏离单位范数。这种偏离乘以预测幅度，作为确定性不确定性分数。

2.3 训练目标

总损失函数 $L_{total}$ 由三项组成：

1. 方向损失：$\phi_d(R \|e_d\|_2)$，监督方向向量。
2. 幅度损失：$\phi_R(e_R)$，监督幅度。
3. 范数正则化：$\lambda_{norm} \phi_{norm}(\left| \|\hat{d}\|_2 - 1 \right|)$，软性强制执行单位范数约束。

该公式允许损失函数调整其曲率（例如，使用 Huber 或平滑-$\ell_1$），同时保持对方向、幅度和范数的统一处理。

2.4 理论基础

本文建立了不确定性分数与预测误差之间的理论联系：

• 误差下界：命题 1 证明预测误差 $\|e_y\|_2$ 的下界为 $u(x)$（具体为 $\|e_y\|_2 \geq u(x)(1-\epsilon)$）。因此，高不确定性分数在数学上保证了大的预测误差。
• 噪声追踪：命题 2 证明，在加性高斯噪声下，导出的量 $\hat{\sigma}(x)$ 追踪真实噪声水平 $\sigma^2$，提供了对偶然性变异的确定性度量。

3. 主要贡献

1. 新颖框架：引入 HCM，这是一种适用于回归和分类的无采样且无分布的不确定性估计方法。
2. 理论根基：将预测重构为约束优化问题，其中约束违反作为预测误差的可证明下界。
3. 实证验证：广泛的基准测试表明，HCM 在校准和分布外 (OOD) 检测方面与集成和证据方法相当或更优，且推理成本显著降低。
4. 工业适用性：展示了 HCM 在现实世界半导体制造任务中进行异常检测的有效性。

4. 实验结果

4.1 分类与 OOD 检测 (CIFAR-10)

• 性能：HCM（特别是使用 MixUp 增强的"HCM mix"变体）在 OOD 检测中实现了 89.44% 的平均 AUROC，与 KNN (90.97%) 和 NCI (90.36%) 具有竞争力。
• 效率：与需要多次前向传播的基于采样的方法（集成、MC Dropout）不同，HCM 仅需单次前向传播。它在保持竞争力的准确性的同时，实现了所有比较方法中最低的计算延迟。
• MixUp 协同效应：本文指出，MixUp 显著提升了 HCM 的性能，因为插值样本自然地对应于单位球面上类别锚点之间的方向，允许模型更忠实地表达不确定性。这种优势未在其他基线中观察到。

4.2 回归与校准 (NYU-v2 深度估计)

• 校准：HCM 展示了预测不确定性与实际误差之间最强的对齐，实现了最高的皮尔逊 (0.4919) 和斯皮尔曼 (0.5425) 相关性。
• 权衡：虽然 HCM 显示出优越的校准和误差对齐，但与基于方差的基线（如深度集成）相比，其 RMSE 略高，覆盖率指标（cov@1$\sigma$, cov@2$\sigma$）略低。作者将此归因于幅度 - 方向分解固有的重构误差。
• 定性行为：HCM 生成了平滑的置信带，在噪声区域和训练域外变宽，有效地捕捉了偶然性和认知不确定性。

4.3 工业高维回归

• 任务：从光谱椭偏仪数据预测 3D 晶圆孔几何形状。
• 结果：HCM 在不确定性分数与实际误差之间实现了最强的皮尔逊 (0.8435) 和斯皮尔曼 (0.7579) 相关性。
• 实用价值：HCM 通过为高误差样本分配低置信度分数，成功识别了这些样本，从而能够在无法访问真实标签的情况下过滤不可靠的预测。这种能力对于安全关键的工业部署至关重要。

5. 意义与主张

本文将 HCM 定位为传统不确定性估计技术的通用替代方案。其主要意义在于：

• 几何可解释性：通过将不确定性建立在几何约束违反的基础上，该方法提供了一种不依赖概率先验的确定性、可解释分数。
• 效率：它消除了采样的计算负担，使其适用于实时和资源受限的环境。
• 任务无关性：它在单一几何框架下统一了回归和分类的处理。

作者承认了局限性，指出不确定性分数取决于训练动态（特别是范数约束权重 $\lambda$ 与学习率之间的平衡），并且该方法目前在输出层运行，需要微调，而不能直接应用于冻结的大型语言模型。此外，该方法假设目标可以分解为幅度和方向，这可能限制具有固有多值输出的任务。

尽管存在这些局限性，作者得出结论，HCM 突显了几何结构在不确定性估计中的力量，为学术基准和工业应用中的可信 AI 提供了一种可扩展且可靠的方法。