技术摘要：发现隐藏的不校准机制

问题陈述

标准校准评估依赖于一个假设，即模型的可靠性仅由其置信度分数决定。这种方法通过置信度区间（例如可靠性图）聚合预测，隐式地将具有相同置信度分数的所有输入视为可交换的。然而，在异构领域——特别是大语言模型（LLM）中——这种聚合可能会掩盖显著的局部失效。即使两类输入具有相似的置信度分数，模型也可能在一类输入上系统性地过度自信，而在另一类输入上系统性地自信不足。在这种情况下，相互抵消的错误会在全局指标中相互抵消，导致产生模型校准良好的虚假印象。

现有的基于切片（slice-based）的分析方法虽然可以揭示这些失效，但需要预定义的数据切片或子组标签，而在复杂的高维领域中，这些标签往往不可用或不足，因为不校准区域并不与明显的元数据对齐。本文旨在解决在无法访问预定义切片或真实数据生成概率的情况下，发现这些“隐藏的不校准机制”的问题，目标是恢复模型表现出系统性过度自信或自信不足的输入空间区域。

方法论

作者提出了一个以**不校准场（miscalibration field）**为核心的诊断框架，该场定义为依赖于输入的有符号校准误差：
$$\delta(x) = E[Y - f(X) \mid X = x]$$
其中 $f(x)$ 是模型的置信度，$Y$ 是真实标签。与将条件设定在 $f(X)$ 上的经典校准不同，该场直接以输入 $X$ 本身为条件。

学习校准感知几何

为了估计 $\delta(x)$，该方法学习一个表示映射 $\phi: \mathcal{X} \to \mathbb{R}^d$，将具有相似校准行为的示例组织在一起。估计过程分为两个阶段：

1. 学习空间中的核平滑：
   给定查询点 $x$，不校准场是通过对学习表示空间中的经验残差 $r_i = y_i - f(x_i)$ 进行核平滑来估计的：
   $$\hat{\delta}_\phi(x) = \frac{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i)) r_i}{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i))}$$
   其中 $K_\sigma$ 是高斯核。这充当了条件均值残差的 Nadaraya–Watson 估计量。

2. 学习目标：
   表示 $\phi$ 的训练旨在最大化条件均值残差的变异性，从而有效地将过度自信区域与自信不足区域分离开来。目标函数最大化估计场的二阶矩，同时防止“邻域坍塌”（即模型隔离单点以拟合噪声）：
   $$\mathcal{L}(\phi) = -\frac{1}{n}\sum_{i=1}^n \hat{\delta}_\phi(x_i)^2 + \lambda \frac{1}{n}\sum_{i=1}^n [\max(0, m_{\min} - m_i)]^2$$
   其中，$m_i$ 是有效邻域质量。第一项鼓励发现系统性的残差结构，而第二项则对孤立的邻域进行正则化。

3. 超参数选择：
   由于在现实世界设置中真实场 $\delta(x)$ 是未知的，超参数（核带宽 $\sigma$、正则化 $\lambda$）是使用验证代理选择的。该代理最小化验证集上局部修正预测（$f(x) + \hat{\delta}_\phi(x)$）的Brier 分数，从而避免了对 Oracle 指标的需求。

可操作的局部修正

学习到的场 $\hat{\delta}_\phi(x)$ 作为一种诊断工具，用于识别校准失效的位置。它也可用于局部置信度修正。作者提出了一种范围感知修正映射 $\Delta_\alpha(x)$，该映射保留估计误差的符号，并在有效概率边界 $[0, 1]$ 处平滑饱和，确保修正后的置信度 $\tilde{f}(x) = f(x) + \Delta_\alpha(x)$ 保持为有效概率。

主要贡献

1. 隐藏机制发现： 本文提出了在不依赖预定义子组标签的情况下发现一致性的过度自信和自信不足区域的问题，将校准视为一个依赖于输入的发现问题。
2. 不校准场： 定义了一个依赖于输入的不校准场，该场捕捉输入空间中的有符号校准误差，而不仅仅是作为置信度分数的函数。
3. 校准感知几何： 引入了一种诊断框架，该框架学习一种表示，其中局部残差平均揭示了稳定的机制级校准结构。
4. 实证证据： 在四个现实世界基准（HH-RLHF, MedMCQA, MMLU, MMLU-Pro）和十二个大语言模型上进行的广泛实验表明，依赖于输入的校准异质性普遍存在，但在数据集和模型家族之间并不均匀。
5. 可操作的修正： 学习到的场支持有针对性的局部置信度修正，降低了高误差区域的校准误差，而在这些区域，标准的基于置信度的事后方法（如等渗回归和温度缩放）效果较差。

结果

• 合成实验： 该方法成功地从含噪的伯努利残差中恢复了已知的隐藏不校准结构（包括聚类和平滑变化的正弦场）。它证明了由于误差抵消，全局可靠性图通常会掩盖大量的局部误差。
• LLM 基准测试：
  • 异质性： 在许多设置中观察到了依赖于输入的校准异质性。某些模型 - 数据集对表现出同质偏差，而另一些则显示出明显的过度自信和自信不足的隐藏机制。
  • 诊断能力： 学习到的场识别出了全局指标（如 smECE）显著低估误差的区域。例如，在 Qwen3-8B 的 HH-RLHF 任务中，全局 smECE 表明存在适度的不校准，但基于学习场的条件分析揭示了误差显著更高的子集（自信不足子集的 smECE 为 0.253，而全局为 0.120）。
  • 修正效果： 虽然基于置信度的方法（等渗回归、温度缩放）改善了全局校准，但它们往往会降低原本校准良好的子集的性能，或者无法修正特定的不校准机制。所提出的方法一致地降低了过度自信和自信不足区域的校准误差，且未降低校准良好数据的性能。
  • 模型规模： 在几个模型家族中，校准异质性随着模型规模的增加而增加，这表明能力的提升在不同领域是不均匀的。

意义与主张

本文主张，校准不应仅被视为置信度分数的全局属性。发现隐藏的过度自信和自信不足区域被视为为在异构任务中部署的模型提供更可靠的不确定性估计的关键步骤。

作者将其估计量主要定位为诊断工具，而非局部校准的完整解决方案。其意义在于：

• 揭示基于分数的诊断工具无法看到的有符号残差结构。
• 提供一种机制，用于测试学习到的场是否可用于有针对性的修正。
• 为可解释性提供起点，因为可以检查学习到的几何结构以了解校准在何处失效，即使导致失效的具体语义原因需要进一步调查。

该工作强调，虽然该方法在特定机制中提高了可靠性，但它依赖于可用的标记数据，并且可能无法检测训练分布未覆盖的代表性不足的群体或部署条件下的失效。因此，它被倡导为更广泛评估流程的一部分，需与特定任务的验证和人工监督相结合。