📊 statistics

A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering

本文介绍了 Sem-ECE，这是一个新颖的框架，它通过采样模型输出并将其分组为语义类别来评估开放性问题回答中的校准性，从而提供一种无偏且稳健的指标，该指标优于现有的语言化和基于采样的方法，特别是在内部模型概率不可用的情况下。

原作者： Zhanliang Wang, Jiancong Xiao, Ruochen Jin, Shu Yang, Bojian Hou, Li Shen

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhanliang Wang, Jiancong Xiao, Ruochen Jin, Shu Yang, Bojian Hou, Li Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一支专家团队来回答高难度的冷知识问题。你不仅想知道他们回答了什么，还想知道他们对答案有多大的把握。如果一位专家说：“我有 90% 的把握首都就是巴黎”，你希望知道他们是否真的在 90% 的情况下都是正确的。这种置信度与准确率之间的对齐被称为校准。

在人工智能（大语言模型）的世界里，这很棘手。当模型给出简短的选择题答案时，我们可以轻松验证其数学逻辑。但当它撰写长篇开放式文章或创意故事时，检查其置信度就像试图测量云的温度一样困难。

本文介绍了一种测量这种“温度”的新方法，称为Sem-ECE。以下是其工作原理，通过简单的类比进行拆解。

问题所在：“过度自信的学生”

目前检查 AI 置信度的方法存在缺陷：

直接询问 AI：如果你问 AI“你有多大的把握？”，它往往会撒谎或猜测，通常表现得比实际更自信。这就像一个学生举手大喊“我有 100% 的把握！”，即使他只是在瞎猜。
查看代码（Logits）：有时，我们可以窥探 AI 的“大脑”以查看其内部数学运算。但大多数商业 AI 服务（如医生或律师使用的服务）不允许我们查看这些内容。这就像试图通过观察魔术师的手来判断其戏法，但他们却戴着手套。
重复提问：如果你向 AI 提出同一个问题 50 次，它可能会给出 50 个略有不同的答案。如果其中 49 个回答是“巴黎”，1 个是“伦敦”，我们可能会猜测它对“巴黎”很有把握。但现有的执行方法杂乱无章，且依赖于僵硬的规则，一旦 AI 用不同的词语表达相同的意思，这些规则就会失效。

解决方案："Sem-ECE"框架

作者提出了一种名为Sem-ECE（语义采样期望校准误差）的新方法。你可以将其想象为一个品尝测试小组。

与其只问 AI 一次，不如问它50 次。

采样：你得到 50 个不同的答案。
分组（语义聚类）：你不仅仅统计完全匹配的字词。你使用一位聪明的裁判（另一个 AI）将含义相同的答案归为一组。
- 示例：“首都是巴黎”、“是巴黎”和“法国巴黎”都会被归入同一个“巴黎”桶中。
频率：如果 50 个答案中有 40 个最终落入“巴黎”桶，那么 AI 的置信度就是 80%。

两种新的估计器：“同一样本”与“保留样本”

本文介绍了两种计算置信度的具体方法，将它们比作两种不同的考试评分方式。

1. Sem1-ECE：“同一样本”分数（有偏见的裁判）

这种方法从 50 个样本中选出最受欢迎的回答，并使用相同的 50 个样本来计算置信度。

缺陷：这就像一位老师利用参加考试的同一批学生来确定及格线。因为老师是从该特定群体中选出“优胜者”的，他们很可能会高估该优胜者的水平。在统计学中，这被称为**“赢家诅咒”**。AI 看起来比实际更自信，因为它是在用自己用来选择答案的同一组数据来评判自己。

2. Sem2-ECE：“保留样本”分数（公平的裁判）

这种方法将 50 个样本分为两组：

A 组（25 个样本）：用于选出“优胜”答案。
B 组（25 个样本）：仅用于统计该优胜答案出现的频率。
优势：这就像一位老师从班级前半部分选出最佳文章，然后利用班级后半部分作为参考来给这篇特定文章评分。因为 B 组没有参与选出优胜者，所以置信度分数更公平、更准确。它避免了“赢家诅咒”。

重大发现：简单问题与困难问题

本文从数学上证明了：

在简单问题上：两种方法达成一致。AI 非常确定，“赢家诅咒”的影响不大。
在困难问题上：两种方法出现分歧。“同一样本”方法（Sem1）保持过度乐观，而“保留样本”方法（Sem2）则正确地降低了置信度分数。
差距作为诊断工具：两个分数之间的差异充当了难度计。如果两个分数相差甚远，说明问题很难，AI 正在挣扎。如果它们很接近，说明问题很简单。

结果：他们的发现

作者在三个困难的问题集（从简单事实到专家级科学）上，对五个主要 AI 模型（如 GPT-4、Claude、Gemini）进行了测试。

Sem2-ECE 胜出：在几乎所有情况下，“保留样本”方法（Sem2）比直接询问 AI 或使用“同一样本”方法，都能更准确地描绘 AI 的真实可靠性。
无需“手套”即可工作：即使你看不到 AI 的内部数学运算（logits），这种方法也有效。你只需要向它提问并阅读答案即可。
它能捕捉过度自信：研究表明，当模型出错时，它们往往认为自己是对的。Sem-ECE 通过显示 AI 的“置信度”（它重复某个答案的频率）与其实际“准确率”（该答案正确的频率）不匹配，从而揭露了这一点。

总结

想象你是一名驾驶飞机的飞行员。你需要知道你的导航系统是否可靠。

旧方法：询问系统“你确定吗？”（它回答“确定！”但可能是错的）。
新方法（Sem-ECE）：让系统绘制 50 次航线。将相似的路径归为一组。如果 40 条路径向左，10 条向右，你知道它有 80% 的把握。但为了真正放心，你会将这 40 条路径与一组全新的 25 次模拟（Sem2）进行比对，以确保系统不是在自欺欺人。

本文提供了为 AI 执行这一操作的工具包，确保当模型声称自己有信心时，它确实如此。

技术摘要：用于评估开放性问题回答中校准性的语义采样框架

1. 问题陈述

校准性（即模型预测的置信度与其实际经验准确性之间的一致性）是将大型语言模型（LLM）可靠部署于医疗、法律等高风险领域的前提条件。尽管近期研究聚焦于改进校准性，但如何在现实世界的开放性问题设置中评估校准性，这一议题仍发展不足。

现有的评估方法在开放性问题回答（QA）中失效，主要源于三大局限性：

基于 Logit 的指标：要求受限的输出格式并访问内部概率（logits），而这些在商业 API 中通常不可用。
语言化置信度：依赖模型自我报告其不确定性。该方法虽与格式无关，但常受过度自信困扰，且取决于模型准确内省的能力。
基于采样的方法：从重复生成的结果一致性中推导置信度。然而，这些方法通常依赖特定任务的提取规则和启发式频率得分，缺乏明确的有限样本统计目标或严谨的理论保证。

核心挑战在于，开放性问题回答涉及无界的回答空间，其中正确性取决于语义而非词汇，措辞不同的两个答案可能同样正确。

2. 方法论：Sem-ECE 框架

作者提出了Sem-ECE（语义采样期望校准误差），这是一个通过采样答案、将其分组为语义类别，并利用由此产生的频率作为置信度估计来评估校准性的框架。

核心组件

语义回答空间：该框架不使用原始字符串作为独立答案，而是利用 LLM 评判器将自由形式的生成聚类为语义等价类（ $Z_q$ ）。
Oracle 置信度：定义为最可能的语义答案类别的总体概率（ $c^*_q = \max_k \pi_{q,k}$ ）。
两种估计量：该框架研究了针对该目标的两种估计量，两者在渐近上均无偏，但具有不同的有限样本特性：
1. Sem1-ECE（同样本）：标准的自一致性得分。它从 $n$ 个样本的块中选择出现频率最高的语义答案，并将该频率本身用作置信度估计。该估计量受“赢家诅咒”（Jensen 不等式偏差）影响，即经验最大值存在向上偏差。
2. Sem2-ECE（保留集）：一种变体，将选择与评估解耦。它从大小为 $n$ 的选择块（ $N$ ）中选择出现频率最高的答案，但基于该特定答案在大小为 $m$ 的不相交保留块（ $E$ ）中的频率来计算置信度。这消除了向上的 Jensen 偏差，尽管引入了向下的选择偏差。

理论分析

本文对这些估计量提供了严谨的统计分析：

渐近无偏性：已证明 Sem1 和 Sem2 在样本量 $n, m \to \infty$ 时均渐近无偏。
区间分析：估计量的行为取决于“标准化边际”（ $\tilde{m}_q$ $\tilde{m}_{q}$ ），该指标衡量前两个语义类别之间的差距相对于方差的大小。
- 大边际区间：在简单问题（大边际）上，两种估计量迅速收敛且无法区分。
- 小边际区间：在困难问题（小边际）上，估计量出现分歧。Sem1 高估真实置信度（正偏差），而 Sem2 低估（负偏差）。
关键理论结果：在小边际区间内，Sem2-ECE 实现的校准误差严格小于 Sem1-ECE。此外，Sem1 与 Sem2 之间的差距可作为问题难度的诊断指标；较大的差距表明这是一个困难的小边际问题。

3. 实验结果

该框架在三个开放性问题回答基准（SimpleQA、Humanity's Last Exam (HLE) 和 PopQA）上进行了评估，涵盖了五个领先的商业 LLM（OpenAI、Anthropic、Google、xAI、Mistral）。

收敛性：实证结果证实了理论预测。随着样本量增加，Sem1-ECE 和 Sem2-ECE 从相反方向收敛至同一极限（Sem1 从上方，Sem2 从下方）。
性能：Sem2-ECE 始终优于语言化置信度和 Sem1-ECE。在 15 个模型 - 基准对中，Sem2-ECE 在 12 对中实现了最低的校准误差。
区间结构：按问题边际分层显示，Sem1 与 Sem2 之间的性能差距在小边际（困难）区间最大，这与理论上的"Jensen 主导区间”（JDR）相符。
与语言化置信度的比较：虽然语言化置信度在特定情况下偶尔优于 Sem-ECE（例如 Anthropic 在 SimpleQA 上），但这发生在模型表现出高语义一致性但低事实准确性的时候。Sem-ECE 提供了一种独立于自我报告的外部参考，能够检测此类校准错误。

4. 主要贡献

框架：提出了 Sem-ECE，这是一个用于开放性问题回答的校准评估框架，无需 logits、多项选择题选项或手工编写的提取规则。
估计量：定义并分析了两种估计量（Sem1 和 Sem2），证明了它们的渐近无偏性，并刻画了它们在小边际区间内的偏差行为。
理论洞察：证明了将答案选择与置信度评估分离（Sem2）在困难问题上比同样本自一致性（Sem1）产生严格更小的校准误差。
诊断工具：表明 Sem1 与 Sem2 之间的差距可作为问题难度的简单、可观测的诊断指标。
实证验证：在多样化的模型和基准上验证了理论预测，显示 Sem-ECE 优于现有的黑盒方法。

5. 意义与主张

本文主张，Sem-ECE 通过将启发式频率得分替换为具有明确总体目标和可证明保证的估计量，使基于采样的校准评估建立在“原则性的统计基础”之上。

互补性：作者将 Sem-ECE 定位为语言化置信度的补充而非替代。它提供了一种不依赖模型自我报告的外部审计，这在内部概率不可用时至关重要。
实用价值：通过确定 Sem2-ECE 在困难问题上严格更优，该框架为评估高风险、高难度场景中的模型可信度提供了更可靠的指标。
诊断价值：两种估计量之间的分歧提供了一种新信号，用于识别模型不确定或语义一致性与事实正确性不一致的问题。

该研究得出结论：虽然改进校准性仍是关键的研究领域，但 Sem-ECE 为评估现代 LLM 主导部署场景（即开放生成）中的校准性提供了一种必要且统计严谨的工具。