💬 NLP

GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models

本文提出了 GrACE，一种通过微调使大语言模型利用特殊 Token 嵌入与隐藏状态相似度来实时生成可靠置信度的生成式方法，该方法在无需额外采样或辅助模型的情况下实现了卓越的校准性能，并支持基于置信度的测试时扩展策略以提升决策准确率并降低采样成本。

原作者： Zhaohan Zhang, Ziquan Liu, Ioannis Patras

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaohan Zhang, Ziquan Liu, Ioannis Patras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 GrACE 的新方法，旨在让大型语言模型（LLM，比如现在的各种 AI 聊天机器人）变得更“诚实”、更“靠谱”。

为了让你轻松理解，我们可以把 AI 想象成一个才华横溢但有点自负的学生，而 GrACE 就是他的**“自我反思教练”**。

1. 核心问题：AI 太爱“装”了

现在的 AI 很聪明，能回答各种问题。但在医疗、金融等高风险领域，我们不仅想知道答案，更想知道**“你有多确定这个答案是对的？”**

现状的尴尬：
- 方法一（事后诸葛亮）： 让 AI 先回答问题，然后再专门花时间去评估“我刚才答得对不对”。这就像考完试后，老师还要专门花半天时间给每个学生打分，太慢了，而且需要额外的老师（辅助模型），太贵了。
- 方法二（口头表达）： 让 AI 自己说“我很确定”或“我不太确定”。但这就像让那个学生用“大概”、“可能”、“绝对”这些词来描述分数。这些词太模糊了，而且 AI 往往过度自信，明明不会还嘴硬说“我确定”。

2. GrACE 的解决方案：给 AI 装个“诚实传感器”

GrACE 的核心思想是：让 AI 在回答问题的同时，直接“感觉”到它的自信程度，而不是靠嘴说。

创意比喻：特殊的“诚实令牌” ()
想象一下，我们在 AI 的词汇表里增加了一个特殊的、只有它懂的**“诚实令牌”**（就像试卷末尾的一个特殊符号 <CNF>）。
- 以前，AI 回答完问题就结束了。
- 现在，GrACE 训练 AI 在回答完问题后，必须生成这个特殊符号。
- 关键点： 这个符号生成的概率，直接代表了 AI 的自信程度。
  - 如果 AI 心里很有底，它生成这个符号的概率就很高（比如 95%）。
  - 如果 AI 心里没底，它生成这个符号的概率就很低（比如 10%）。
- 这就像给 AI 装了一个内置的测谎仪。它不需要说话，它的“潜意识”（隐藏状态）直接通过生成这个符号的概率告诉了我们真相。

3. 如何训练？（让 AI 学会“自知之明”）

怎么让这个 AI 真的学会诚实呢？

分组训练法： 研究人员把 AI 做过的题目按“它觉得自己有多对”分成几组。
- 如果一组题目里，AI 实际上对了 80%，那就告诉它：“当你觉得自己在这一组水平时，你的真实准确率应该是 80%。”
- 通过这种**“校准”**，AI 学会了把“内心的感觉”和“实际的准确率”对应起来。
结果： 经过训练，AI 不再瞎吹牛。它知道什么时候该自信，什么时候该谨慎。

4. GrACE 带来的两大好处

好处一：瞬间知道答案靠不靠谱（实时性）

比喻： 就像开车时，以前的系统要等你开完全程，再派个无人机飞回来检查路况；现在 GrACE 就像仪表盘上的实时警示灯。
效果： AI 在生成答案的同一瞬间，就能告诉你这个答案的可信度。不需要额外的步骤，速度极快，成本极低。

好处二：聪明地“省钱”（测试时扩展）

在解决难题时，我们通常会让 AI 多试几次（采样），然后选个最好的。

以前的做法： 不管题目难易，都让 AI 试 10 次，浪费算力。
GrACE 的做法：
- 如果 AI 试了第一次，自信度就高达 99%，系统立刻说：“停！不用试了，这个答案很稳，直接通过！”（省下了 9 次尝试）。
- 如果 AI 试了几次，自信度还是很低，系统就会说：“继续试，多试几次，直到找到高自信的答案。”
比喻： 这就像**“智能点菜”。如果你点了一道你非常熟悉的菜（高自信），厨师直接做给你吃；如果你点了一道复杂的菜（低自信），厨师会多试几种做法直到满意。这样既省时间**，又保证质量。

总结

GrACE 就像给 AI 装上了一套**“实时诚实反馈系统”**。

不靠嘴说，靠“感觉”： 用特殊的符号概率来量化自信，避免了语言描述的模糊和 AI 的过度自信。
又快又准： 不需要额外的计算步骤，回答的同时就知道答案靠不靠谱。
省钱省力： 能自动判断什么时候该停止尝试，大大减少了计算资源的浪费。

这项技术让 AI 在医疗、法律等需要高度可靠的领域变得更加安全、可信且高效。

以下是关于论文 GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models 的详细技术总结：

1. 研究背景与问题 (Problem)

大型语言模型（LLMs）在医疗、金融等高风险领域的应用日益广泛，因此让模型“知道它知道什么”（即具备可靠的置信度评估能力）至关重要。现有的置信度 elicitation（获取）方法存在以下主要局限性：

后生成方法 (Post-generation methods)：如 P(True) 或使用辅助模型，需要在生成答案后额外进行置信度评估。这增加了推理延迟（Latency），降低了人机交互效率，且计算开销大。
口头化置信度 (Verbalized confidence)：让模型用自然语言（如“很可能”、“不确定”）或数字字符串表达置信度。这种方法存在两个问题：一是语言表述模糊，缺乏量化标准；二是模型往往表现出过度自信（Overconfidence），校准效果差。
缺乏实时性：现有方法难以在生成过程中实时提供既具有区分度（Discriminative）又经过校准（Calibrated）的置信度分数，限制了其在测试时扩展（Test-Time Scaling, TTS）等场景的应用。

2. 方法论 (Methodology)

作者提出了 GrACE (Generative Approach to Confidence Elicitation)，一种在生成过程中实时获取校准置信度的新方法。

核心机制

特殊 Token 引入：在词表中添加一个特殊的 Token <CNF>。
生成式置信度表达：模型被微调为在回答末尾生成 <CNF>。置信度分数并非通过文本生成，而是通过计算最后一层隐藏状态 ( $z_L$ $z_{L}$ ) 与 <CNF> 的嵌入向量 ( $e_{<CNF>}$ $e_{< C N F >}$ ) 之间的相似度来获得。
- 公式： $c = \text{sim}(z_L, e_{<CNF>})$ 。
- 利用语言模型头（LM Head）的固有特性，将相似度映射为概率分布中的概率值。
训练目标与校准：
- 目标构建：使用线性探针（Linear Probe）从模型内部获取未校准的置信度分数，通过 K 折分箱（K-fold binning）将数据分组，将每组的实际准确率作为该组样本的校准目标（Target Confidence）。
- 损失函数：结合监督微调损失（SFT Loss，保持模型生成能力）和校准损失（MSE Loss，使生成的 <CNF> 概率与校准目标一致）。
- 高效微调：仅使用 LoRA 微调模型参数和 <CNF> 的嵌入向量，计算成本极低。

测试时扩展 (Test-Time Scaling, TTS) 策略

GrACE 生成的实时置信度被用于优化 TTS 策略：

GrACE-SC (加权自洽性)：在自洽性（Self-Consistency）投票中，不再简单计数，而是根据每个样本的 GrACE 置信度进行加权投票，提高决策准确性。
GrACE-ES (自适应早停)：在采样过程中，一旦生成的样本置信度超过预设阈值 $\tau$ ，立即停止采样并输出该答案。这显著减少了不必要的采样次数，提高了推理效率。

3. 主要贡献 (Key Contributions)

提出 GrACE 框架：一种新颖的、可扩展的生成式置信度获取机制。它无需辅助模型，无需额外采样，即可在生成阶段实时输出高保真、校准良好的置信度分数。
设计 TTS 集成策略：将实时置信度融入自洽性投票和自适应早停策略中，在提升最终决策准确性的同时，显著降低了所需的采样数量。
广泛的实验验证：
- 在开放域生成任务（TriviaQA, SciQ）上，GrACE 在 ECE（期望校准误差）、Brier 分数和 AUROC 指标上均优于当前最先进的方法（如 Apricot, ActCab 等）。
- 展现了极强的域泛化能力，在未见过的领域（OOD）中表现依然稳健。
- 在 TTS 任务（MathQA, ARC_C）中，不仅提升了准确率（平均提升约 1.54%），还大幅减少了采样需求（部分场景下仅需 1 次采样即可停止）。

4. 实验结果 (Results)

校准性能：在 Llama-3.1-8B 模型上，GrACE 的 ECE 比 Apricot 降低了 2.6%，Brier 分数降低了 1.8%，AUROC 提升了 4.4%。相比之下，口头化置信度方法（Verbal）往往表现出严重的过度自信（ECE 极高）。
泛化性：在跨数据集测试（如从 TriviaQA 训练，在 SciQ 测试）中，GrACE 的 ECE 仅增加约 3.3%，而 Apricot 等依赖语义的方法性能下降明显（AUROC 下降约 16%）。
TTS 效率：使用 GrACE-ES 策略，在 MathQA 数据集上，38.6% 的查询在第一个样本置信度达标后即停止采样；在较简单的 ARC_C 数据集上，这一比例高达 80.1%，极大地节省了计算资源。

5. 意义与影响 (Significance)

实际部署价值：GrACE 解决了 LLM 在高风险应用中缺乏可靠、实时置信度评估的痛点，无需昂贵的额外计算开销即可实现“边生成边评估”。
推理效率优化：为测试时扩展（Test-Time Scaling）提供了一种高效的控制机制，使得模型能够在保证质量的前提下动态调整计算资源，避免无效采样。
方法论创新：证明了通过微调模型内部表示（隐藏状态与特殊 Token 的相似度）来直接量化置信度，比生成文本或依赖外部模型更为精准和高效。

局限性：目前 GrACE 仅能提供针对整个生成响应的单一置信度分数，无法细化到生成过程中的每一个断言或思维链（Chain-of-Thought）的每一步；此外，它主要关注事实性（Factuality），尚未涵盖回答的完整性等其他维度。