💬 NLP

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

该论文提出了 SAGE，一种语义答案引导的熵目标，并结合了组不确定性偏好优化（GUPO），旨在使大语言模型的语言不确定性表达与其真实的采样行为保持一致，从而在多种推理任务中提高校准度并降低过度自信。

原作者： Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：自信的骗子

想象一下，你正在问一个非常聪明但有点紧张的机器人问题。有时，机器人对答案了如指掌；有时，它在瞎猜，但它自己却没意识到自己在瞎猜。

问题不仅在于机器人会出错，更在于当它出错时，它听起来竟然和答对时一样自信。它可能会用极其流畅的语气说：“我百分之百确定法国的首都是伦敦。”这很危险，因为用户会因此信任机器人，从而做出错误的决策。

研究人员希望教会机器人：当它不确定时，应该说“我不确定”。但如何教会一个机器人去诚实地面对自己的困惑呢？

旧方法：让机器人去猜

以前，研究人员尝试通过向机器人展示一些“诚实”回答的例子来训练它。他们会说：“当你没把握时，要说‘我不确定’。”

缺陷： 这就像是通过只给学生看一道特定的测试题，来教学生如何说“我不知道”。如果学生遇到一个他们以为自己知道的问题，他们可能仍然会自信地瞎猜。旧方法并没有观察机器人行为的大局。它们只关注单个答案并试图修复它，却忽略了机器人内部可能正在“掷硬币”决定答案这一事实。

新思路：“群体展开”（Group Rollout）

作者意识到，要判断一个机器人是否真的不确定，你必须对同一个问题问 20 次，看看会发生什么。

稳定群体（Stable Group）： 如果你问 20 次，机器人给出的答案 20 次都一样，那么它是自信的。它应该说：“我很确定。”
分散群体（Dispersed Group）： 如果你问 20 次，它给出了 20 个不同的答案（或 10 个不同的答案），那么它很困惑。它应该说：“我不确定。”

这被称为群体展开（Group Rollout）。这就像是在询问一个由 20 人组成的委员会同一个问题。如果大家意见一致，这个群体就是自信的；如果大家在争论，这个群体就是不确定的。

陷阱：“糟糕的计分卡”

这里是这篇论文的高明之处。仅仅拥有 20 个答案是不够的。你需要一种计分方式来衡量这个群体有多不确定。作者发现现有的评分方法是有问题的：

“精确匹配”评分 (MAF)： 这种方法只计算出现了多少次完全相同的单词。
- 类比： 想象一个委员会在投票选颜色。如果 10 个人说“红色”，另外 10 个人说“深红”，这个计分卡会认为他们完全产生了分歧（50/50），因为单词不同。但实际上他们对颜色的看法是一致的！这个计分卡过于严苛，忽略了其中的细微差别。
“语义聚类”评分 (SE)： 它将含义相似的内容归为一类。
- 类比： 这比上一个好一点，但它像是一个拿着死板名单的夜店保安。如果你稍微偏离了名单，你就会立刻被踢出“是”的组别，扔进“否”的组别。这个分数会像坏掉的电梯一样剧烈跳动，让机器人很难平滑地学习。
“通用相似性”评分 (KLE)： 它观察句子听起来有多像。
- 类比： 这是最危险的一个。想象一个委员会在投票解决数学题。一个人说“52”，另一个人说“53”。在普通人听来，这两个数字非常接近。这个计分卡会认为：“哦，它们非常相似，所以这个群体很自信！”但在数学中，52 和 53 是完全不同的答案。这个计分卡会误导机器人，让它以为自己很自信，而实际上它错了。

解决方案：SAGE（智能计分卡）

作者创建了一种名为 SAGE（语义-答案引导熵）的新型评分系统。

把 SAGE 想象成一个智能计分卡，它能同时理解两件事：

氛围（The Vibe）： 它观察句子的听感（语言相似性）。
真相（The Truth）： 它检查实际答案是否兼容（答案等价性）。

它是如何工作的：

如果委员会说“红色”和“深红”，SAGE 看到它们意思相同，就会给出较低的不确定性评分（好！）。
如果委员会说“52”和“53”，SAGE 看到尽管它们听起来很像，但在数学上是不同的。它会给出较高的不确定性评分（好！）。
它的变化是平滑的，因此机器人能获得清晰、稳定的信号来调整自己的信心，而不是接收到一个跳跃、混乱的信号。

训练方法：GUPO

一旦拥有了这个完美的计分卡（SAGE），他们就使用一种新的训练方法叫做 GUPO。

与其试图修复机器人的整个回答（包括故事、推理过程和最终的事实），GUPO 只专注于信心部分。

类比： 想象一位老师在批改学生的作文。老师不是重写整个故事，而是仅仅圈出学生说“我百分之百确定”的那句话，然后说：“事实上，看看你的其他草稿。你当时是在瞎猜。请把这句话改为‘我不确定’。”
GUPO 正是这样做的。它保持机器人的推理和事实不变，只训练机器人根据群体的实际情况来改变其“不确定性陈述”。

实验结果

作者在三类任务上测试了该方法：

事实类：（例如：“谁写了这本书？”）
数学类：（例如：“52 + 3 等于多少？”）
选择题：（例如：“答案是 A、B、C 还是 D？”）

在所有案例中，使用 SAGE 和 GUPO 训练的机器人都能更好地识别自己何时不确定。它们不再是过度自信的骗子。当答案群体显得混乱时，它们学会了说“我不知道”；当群体达成一致时，它们学会了说“我知道”。

总结

这篇论文指出，要教会机器人诚实地对待自己的不确定性，你不能只看一个答案。你必须观察一组答案。但你也需要一个特殊的“计分卡”（SAGE），它既能理解“红色”和“深红”是同一种意思，也能理解“52”和“53”并不是。有了这个智能计分卡，机器人就能学会让自己的信心与实际能力相匹配，从而成为一个更可靠的伙伴。

技术摘要：SAGE —— 用于言语不确定性对齐的答案条件不确定性目标

问题陈述

大型语言模型（LLMs）经常在底层答案不确定或缺乏支持时，生成流畅且看似合理的文本，这可能导致具有严重现实后果的幻觉问题。虽然研究人员已经探索了利用内部信号（如 token 概率）和基于采样的信号来估计不确定性，但言语不确定性（Verbal Uncertainty）——即模型明确表达其置信度（例如，“我有 80% 的把握”）——为用户提供了一个直接且可解释的信号。

然而，在**言语不确定性对齐（Verbal Uncertainty Alignment）**方面存在一个关键差距：所表达的不确定性往往无法反映模型的实际行为可靠性。现有方法将不确定性校准视为响应层面的问题（例如，针对单个输出进行监督微调或成对偏好优化）。作者认为这从根本上是不充分的，因为单个响应无法揭示模型的概率质量是集中在那个答案上，还是分散在多个合理的备选答案中。这造成了“分布盲区（Distributional Blindness）”，即模型学会了模仿不确定性表达，却未能学习将其与自身响应分布的稳定性相对齐。

此外，虽然组级目标（Group-level Targets）（通过重复采样来估计不确定性）在理论上是合理的，但现有方法受到“奖励信号瓶颈（Reward-Signal Bottleneck）”的限制：

最大答案频率（MAF）： 虽然忠实于答案稳定性，但过于粗糙；它忽略了语义距离和推理变化，如果多数派计数相同，则会将不同的组映射为相同的得分。
语义熵（SE）： 通过硬性的语义聚类处理同义词，但会产生不连续且粗糙的奖励。聚类内的微小变化不会产生信号，而跨越边界则会导致离散的跳跃。
核语言熵（KLE）： 通过连续的嵌入相似性提供平滑信号，但无法保留任务关键的答案区别。由于通用的嵌入几何结构，它可能会将互斥的选项（例如“A”与“B”）或不同的数值视为高度相似，从而导致低估不确定性。

方法论

论文提出了一个两部分的框架来解决这些局限性：用于目标构建的 SAGE（语义-答案引导熵）和用于训练的 GUPO（组不确定性偏好优化）。

1. SAGE：语义-答案引导熵

SAGE 是一种组级自不确定性目标，旨在构建答案条件的确定性几何结构。其目标是同时具备答案忠实性、奖励平滑性和尺度保持性。

语言核（Linguistic Kernel）： 它首先基于包含答案内容的响应 $z_i$ 构建一个连续的语义相似性核 $K_{ling}$ ，用于测量平滑的语义相似性。
答案等价核（Answer-Equivalence Kernel）： 为了防止通用嵌入模糊任务关键的区别，SAGE 引入了一个任务特定的二元答案等价核 $K_{ans}^{bin}$ 。该核对等价答案（例如，相同的多选题标签、归一化的数值或经过验证的符号表达式）赋值为 1，否则为 0。
软底座（Soft Floor）： 为了避免硬聚类的间断性，SAGE 采用了“软底座”机制：
$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$
其中 $c \in [0, 1]$ 控制答案分离的程度。 $c=0$ 强制执行硬分离， $c=1$ 则恢复纯粹的语言相似性。
组合核： 最终的核结合了语言相似性和答案感知相似性：
$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$
熵计算： 将核矩阵归一化为密度矩阵 $P_A$ ，SAGE 定义为 $P_A$ 的归一化冯·诺依曼熵（von Neumann entropy）。较低的熵表示响应集中（低不确定性），而较高的熵表示含义、推理路径或最终答案的离散分布。

2. GUPO：组不确定性偏好优化

GUPO 是一个利用 SAGE 作为监督信号的训练框架。与优化整个响应的标准方法不同，GUPO 仅优化响应 $y_i = (z_i, v_i)$ 中的不确定性通道（ $v_i$ ）。

偏好构建： 对于一组 $K$ 个采样的响应，奖励 $r_i$ 根据表达的不确定性 $\hat{u}(v_i)$ 与 SAGE 目标 $t(G_x)$ 之间的距离计算得出。
优化： GUPO 在组内应用偏好分布，优化策略以最大化与组级目标更匹配的不确定性表达的对数似然。其公式如下：
$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$
其中 $p_i^{cal}$ 是由奖励分数推导出的偏好概率。

核心贡献

问题表述： 作者将言语不确定性对齐识别为一个分布校准问题，并指出了现有组级目标（MAF, SE, KLE）中限制其有效性的“奖励信号瓶颈”。
SAGE 目标： 他们引入了 SAGE，一种新型的熵目标，它在响应几何结构中注入了答案感知的结构。它在保持平滑性的同时，纠正了通用指标无法区分不兼容答案（如不同的选项标签或不同的数字）的缺陷。
GUPO 框架： 他们提出了 GUPO，一个不确定性通道偏好优化框架，将言语不测性的校准与完整响应内容的优化解耦。
实验验证： 该方法在三种不同的答案格式下得到了验证：事实问答（TriviaQA）、数学推理（MATH-500）和多项选择推理（MMLU-Pro）。

结果

实验表明，GUPO + SAGE 在所有基准测试中始终优于现有的基线方法（包括 Direct Verbalized, CoT, CSFT, 和 LoVeC-DPO）以及其他的组级目标（MAF, SE, KLE）。

校准度： 该方法在所有基准测试中实现了最低的 Brier 分数 和 期望校准误差（ECE）。例如，在 MMLU-Pro 上，GUPO+SAGE 将 ECE 从次优基线的 0.179 降低到了 0.113。
不确定性排序： 它显著提高了 Spearian 相关系数，表明模型的表达不确定性能更好地根据其实际可靠性对示例进行排序。
选择准确率： 该框架带来了实质性的增益，特别是在高置信度子集准确率方面（在 MMLU-Pro 的各种置信度阈值下提升了 22.4 到 33.0 个百分点），证明了被分配较低不确定性的预测更有可能正确。
可迁移性： 这些改进在不同规模的模型（Qwen2.5-1.5B, 3B, 和 7B）上均成立，表明该方法并不依赖于特定的骨干网络容量。

意义与主张

论文声称，只有当目标构建和优化通道都得到妥善设计时，组级行为不确定性才能被蒸馏到单响应的言语不确定性表达中。

解决目标差距： 作者认为，如果没有像 SAGE 这样可靠的、具备答案感知的目标，奖励信号会坍缩为噪声或捷径，从而阻止优化器区分校准后的不确定性与表象模式。
行为对齐： 这项工作将范式从学习如何“说出”不确定性，转向学习如何“反映”模型自身采样的稳定性。
实际效用： 通过改善言语不确定性的排序和尺度，该框架能够实现更有效的下游决策，例如信任、验证或放弃模型输出。

局限性： 作者谦虚地指出，他们的方法对齐的是行为自不确定性（采样的稳定性），而非必然的外部正确性（真实性）。一个模型可以是稳定的但却是错误的。因此，SAGE 被呈现为作为基于正确性的校准和外部验证的补充，而非替代品，特别是在需要领域特定证据的高风险领域（如医学或法律）。此外，目标的质量取决于答案提取和等价模块的可靠性。