🤖 AI

Proper Scoring Rules for Agentic Uncertainty Quantification

本文介绍了轨迹严格评分（TPS），这是一种严格评分规则，能够严谨地 eliciting 语言模型智能体的完整前缀条件成功概率轨迹，从而解决现有指标在智能体不确定性量化中无法区分排序性能与概率真实性这一局限。

原作者： Suresh Raghu, Satwik Pandey, Shashwat Pandey

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Suresh Raghu, Satwik Pandey, Shashwat Pandey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在观察一个机器人代理尝试解决一个复杂的谜题，比如 navigating 迷宫或回答一个棘手的谜语。随着机器人工作，它不仅仅给出最终答案；它会自言自语，做出移动，检查自己的工作，并偶尔说：“我想我快要答对了，”或者“我不再确定了。”

长期以来，研究人员一直试图根据这些机器人表达不确定性的程度来给它们打分。但本文认为，当前的评分系统就像只根据是否点单正确来评判一位厨师，而不品尝食物以了解他们是否真正知道那道菜有多好。

以下是本文的核心思想，通过简单的类比分解说明：

1. 问题：评判“排名”而非“真相”

目前，大多数针对这些机器人的测试都关注排名。

类比：想象一位老师根据学生的学习习惯给学生打分。老师只看学生的期末考试成绩。如果学习最努力的学生取得了最高分，老师就会说：“太棒了！学习方法有效！”
缺陷：老师并不关心学生是否认为自己有 99% 的通过几率，而实际上只有 50% 的几率。学生可能极度自信，但只是运气好。
本文观点：现有的测试（如 AUROC 或 Trajectory ECE）就像那位老师。它们检查机器人的置信度是否将正确答案的排名置于错误答案之上。但它们并不检查机器人的具体数值（例如"80% 的几率”）是否真的与现实相符。一个机器人可以是一个出色的“排名者”，但却是一个糟糕的“真相陈述者”。

2. 解决方案：“轨迹严格评分”（TPS）

作者引入了一种新的评分系统，称为TPS。

类比：TPS 不像只看期末考试，而像一位教练，一步步观察机器人的表现。每当机器人做出一个动作，教练就会问：“你说从这一点开始有 70% 的成功几率。那是诚实的吗？”
工作原理：本文使用了一种名为“严格严格评分规则”的数学工具。你可以将其理解为一种只有在你说实话时才有效的惩罚系统。
- 如果你说"90%"却失败了，你会受到巨大的惩罚。
- 如果你说"50%"却失败了，你会受到轻微的惩罚。
- 获得最佳分数的唯一方法是准确说出真正的几率。
结果：TPS 迫使机器人在旅程的每一个步骤都诚实地评估其成功几率，而不仅仅是在最后。

3. “截断”问题：当游戏提前停止时

有时，机器人在完成任务之前时间耗尽或达到限制。在过去，研究人员会直接丢弃这些未完成的尝试。

类比：想象一位马拉松运动员在第 20 英里处崩溃。如果你只计算完成比赛的人，你就会错过那些挣扎的运动员的数据。
本文的修正：作者创造了一种公平评分这些“未完成”运行的方法。他们使用了一种称为“条件投影”的技术。
- 简化版：如果机器人提前停止，而我们不知道它本是否会成功，系统会假设最坏的情况（即失败）以确保安全。
- 进阶版：如果我们能估计它如果继续下去成功的几率，系统就会使用该估计值来公平地评分未完成的运行。
重要性：本文发现，在一个购物任务（WebShop）中，几乎有一半的尝试被中途打断。如果你忽略它们，你就会得到关于机器人表现的错误图景。当他们包含这些“被截断”的尝试时，机器人的评分实际上发生了显著变化。

4. 重大发现：重新校准改变了一切

作者进行了实验，将机器人的原始置信度数值进行“重新校准”（修正使其更诚实）。

类比：想象一位气象预报员总是说“降雨几率为 90%"。如果下雨的频率确实是 90%，那么他就是一个“好的排名者”（他正确预测了下雨的日子）。但如果他说"90%"时，实际几率只有"50%"，那么他就是一个糟糕的“真相陈述者”。
结果：当他们修正机器人的数值使其更诚实后：
- 旧的测试（排名）几乎没有察觉到变化。机器人仍然将正确答案的排名置于最佳位置。
- 新的测试（TPS）看到了巨大的改进。机器人现在诚实地陈述了其成功几率。
为何这是大事：如果你使用机器人来决定是否呼叫人类协助（即“交接”），你需要知道真实的概率，而不仅仅是排名。如果机器人认为自己有 90% 的把握，但实际上只有 50% 的把握，你可能本应呼叫协助却没有呼叫。

总结

本文指出：停止仅仅根据机器人认为谁会赢来给它们打分。开始根据它们是否真正了解几率来给它们打分。

他们建立了一个新的记分牌（TPS），它：

检查机器人在每一个步骤的置信度。
奖励诚实，而不仅仅是“幸运”或“排名靠前”。
能够处理机器人时间耗尽的情况，而不会丢弃数据。

实验表明，使用这个新的记分牌揭示了机器人在表达不确定性方面的重大错误，而这些错误是旧的记分牌完全遗漏的。

技术摘要：用于智能体不确定性量化的严格评分规则

问题陈述

语言模型智能体越来越多地通过涉及观察、推理、工具使用和计划修订的扩展轨迹进行运作。在这些场景中，不确定性不仅仅是最终答案的属性，而是随着交互历史演变的动态信号。尽管近期工作已转向生成轨迹级不确定性信号（例如逐步校准、传播的不确定性），但对这些信号的评估仍存在缺陷。

现有的评估指标，如 AUROC、AUPRC、轨迹期望校准误差（T-ECE）和标量化的轨迹 Brier 分数，混淆了排序有用性与概率真实性。

基于排名的指标（AUROC/AUPRC） 衡量区分度，但对概率的单调变换具有不变性，无法区分校准良好的概率与过度自信/信心不足导致的扭曲。
校准指标（T-ECE） 衡量分箱边际校准，但“无视分辨率”，即使分箱内缺乏区分力，只要分箱内的预测在平均意义上正确，就会给予奖励。
标量化严格评分（例如对坍缩的轨迹摘要应用 Brier 损失） 仅对坍缩后的标量是严格严格的，而非对整个前缀条件概率轨迹是严格严格的。

核心问题在于缺乏针对前缀条件成功概率过程（ $q_t = P_\pi(Y=1 | H_t)$ ）的严格评估器。如果没有这样的评估器，就不可能从智能体中严格 eliciting（诱导出）真实的概率轨迹，而这对于依赖于概率标度而非仅仅是排名的下游干预（如延迟、反思或人工交接）至关重要。

方法论

1. 轨迹严格评分（TPS）

作者引入了轨迹严格评分（TPS），这是一个与预测器无关的、针对轨迹级不确定性的严格评分规则族。

定义：TPS 将严格严格的二元评分规则（ $S_{\alpha,\beta}$ ）在轨迹步骤上进行聚合，并加权由评估者选择的调度（ $w_t$ ）：
$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$
其中 $F_t$ 是智能体根据历史 $H_t$ 报告的最终成功概率， $Y$ 是终端结果。
严格严格性：作者证明（定理 4.1），如果底层二元评分是严格严格的且权重为正，则 TPS 对整个前缀条件过程是严格严格的。这意味着，当智能体在每一步报告真实条件概率 $q_t$ 时，期望得分是唯一最大化的。
评分族：该方法利用源自 Schervish–Buja 阈值混合构造的beta 族评分（ $S_{\alpha,\beta}$ ）。该族包括对数评分（极限情况）、Brier 评分（ $\alpha=\beta=1$ ），并允许通过参数 $\alpha$ 和 $\beta$ 进行非对称成本塑造。

2. 处理截断轨迹

在实际基准测试中，轨迹往往在观察到结果 $Y$ 之前因管理原因被截断（例如达到步数预算）。本文通过条件投影将 TPS 扩展至这些情况：

精确缩减评分（ $TPS^{cen,exact}$ ）：通过将完整数据评分投影到可观测前缀上，作者推导出了一个精确的截断评分，该评分依赖于停止点处的延续成功概率 $q_Z = P_\pi(Y=1 | H_Z)$ 。该评分对可观测前缀是严格严格的。
简单截断近似（ $TPS^{cen,simple}$ ）：当 $q_Z$ 未估计时，作者提出了一种悲观的操作近似，设定 $q_Z \approx 0$ 。这实际上将截断前缀评分为仿佛发生了失败分支。作者证明，这对于伪标签目标（ $m_t = P_\pi(\Delta=1, Y=1 | H_t)$ ）是严格严格的，仅当缺失的成功质量为零时，该目标才收敛于真实目标。

3. 现有指标的理论局限性

本文正式证明（定理 A 和 B）了常见指标为何无法 eliciting 完整轨迹：

T-ECE 无视分辨率；即使丢弃了所有分箱内的变化，等于分箱平均值的恒定预测也能实现零误差。
应用于聚合轨迹的标量化 Brier/对数损失（例如 $\Phi_{last}, \Phi_{avg}, \Phi_{min}$ ）仅 eliciting 坍缩后的标量，而非轨迹。对于 $\Phi_{avg}$ 或 $\Phi_{min}$ 等聚合器，真实轨迹可能严格劣于操纵聚合以匹配最优标量的非真实轨迹。

主要结果

1. 校准不变性差距

在 Tau2-Bench 上的实验揭示了基于排名的指标与严格评分指标之间的显著差异。

重校准效应：当使用 Platt 缩放对口头置信信号进行重校准时，AUROC 变化微乎其微（ $\Delta/SE \approx 0.3$ ），而 TPS（对数端点） 显著改善（ $\Delta/SE \approx 43$ ）。
含义：排名指标未能检测到原始流存在严重校准不足（饱和于 0.9–1.0 附近），而 TPS 正确识别了概率标度误差。尽管排名表现相似，但重校准后的流在 TPS 中 barely 超过基率参考。

2. 截断的影响

在 WebShop 上，47% 的轨迹因管理原因被截断（达到步数限制），评估群体发生了显著变化。

选择偏差：仅评估完整轨迹丢弃了结构上更难的轨迹子集（被截断的轨迹长度是完整轨迹的 3 倍）。
评分偏移：通过简单截断近似包含截断轨迹，与仅评估完整轨迹相比，平均 TPS 偏移了 +0.159 nats（95% CI: [+0.133, +0.188]）。
预测器敏感性：这种偏移对信心不足的预测器为正，但对过度自信的预测器（如完成 token 概率）为负，表明考虑截断的评分会根据信心机制改变判定结果。

3. 截断扩展的验证

人工截断：在来自 StrategyQA、Tau2-Bench 和 HotpotQA 的完整轨迹上，作者人为截断了结果。截断评分的闭式分解与直接计算的差异在数值精度上吻合，验证了理论推导。
蒙特卡洛审计：在 HotpotQA 上，作者通过蒙特卡洛 rollout 估计了 $q_Z$ 。精确缩减评分与简单的 $q_Z \approx 0$ 近似存在实质性差异，证实了 $q_Z$ 估计的选择会影响最终评分。

意义与主张

本文声称建立了智能体不确定性严格评估的基础框架。其意义在于：

分离 elicitation 与排名：它证明了排名指标（AUROC）和校准指标（ECE）并不能严格 eliciting 概率决策所需的完整概率轨迹。
严格评分的操作必要性：实证结果表明，概率重校准可以极大地改变 TPS 判定，而排名指标保持不变。这意味着，对于依赖概率阈值（延迟、交接）的应用，当前的评估实践可能是误导性的。
处理现实世界约束：通过将严格评分扩展到管理截断的轨迹，本文提供了一种方法，可以在具有步数预算的基准测试中评估智能体，而无需丢弃困难、被截断的案例或错误标记它们。

作者保持了适度的范围，指出该框架假设非信息性的管理截断，并针对二元终端结果。他们明确表示，这项工作侧重于不确定性信号的评估器侧严格性，区别于用于生成这些信号的预测器侧方法。只要信号表达为前缀条件成功概率，TPS 框架就与信号来源（口头置信度、token 概率等）无关。