💻 computer science

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

本文介绍了 Critic Experience Bank，这是一个无需训练、自我进化的框架，它通过利用后验反馈来填充过去经验的记忆库，从而在不需要地面真值标签的情况下，显著提升了 LLM 智能体在步骤级置信度估计方面的校准与排序性能。

原作者： Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款高风险的电子游戏，你的角色是一个 AI 智能体。在这款游戏中，你做的每一个动作——点击按钮、输入命令或轻触屏幕——都会改变周围的世界。如果你走错一步，你可能会陷入死胡同、删除一个关键文件，或者让你的角色陷入一场浪费所有时间的徒劳搜索。可怕的是，直到事情发生之后，你才会知道自己搞砸了。

长期以来，AI 专家试图通过在行动前询问 AI：“你对这个动作有多大把握？”来解决这个问题。但本文指出，这种方法就像是在问一位旅行者：“你确定这条路通向宝藏吗？”却从未让他们看一眼之前其他旅行者留下的地图。AI 可能会因为眼前的路径看起来很美而感到自信，但它根本不知道这条路是否会导致悬崖，因为它没有基于过去的经验进行判断。

问题所在：“失忆症”评论家

作者认为，标准的 AI 置信度检查对于这些交互式智能体来说是失效的。它们是“响应级”的检查，这意味着它们只评判 AI 即将输出的文本，而忽略了采取行动后发生的混乱现实。

这就像一位厨师在端出汤品之前先尝了一下味道，却完全不记得上次加盐时，顾客是赞不绝口还是直接吐了出来。论文表明，当你将这些标准的“味觉测试”应用于复杂的任务（如浏览网页或控制手机）时，AI 的置信度表现得极其不稳定。它经常在应该自信时出错，在应该怀疑时却表现得过于自信。

解决方案：评论家经验库 (Critic Experience Bank, CEB)

为了解决这个问题，研究人员构建了一个被称为评论家经验库 (CEB) 的系统。

想象一下，AI 拥有一个神奇的、自动更新的日记本。它是这样运作的：

行动： AI 尝试执行某个操作（比如点击“购买”按钮）。
猜测： 在点击之前，一个“评论家”AI（一个聪明的裁判）观察当前情况并猜测：“我有 80% 的把握这是一个好动作。”
现实检查： 智能体实际执行了点击。世界发生了变化。它是成功购买了商品？还是导致页面崩溃了？
事后回顾： 在整个任务完成后，一个“事后 AI”会回顾整个过程。它会说：“嘿，刚才那个‘购买’点击其实奏效了！”或者“不，那是个陷阱。”
记忆： 这个结果会被记录到经验库中，作为一条微小的笔记：“在类似这种情况下，做那个动作是有效的（或无效的）。”

下次面对类似情况时，评论家不再仅仅是凭直觉猜测。它会翻开日记本，寻找最相似的过往笔记，然后说：“噢，我明白了！上次我们遇到类似情况时，这样做奏效了。但在前一次，它失败了。所以，这次我的信心只有 60%。”

神奇之处在于，评论家 AI 本身并不会改变它的“大脑”（它的权重保持不变）。它不需要被重新训练，它只是通过阅读自己关于成功与失败的过往经历变得更加聪明。

本文排除了哪些可能性

作者非常明确地指出了哪些方法在这里是行不通的。他们明确反对：

仅仅要求 AI “深入思考”（思维链/Chain of Thought）： 虽然让 AI 解释其推理过程会有所帮助，但如果 AI 没有关于采取行动后实际发生了什么的记录，这仍然不够。
观察“Token 不确定性”： 这是指检查 AI 内部数学计算的波动程度。论文发现这在这些任务中效果极差。这就像是通过观察司机握方向盘的手是否颤抖来判断驾驶技术，却忽略了他们是否真的击中了目标。
训练新模型： 你不需要花费数周时间从头开始教一个新 AI。这种方法适用于你现有的 AI，只需给它一个记忆库即可。

结果：我们的确定性如何？

研究人员在三种截然不同的“游戏”类型上进行了测试：浏览网页 (Mind2Web)、控制手机 (AMEX) 以及在计算机终端中输入命令 (InterCode-Bash)。他们使用了三种不同的 AI 大脑来驱动这些智能体。

结果表明，CEB 带来了巨大的提升。

校准度 (Calibration)： 在 AI 领域，“校准”意味着“置信度数值是否符合现实”。如果 AI 说“90% 确定”，那么它应该在 90% 的情况下是正确的。论文使用 ECE（期望校准误差）来衡量这一点。数值越低越好。
数据表现： 与不需要训练的最佳现有方法相比，CEB 将误差降低了高达 54%。例如，在 Mind2Web 数据集配合特定 AI 模型 (GPT-5.4) 的情况下，误差从 0.319 降至 0.176。
排序能力： 它在区分好动作与坏动作方面也表现更好（通过 AUC 衡量，数值越高越好），达到了如 Mind2Web 上 0.704 这样的分数，击败了所有其他方法。

论文还模拟了一个场景：人类（或一个完美的“先知/Oracle”）仅审查 AI 置信度最低的动作。当 AI 使用 CEB 时，整个任务的最终成功率大幅跳升。例如，在 Mind2Web 上，如果允许 AI 将其 3 个最不确定的猜测提交人工审查，成功率会从基础的 2.1% 跳升至 23.7%，这已经非常接近完美“先知”的得分 34.9%。

“自我进化”的转折

最酷的部分之一是，这个经验库在初始状态是空的。随着 AI 执行更多任务，经验库会逐渐填满，AI 会变得越来越擅长判断自己的动作。论文指出，随着 AI 积累的经验越多，其置信度的可靠性就越高。这是一个通过积累自身历史记录来学习，而无需人类来批改作业的系统。

简而言之，论文表明，如果你希望 AI 智能体在现实世界中安全且可靠，你不应该仅仅询问它有多确定。你应该给它一份关于过去错误与胜利的日记，这样它才能在有证据支持的情况下，学会信任自己的直觉。

技术摘要：批评家经验库 (Critic Experience Bank, CEB)

问题定义

大语言模型 (LLM) 智能体越来越多地在外部环境中（网页、移动端 GUI、Shell）运行，这些环境中的动作会改变其所依赖的状态。在这种设置下，单个错误步骤可能会在观察到最终任务失败之前，就浪费掉交互预算或触发不可逆的副作用。因此，最终的任务成功对于部署而言，是一个不足以衡量可靠性的信号。

核心挑战在于步级置信度估计 (step-level confidence estimation)：即需要在提议的动作执行之前，生成一个经过校准的概率，以判断该动作是否具有生产力。现有的置信度估计方法（如 Token Logits、口头表达置信度、一致性检查）主要设计用于响应级的评分。它们基于即时上下文评估单个提议的步骤，但未能考虑到执行后果——具体而言，即在环境响应后，在类似情境下执行类似动作是否真的推进了任务。这种结构性差距导致随着交互过程的展开，标准信号无法实现稳定的校准，因为标准信号无法从静态响应生成平滑地迁移到动态智能体执行中。

方法论：批评家经验库 (CEB)

作者提出了批评家经验库 (CEB)，这是一个训练无关、自进化的批评家框架，旨在推理阶段运行，无需地面真值（ground truth）步级标签或可训练的验证器。

核心机制

CEB 通过一个包含事后标注（hindsight-labeled）执行经验的记忆库来增强固定的 LLM 批评家。该框架基于这样一个前提：智能体经常在相关的上下文中面临重复的决策。与其仅根据当前的查询来判断每一次重复，不如让批评家从其自身的过去判断及其观察到的后果中检索先例。

该流水线由两个阶段组成：

在线评分 (Online Scoring)： 在每个步骤 $t$ ，智能体基于任务 $q$ 、当前状态 $s_t$ 和历史 $h_{<t}$ 提议一个动作 $a_t$ 。在执行之前，冻结的 LLM 批评家估计置信度分数 $\hat{z}_t$ 。为此，批评家会被提示当前的上下文以及从经验库中检索到的对比示例 (contrastive examples)。这些示例使用复合键（任务、状态、动作）进行检索，并同时包含生产性的（ $B^+$ ）和非生产性的（ $B^-$ ）过往记录。提示词还包含一个重复标志，用于检测短循环。
事后更新 (Hindsight Update)： 在一条轨迹 $\tau$ 完成后，“事后 LLM” ( $g_\phi$ ) 会观察完整的状态、动作和观察序列。它通过对 $V$ 个样本进行多数投票，对每一步是否具有生产力进行投票，从而生成伪标签 $\hat{y}_t$ 。这些记录包含状态摘要、动作、观察结果、伪标签以及批评家原始的执行前分数，并被追加到经验库中。

关键设计特性

自进化 (Self-Evolving)： 批评家的权重保持冻结；其行为仅通过检索到的经验这一不断扩大的上下文进行演化。
对比检索 (Contrastive Retrieval)： 经验库分为生产性和非生产性集合。批评家被明确展示了类似的成功动作和类似的失败动作，使其能够基于后果进行校准。
无需训练 (No Training Required)： 该方法不需要对 Actor 或 Critic 进行微调，在部署期间也无需访问地面真值步级标签。

核心贡献

问题定义： 本文正式将 LLM 智能体的步级置信度估计定义为在执行动作前估计动作生产力的任务，将其与标准的响应级置信度区分开来。
CEB 框架： 引入了一个训练无关的批评家框架，该框架利用来自先前轨迹的事后标注执行经验来增强固定的 LLM 批评家。
实验优越性： 证明了 CEB 在三个不同的智能体基准测试（Mind2Web, AMEX, InterCode-Bash）和三个批评家骨干网络（GPT-4.1, GPT-5.4, Qwen3-Next）上实现了最先进的校准（预期校准误差 - ECE, Brier 分数）和排序（AUC）能力。

实验结果

评估涵盖了网页导航、移动端 GUI 控制和 Shell 交互任务。

校准性能： CEB 一致地优于所有训练无关的基线方法（包括 Perplexity, Mean Entropy, Verbalized Confidence, P(True) 和 CoT）。
- 在使用 GPT-4.1 的 InterCode-Bash 数据集上，CEB 相比最强的基线降低了 54% 的 ECE。
- 在使用 GPT-5.4 的 Mind2Web 上，CEB 实现了 0.176 的 ECE，显著低于次优基线（P(True) 为 0.396）。
- CEB 在所有“数据集-批评家”组合中，在 ECE、Brier 分数和 AUC 方面均保持了最佳性能。
对标签定义的鲁棒性： 即使在使用认可替代有效路径的宽松“LLM 作为评判者”标签时，CEB 的优势依然存在，这表明该方法并非严格匹配参考值的产物。
组件消融实验： 完全移除经验库会导致最大的性能下降，证实了过去的执行结果对于重新校准至关重要。经验库的对比性质（同时看到成功和失败）被确定为最重要的组成部分。
自进化行为： 随着任务流的推进以及经验库填充了事后标注数据，CEB 的校准误差相比静态批评家显著下降，证明了系统可以在不更新权重的情况下随时间改进。
下游效用： 在选择性执行任务（将低置信度步骤推迟给人工审核）中，CEB 比基线更有效地识别了错误的步骤，从而在应用固定审核预算时实现了更高的最终任务成功率。

意义与主张

论文声称 CEB 解决了 LLM 智能体部署中的一个关键差距：即在动作改变环境之前，需要可靠的步级置信度。通过利用智能体自身的交互历史作为校准证据，CEB 使固定的批评家能够动态地调整其评分行为。

作者强调，这种方法在以下部署场景中特别有价值：

Actor 和 Critic 都是固定的 API 模型。
无法获得地面真值步级标签。
无法进行新的验证器训练。

结果表明，检索到的执行经验提供了一种优于当前响应式置信度方法的信号，为在复杂的、改变状态的环境中实现更安全、更可靠的自主智能体提供了一条切实可行的路径。论文总结道，CEB 的主要优势是时间性（随时间积累证据）而非监督性（依赖更好的标签），有效地将智能体过去的错误和成功转化为未来决策的先验知识。