💬 NLP

Bayesian-Agent: Posterior-Guided Skill Evolution for LLM Agent Harnesses

该论文引入了 Bayesian-Agent，这是一个将可重用技能和标准作业程序（SOP）视为概率假设，通过后验引导的控制台优化来引导其演进的框架，在不修改模型权重的情况下，显著提升了大型语言模型智能体在 SOP-Bench 和 Lifelong AgentBench 等基准测试上的性能。

原作者： Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Wenjie Zhang, Zhichao Shi, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Wenjie Zhang, Zhichao Shi, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有点固执的机器人助手。它很擅长思考，但它不会像人类那样从错误中学习。如果你要求它烤蛋糕，而它第一次烤糊了，除非你明确告诉它原因，否则它不会自动知道为什么。

通常，当我们试图修复这些机器人时，我们只是给它们提供一份更长的指令列表，或者希望它们通过观察过去的成功和失败（例如，像一个简单的计分卡一样：“我成功了3次，失败了2次，所以我的成功率是60%”）来“弄明白”。问题在于，这种计分卡往往具有误导性。一次失败可能只是个偶然，而一次成功也可能只是运气好。

Bayesian-Agent 是一个改变我们管理这些机器人助手方式的新框架。它不再仅仅是统计胜负，而是将机器人使用的每一条指令或“技能”视为一个需要用真实证据进行测试和更新的科学假设。

以下是它的工作原理，使用简单的类比：

1. 将“技能库”视为“假设手册”

想象机器人有一个“技能库”（例如“如何打开一个文件”或“如何查询银行余额”）。

旧方法： 机器人每犯一个错误，就会向库中添加新的提示，希望下次能做得更好。这就像是根据直觉在笔记本上写下一条新规则。
Bayesian-Agent 方法： 库中的每个技能都被视为一个假设。系统会询问：“考虑到我们目前所处的特定情况，这项技能成功的可能性有多大？”它不仅仅是计数“1次成功，1次失败”，它还在为每个技能构建信念剖面（belief profile），追踪该技能在何时以及为何有效或失效。

2. “侦探”逻辑（后验概率）

该系统使用一种称为**贝叶斯推理（Bayesian inference）**的方法。这可以想象成一个随着新线索出现而不断更新理论的侦探。

线索： 每当机器人尝试一项任务时，系统都会记录“经过验证的轨迹”。这意味着它不仅仅听取机器人的自我报告（“我觉得我做对了！”！），而是会检查实际结果（例如，“文件是否真的打开了？”）。
更新： 如果一项技能在相同的条件下连续失败两次，侦探就会更新关于该技能在特定情况下已损坏的“信念”。如果它成功了三次，那么该技能可靠性的“信念”就会增强。

3. 五种“行动”（机械师的工具箱）

基于这些更新后的信念，系统并不只是随机地“修复”事物。它拥有一套特定的工具来管理技能库，就像机械师管理汽车零件一样：

探索 (Explore)： 如果机器人从未尝试过某项技能，系统会说：“让我们试一下，看看会发生什么。”
修补 (Patch)： 如果机器人以同样的方式失败了两次（例如，它总是忘记保存文件），系统会添加特定的“护栏”或提醒到指令中，以停止该特定错误。
拆分 (Split)： 如果一项技能过于宽泛（例如，“处理所有银行交易”）并且在某些情况下失败但在另一些情况下成功，系统会将其拆分为两个更小、更具体的技能。
压缩 (Compress)： 如果一项技能非常可靠且运行完美，系统会缩短指令以节省空间，使机器人运行得更快。
退役 (Retire)： 如果一项技能经常失败，且证据表明其不可靠，系统会将其丢入垃圾桶，让机器人停止尝试使用它。

4. 结果：修复“烤糊的蛋糕”

研究人员在三种不同类型的任务上测试了这个系统：

SOP-Bench： 遵循复杂的、循序渐进的业务流程。
Lifelong AgentBench： 执行一系列长期的任务，其中需要记住之前发生的事情。
RealFin-Bench： 解决一些信息可能缺失的金融推理问题。

发生了什么？

“修复”模式： 他们拿出了一个已经失败了一些任务的机器人，将证据输入到 Bayesian-Agent 中，并让它对指令进行“修补”。
- 在业务流程测试中，它修复了失败之处，达到了 95% 的成功率。
- 在长系列任务测试中，它修复了失败之处，达到了 100% 的成功率。
- 在金融测试中，它将成功率从 45% 提高到了 65%。
“从零开始”模式： 他们让机器人完全从零开始使用这个系统进行学习。它表现得不错，但有时“边学边做”的过程显得有些混乱，这表明有时先有一个稳固的基准然后再进行“修补”会更好。

5. 为什么这很重要

论文认为，构建更好的 AI 智能体不仅仅是让 AI 变得更聪明（改变其大脑/权重）；更重要的是优化它工作的环境。

可以这样理解：如果你有一个优秀的驾驶员（AI 模型），但路标令人困惑、地图错误，或者汽车转向器松动（“束缚/控制机制”），驾驶员最终会撞车。Bayesian-Agent 并不试图重新训练驾驶员的大脑；它是根据车辆出错的真实证据来修复路标、更新地图并收紧转向器。

简而言之： Bayesian-Agent 将“尝试并希望”这一混乱的过程，转变为一个结构化的、可审计的“测试、相信并修复”的过程，确保机器人的指令是基于事实而非猜测进行演进的。

技术摘要：Bayesian-Agent：面向 LLM Agent 的后验引导技能演进

1. 问题陈述

大型语言模型（LLM）智能体日益依赖外部推理环境——包括提示词（prompts）、工具、记忆、标准作业程序（SOPs）以及测试框架（harness）反馈——而非仅仅依靠模型权重来解决任务。虽然这些可重用的资产可以在不进行重新训练的情况下提高执行效率，但目前更新这些资产的方法通常依赖于启发式反思或简单的成功与失败频率计数。

本文指出了现有方法的两个主要局限性：

未校准的更新： 将稀疏的智能体轨迹视为独立同分布（i.i.d.）的观测值会导致噪声编辑。一项技能在一种语境下可能是可靠的，但在另一种语境下可能是有害的；简单的计数无法捕捉这种细微差别。
外部化失败： 当能力被外部化为技能和 SOP 时，失败也被外部化了。如果智能体仅根据自然语言的自我批判来更新资产，它可能会修复当前的失败，却引入导致未来任务性能下降的编辑。反之，如果测试框架从未修订技能，重复的失败将始终处于模型的学习循环之外。

核心挑战在于如何维护外部决策环境（即“测试框架”），使得可重用的技能和 SOP 能够基于经过验证的证据而非未经校准的试错进行演进。

2. 方法论：Bayesian-Agent

作者引入了 Bayesian-Agent，该框架将可重用的技能和 SOP 视为承载证据的假设。该框架并非询问 LLM 一个技能是否“好”，而是提出了一个贝叶斯问题：给定一个冻结的模型和一个特定的推理环境，在结合了先验假设与验证证据后，我们应该对这项技能持有怎样的信念？

2.1 问题公式化

该框架固定模型权重（ $M_\theta$ ），并将测试框架的演进视为对推理条件（ $C_t$ ）的优化。技能 $h_k$ 的可靠性定义为在给定模型、上下文和观测特征情况下的成功概率：
$p_{k,t} = P(y_t = 1 \mid M_\theta, C_t, h_k, z_t)$
其中 $z_t$ 是从验证过的轨迹中提取的离散特征向量（例如：Token 计数、轮次计数、失败模式）。

2.2 轨迹证据

Bayesian-Agent 仅从由执行测试框架生成的验证轨迹（ $e_t$ ）中更新信念。这些轨迹包括：

任务上下文与结果（ $y_t \in \{0, 1\}$ ），由外部验证器或基准测试评分器确定，而非模型的自我评估。
运行时信号（Token 成本、延迟、轮次计数），被离散化为固定桶（buckets）以处理稀疏的在线数据集。
源自验证器的失败模式。

2.3 贝叶斯证据模型

系统为每个技能维护一个特征条件的分类贝叶斯证据模型：

先验（Priors）： 使用拉普拉斯平滑（Laplace smoothing）在观测稀疏时提供保守估计。
似然（Likelihood）： 计算在特定特征值条件下（例如：“失败模式 X 出现在语境 Y 中”）的成功/失败概率。
后验（Posterior）： 计算用于排序和决策的成功概率（ $s_{k,t}$ ）。
摘要（Summary）： 维护一个共轭 Beta-Bernoulli 摘要（ $\alpha, \beta$ ），用于审计和主导性失败检查。

2.4 后验引导的技能动作

后验状态驱动一种保守的重写策略，将信念状态映射为五种可检查的动作：

探索（Explore）： 当不存在观测值或后验不确定时触发。
修补（Patch）： 当同一失败模式至少出现两次时触发（将重复的失败转化为护栏/guardrails）。
拆分（Split）： 当一个宽泛的技能覆盖了异质情况时触发（3+ 语境，4+ 观测）。
压缩（Compress）： 当技能足够可靠（成功率 $\ge 0.72$ ）时触发，以保持上下文简洁。
退役（Retire）： 当失败证据占主导地位时触发（低成功概率，高 $\beta$ ）。

至关重要的是，框架将后验审计信息（存储用于调试）与面向模型的指令分离。LLM 接收的是可执行的护栏和失败模式补丁，而非原始的概率数值。

2.5 执行模式

全量模式（Full Mode）： 注册表在基准测试运行期间从零开始在线演进。
增量模式（Incremental Mode）： 系统摄取来自已完成基准运行的验证轨迹，更新注册表，并仅针对失败的任务运行后验引导的补丁。

3. 核心贡献

将技能定义为假设： 将自我演进从经验性的提示词累积转向在不确定性下的、经验证的、后验引导的优化。
统一框架： 为提示词、上下文和测试框架工程提供了一个统一的贝叶斯视角，并通过高效的分类证据模型和后验引导的重写策略实现。
原生及跨测试框架支持： 引入了一个极简的原生后端，同时定义了一个适配器边界，允许外部测试框架（如 GenericAgent, mini-swe-agent, Claude Code）利用相同的轨迹证据循环。
实证验证： 在 SOP-Bench、Lifelong AgentBench 和 RealFin-Bench 上使用 DeepSeek 模型进行了广泛研究，对比了基准、全量贝叶斯以及增量修复变体。

4. 实验结果

论文通过 DeepSeek-v4-flash 和 DeepSeek-v4-pro 在三个基准测试和多个后端（Native, GenericAgent, mini-swe-agent, Claude Code）上评估了 Bayesian-Agent。

4.1 性能提升

增量修复： 增量模式（仅修复失败任务）显示出显著改进：
- SOP-Bench： 从 80% (GA) 提升至 95%。
- Lifelong AgentBench： 从 90% (GA) 提升至 100%。
- RealFin-Bench： 从 45% (GA) 提升至 65%。
Token 效率： 增量方法具有极高的 Token 效率，修复 SOP-Bench 的失败仅使用了 153k 个 Token，而全量基准运行消耗更多。
后端无关性： 该框架成功提升了不同后端（Native, GenericAgent, mini-swe-agent, Claude Code）的性能，证实其收益来自于证据循环而非特定的运行时。

4.2 观察到的局限性

全量模式的不稳定性： 在使用 DeepSeek-v4-flash 的 Lifelong AgentBench 设置中，全量贝叶斯模式（85%）的表现逊于基准 GA（90%）。这表明当证据仍然稀疏时，在线技能演进可能会引入负向排序效应或成本。
饱和现象： 在基准模型已达到 100% 准确率的设置中（例如使用 DeepSeek-v4-pro 的 SOP-Bench），贝叶斯层没有失败需要修复，导致增量模式失效。

5. 重要性与主张

论文主张，智能体技能演进应被视为后验引导的测试框架优化，而非未经校准的提示词累积。

可审计性： 通过将技能视为具有显式后验状态的假设，该框架使演进过程变得可检查。用户可以根据特定的失败模式了解为什么某个技能被修补、拆分或退役。
不确定性校准： 该方法显式处理了智能体轨迹的稀疏性和语境依赖性，避免了将稀疏数据视为可靠频率计数的陷阱。
实际修复能力： 增量修复模式证明，测试框架可以专门针对失败案例投入额外的推理资源，将观察到的失败模式转化为可重用的上下文，从而在不重新运行整个基准测试的情况下显著提高最终准确率。

作者总结道，虽然该方法并非解决一次性任务或非平稳环境的万灵药，但在拥有验证器和重复失败模式的场景下，它提供了一种鲁棒的、经证据校准的机制，用于改进可重用的智能体技能。