🤖 AI

GRASP: Gated Regression-Aware Skill Proposer for Self-Improving LLM Agents

GRASP 是一种面向大语言模型智能体的自我改进框架，它基于硬性回归预算通过门控接受机制迭代更新有界技能库，在显著提升结构化临床与非临床基准测试性能的同时，有效防止了已习得行为的退化。

原作者： Johannes Moll, Jean-Philippe Corbeil, Jiazhen Pan, Martin Hadamitzky, Daniel Rueckert, Lisa Adams, Keno Bressem

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Johannes Moll, Jean-Philippe Corbeil, Jiazhen Pan, Martin Hadamitzky, Daniel Rueckert, Lisa Adams, Keno Bressem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但略显笨拙的机器人助手如何在一座复杂的建筑（例如医院）中导航。这个机器人天生擅长交流，但在遵循严格规则（例如“开门前先核对患者身份”或“切勿一次给药两粒”）时，却反复犯同样的错误。

这篇论文介绍了一种名为GRASP的新方法来教导这个机器人。请将 GRASP 想象成一位严格的编辑，它管理着一份精简、高质量的“作弊条”，而不是一个只会给机器人提供冗长无尽笔记的普通教师。

以下是其工作原理的简单概念分解：

1. 问题：“记笔记”的陷阱

以往的方法试图通过让机器人在每次犯错后写下笔记来改进它们。

类比：想象一个学生，在考试中每答错一题，就在新纸上写下一条新规则，并把它贴在额头上。
问题：随着时间的推移，学生的额头贴满了太多笔记，以至于无法阅读重要的内容。更糟糕的是，一条新笔记可能修正了某个特定的错误，却意外地破坏了原本已经做对的规则。机器人因此感到困惑，开始无法完成它原本擅长的事项。这被称为“退化”。

2. 解决方案：“门控”作弊条

GRASP 改变了游戏规则。它不再只是添加笔记，而是将机器人的知识视为一个小型、有边界的技能库（就像一副扑克牌）。

编辑：当机器人失败时，一位“技能编写者”（另一个 AI）会建议一条新规则或修改现有规则。
守门人（“门控”部分）：这是最关键的部分。在新规则被允许进入作弊条之前，它必须通过一项严格的测试。
- 系统会拿这条新规则，在一份“模拟考卷”上进行测试，这份考卷包含了机器人曾经犯过的错误以及它曾经做对的事情。
- 规则：只有当新规则修正的旧错误数量多于它制造的新错误数量时，才会被接受。如果它修正了一个问题，却破坏了两件原本运作良好的事情，守门人会说：“不行，拒绝。”

3. “退化预算”

GRASP 对允许造成的损害设定了硬性限制。

类比：想象你在翻修一栋房子。你可以为了修复漏水而拆掉一堵墙，但你只被允许在此过程中破坏一件其他东西。如果你为了修漏水而打碎了两扇窗户，翻修将被取消。
结果：这确保了机器人绝不会在它已经掌握的技能上退步。它只会变得更好。

4. 实验中发生了什么？

研究人员在五种不同的“大脑”（AI 模型）上测试了这种方法，使用了两个非常严格的医疗计算机环境（机器人需要在此查询患者记录并管理药物订单）。

结果：
- 没有 GRASP 时，机器人就像新手，只有约 40% 的任务能正确完成。
- 有了 GRASP，机器人变成了专家，正确率接近 90%。
- 关键发现：论文证明，魔力并不在于机器人编写规则。如果你让机器人在没有守门人严格测试的情况下编写规则，其表现与完全没有规则时一样糟糕。改进完全来自于过滤过程（即守门人），它阻止了劣质规则进入技能库。

5. “大师教师”效应

论文发现了一个关于机器人之间知识迁移的有趣现象。

类比：想象一位名厨（一个非常强大的 AI）写了一本食谱。如果你把这本食谱交给一位初级厨师（一个较弱的 AI），这位初级厨师的烹饪水平会比独自操作时高得多。
陷阱：如果初级厨师试图为这位名厨写一本食谱，名厨的表现反而会变差。
原因：名厨的食谱包含了该厨房特有的高级技巧，初级厨师可以遵循这些技巧。但初级厨师的笔记往往过于简单，或者对于名厨的复杂需求来说略有偏差。GRASP 是唯一一种在将知识迁移到较弱机器人时，能成功保留这种“名厨”知识的方法。

6. 它在哪里有效？

GRASP 就像一种专用工具。它在以下环境中表现极佳：

存在清晰、可重复的规则（例如数据库或医疗记录系统）。
你可以轻松检查某一步骤是否正确执行（例如：“药物是否已分发？是/否”）。

它在开放式情境中效果不佳，那里的规则模糊，或者“正确”答案难以定义（例如随意聊天或导航混乱、不可预测的世界）。在这些情况下，机器人的表现会停滞不前。

总结

GRASP 是一种通过策展而非单纯积累知识来教导 AI 代理的方法。它像一位严格的编辑，只有在新指令被证明能解决问题且不破坏其他任何内容时，才允许其进入代理的大脑。这将一个笨拙的机器人转变为一个可靠的、程序化的专家，特别是在医院或数据库等结构化环境中。

技术摘要：GRASP（门控回归感知技能提议器）

问题陈述

在结构化环境（如电子健康记录、数据库、网络界面）中运行的语言模型（LLM）智能体，其失败往往源于对环境规则的操作违规，而非对话误解。在这些情境下的可靠性取决于特定于环境的过程性知识，而非通用的语言能力。

先前的自我改进方法通常在推理过程中单调地积累自然语言指导（反思、规则或技能）。这些方法的一个关键缺陷在于缺乏对现有行为的验证：一条纠正某次失败轨迹的新笔记或规则，可能会悄无声息地导致先前正确的轨迹性能回退。随着时间的推移，这种无限制的积累会稀释任务相关的内容，损害智能体的上下文窗口，并导致灾难性遗忘或性能震荡。

方法论：GRASP

作者提出了GRASP（门控回归感知技能提议器），这是一个将智能体自我改进视为对有限行为指令库（技能）进行一系列经过验证的编辑的框架，且无需更新模型参数。

核心组件

结构化技能：技能是带有 YAML 前缀的 Markdown 文档，包含触发条件、行为规则、可选的验证步骤以及对比示例。它们在推理时被注入到智能体的上下文中。
失败驱动的提议：
- 失败的轨迹按特定机制的失败模式进行分组（例如 date_filter_omitted 而非通用的 wrong_answer）。
- 技能编写模型针对最频繁的失败模式提出编辑操作（添加、修改或删除），利用活跃的技能摘要和其他失败模式的标签来抑制性能回退。
- 该库具有容量限制；除非有可用容量，否则添加一个技能需要移除另一个。
回归感知选择（门控机制）：
- 在接受之前，每个候选编辑都会在平衡的保留探针上进行评估，该探针由开发集中先前失败和先前通过的示例组成。
- 系统通过在探针上重新运行当前库来计算基线（ $F_0, R_0$ ）。
- 仅当候选库（ $S_c$ $S_{c}$ ）满足以下条件时才被接受：
  1. 它产生净改进： $(F(c) - F_0) - (R(c) - R_0) > 0$ 。
  2. 它遵守严格的回退预算： $R(c) \le R_0$ （除现有基线外，不允许出现新的回退）。
- 如果最佳候选导致回退，对比修订步骤会尝试缩小触发范围或添加防护子句。

训练协议

GRASP 在开发集上以批次方式运行。每个批次之后，技能编写器生成候选项，并在探针上进行评分。将最佳有效候选项应用于技能库。该过程重复多个周期。不发生参数更新；仅技能库发生演变。

主要贡献

门控编辑与单调积累：GRASP 将范式从无限制的指导积累转变为有界且经过验证的编辑。这防止了“静默回退”问题，即修复一个错误却破坏另一个错误。
验证机制而非仅验证内容：消融研究表明，性能提升是由验证门控和对比提议生成驱动的，而不仅仅是编写技能这一行为。如果没有门控，技能编写的效果并不优于不使用技能。
跨模型与跨基准迁移：
- 非对称迁移：由更强模型（如 GPT-5.4）编写的库显著提升了较弱执行器在分布外（OOD）任务上的表现，往往超过了较弱模型自身学习到的效果。反之（从弱到强）则不成立。
- 环境特定知识：这种非对称性表明，这些库编码的是特定于环境的过程性知识，而非特定于模型的规律。
- 泛化能力：该机制在有可验证结构的非临床环境（ALFWorld, WebShop）中提升了性能，但在动作空间开放（OS Interaction）的环境中未能提升性能。
效率与可审计性：GRASP 维护一个小型、带版本控制的库（平均约 5 个技能，约 5.6k token），远小于无限制内存基线（34k–53k token），降低了推理成本。结构化格式允许人工审计和可逆编辑。

实验结果

作者在五个基础模型（gpt-oss-120b, DeepSeek V4 Flash, Gemini 3.1 Flash Lite, GPT-4.1, GPT-5.4）上评估了 GRASP，测试了两个基于 FHIR 的临床基准（MedAgentBench, MedAgentBench-v2）和四个非临床 AgentBench 环境。

MedAgentBench 性能：GRASP 显著优于五个基线（包括基于内存和规则提取的方法）。
- 在 gpt-oss-120b 上，GRASP 将准确率从 40.6%（无技能）提升至 88.8%，比基线高出 48.2 个百分点，比最强竞争对手（Evo-MedAgent）高出 21.0 个百分点。
- 在所有模型上均观察到类似的改进，相对于各自基线的提升幅度在 17.2 到 40.3 个百分点之间。
- 在 OOD 划分上，GRASP 在 gpt-oss-120b 上比最佳基线领先 25.0 个百分点。
消融发现：
- 移除接受门控导致性能下降至无技能基线水平（40.1% vs 40.6%）。
- 移除回退预算导致性能下降 7.0 个百分点。
- “仅修复”选择（忽略通过的示例）导致性能下降 8.6 个百分点并增加了方差。
迁移结果：
- 将 GPT-5.4 训练的库应用于 gpt-oss-120b，将 OOD 准确率从 56.3% 提升至 77.8%（+21.5 个百分点）。
- 跨基准迁移在 MedAgentBench 变体之间有效，但在 FHIR-AgentBench 上性能下降，表明这些技能与特定的界面约定绑定，而非通用的临床能力。

意义与主张

该论文主张，将智能体自我改进视为对有限库的门控编辑，为在过程可靠性至关重要的环境中实现迭代优化提供了一条稳健路径。

过程可靠性：该方法解决了先前基于语言反馈方法的特定失败模式，即单调积累会损害上下文。
无需参数的蒸馏：非对称的跨模型迁移表明，更强的模型可以将关于环境的操作事实蒸馏到库中，较弱的模型可以遵循这些库，即使它们自身无法生成这些事实。
实际部署：技能库的有界性和可审计性使其适用于高风险领域（如临床环境）的部署，在这些领域中，智能体必须可检查且可修正，而无需完全重新训练。
局限性：作者指出，验证步骤是主要的计算成本。此外，这些技能是针对基准评分标准（与真实标签的精确匹配）调整的策略，而非医学专业知识，因此在现实世界部署中需要临床医生审查。该方法还受限于某些基准的固定动作预算，没有任何方法成功优化了这一点。

总之，GRASP 证明了经过验证的编辑是结构化智能体环境中性能提升的主要驱动力，其表现优于仅依赖技能生成或无限制内存积累的方法。