🤖 AI

Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation

本文介绍了 AFTER，一个用于评估大语言模型（LLM）智能体在多种企业任务中程序性记忆的全面基准测试，证明了精炼的技能能显著提升性能并实现有效的跨模型和跨角色迁移，同时强调了不同技能之间存在着不同程度的泛化性。

原作者： Julia Belikova, Rauf Parchiev, Evgeny Egorov, Grigorii Davydenko, Gleb Gusev, Andrey Savchenko, Maksim Makarenko

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Julia Belikova, Rauf Parchiev, Evgeny Egorov, Grigorii Davydenko, Gleb Gusev, Andrey Savchenko, Maksim Makarenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一个繁忙的办公室招聘一名新员工。你有两种培训方式：

“空白模板”法（The "Blank Slate" Approach）： 你只把任务交给他们，然后寄希望于他们能利用自身的通用智能去自行摸索解决。
“程序记忆”法（The "Procedural Memory" Approach）： 你给他们一份特定的、可复用的“小抄”或“标准作业程序”（SOP），这些内容是基于过去如何解决类似任务的经验总结而成的。

这篇题为**《管理 LLM 智能体的程序记忆》（Managing Procedural Memory in LLM Agents）**的论文，旨在测试这些“小抄”对于 AI 员工到底有多有效，并研究如何让它们变得更好。

以下是研究结果的拆解，使用了简单的类比：

1. 问题所在：“过度专业化的实习生”

作者注意到，尽管 AI 智能体正变得越来越聪明，但在处理重复性办公任务（如处理文档、管理数据库或编写代码）时，它们往往表现挣扎。

他们发现了一个棘手的问题：如果你针对一组非常具体的任务对 AI 进行训练（例如“如何处理这家特定公司的账单”），AI 会成为该项工作的专家，但一旦你要求它做稍微不同的工作，或者在另一个部门工作时，它就会彻底失败。

类比： 想象一位厨师，他只学会了在特定的厨房和特定的烤箱里制作完美的披萨。如果你把这位厨师移到一个拥有不同烤箱的新厨房，他可能会把披萨烤焦，因为他记住了特定烤箱的特性，而不是学会了“制作披萨”这项通用技能。这被称为过拟合（Overfitting）。

2. 解决方案：AFTER 基准测试

为了解决这个问题，研究人员构建了一个巨大的测试场，名为 AFTER。

它是什么： 一个包含 382 项现实办公任务的集合（例如数据工程师修复流水线，或项目经理总结报告）。
转折点： 他们不仅测试了 AI 能否完成任务，还测试了 AI 能否将从一种情境中习得的“技能”应用到另一种不同的情境中（不同的角色、不同类型的任务，甚至是不同的 AI 模型）。

3. 核心发现：哪些有效，哪些无效

A. “小抄”确实有帮助（但并非总是如此）

当研究人员给 AI 智能体这些程序性的“小抄”（技能）时，AI 完成工作的能力提升了。

结果： 平均而言，加入这些技能后，AI 的成功率提高了约 2.8 个百分点。
“精炼”技巧： 如果他们拿出一份基础的小抄，并让 AI 通过观察一次自己的错误来进行改进，成功率就会再跳升 5.2 个百分点。这就像是在实习生的第一天结束后，给他进行了一次快速的“工作回顾”，以修正他的笔记。

B. “多样化经验”的秘密

这是最重要的发现。研究人员问道：这份小抄应该来自哪里？

场景 A： 小抄是基于 AI 自身的过往尝试编写的（狭隘经验）。
场景 B： 小抄是通过结合来自许多不同 AI 模型的尝试编写而成的（多样化经验）。

胜出者： 场景 B。

类比： 如果你想学习开车，阅读一本由 100 位不同驾驶员编写的手册（有人开得快，有人开得慢，有人在雨天开，有人在雪地开）会比仅仅背诵一位朋友去杂货店的具体路线要好得多。
数据： 基于“多样化”经验（多种不同 AI 模型）构建的技能在测试新模型时达到了 73.1% 的准确率。而仅由单一模型构建的技能准确率仅为 36–59%。令人惊讶的是，即使是“较弱”的 AI 模型，在混合在一起时也能提供有用的教训！

C. “角色陷阱”

研究发现，技能可能会变得过于针对特定的职位。

类比： 由项目经理习得的“文档处理”技能（用于使用 PDF 总结会议）对于数据科学家来说是没用的（数据科学家使用 PDF 来提取原始数据）。如果你把项目经理的小抄交给数据科学家，数据科学家的表现实际上会比没有小抄时还要差。
教训： 你不能直接将一项技能从一个部门“复制粘贴”到另一个部门。语境（Context）至关重要。

D. 节省成本（Token）

最后，使用这些进化的“小抄”可以节省成本。

结果： 因为 AI 已经通过小抄知道了“如何”执行任务，它不需要像以前那样费力“思考”或提出许多问题。这减少了高达 62% 的计算资源（Token）消耗。这就像是走了一条捷径，节省了油费。

总结

论文得出结论：AI 智能体的未来不仅仅在于让它们变得更“聪明”。其核心在于教会它们构建可复用、可适应的技能。

不要仅仅死记硬背一条特定的路径（这会导致在新环境下失败）。
要向广泛多样的经验学习（不同的模型、不同的角色）。
要小心不要混淆不同职业角色的技能，因为它们可能会产生冲突。

目标是从仅仅靠“猜测”的 AI，转向拥有一个可靠、不断进化的、能在现实世界中运行的“操作指南库”的 AI。

技术摘要：管理 LLM 智能体的程序性记忆

问题陈述

虽然大语言模型（LLM）智能体正越来越多地被部署在工业工作流中以处理重复性任务（例如：文档处理、数据库查询、基础设施配置），但提高其性能的机制仍未得到充分理解。目前的方法通常将单个环境内的局部改进与真正的可迁移性混为一谈。现有的基准测试通常评估静态的、由专家策划的技能，或者仅关注任务完成情况，而未能隔离出“程序性记忆”这一组件——即从先前的轨迹中提炼出的可重用指令与策略的图层。

在理解程序性知识如何跨上下文迁移方面存在关键空白。具体而言，尚不清楚从狭窄的、单一上下文经验中演化出的技能，是否能泛化到新的任务、角色或模型骨干，还是仅仅过拟合于其源环境。该领域缺乏一个受控的设置来确定经验何时产生可重用的程序性结构，何时仅导致源上下文的过拟合。

方法论

AFTER 基准测试

为了解决这些空白，作者引入了 AFTER（用于迁移评估与精炼的智能体框架），这是一个旨在评估程序性技能迁移的基准测试。

范围： 包含 382 个现实的企业级任务，涵盖六个专业角色（数据工程师、数据科学家、生成式 AI 工程师、基础设施工程师、项目经理和软件工程师）以及 22 种程序性技能。
结构： 任务被分为单技能和多技能工作流。技能被定义为自包含的 SKILL.md 构件（程序性记忆单元），涵盖五个能力领域：文档处理、数据操作、机器学习/人工智能、基础设施和软件工程。
评估拆分： 该基准测试利用受控的拆分来衡量：
- 特异性（Specificity）： 上下文内增益（在源任务集上的改进）。
- 通用性（Generality）： 在分布偏移下的表现，包括跨任务、跨角色和跨模型的迁移。
任务来源： 任务衍生自现有的基准测试（如 SWE-bench、SkillsBench）以及新编写的情景，并全部通过 pytest 套件进行验证，以确保鲁棒性并防止预知泄漏（oracle leakage）。

评估框架：EVOLUTION

作者采用了 EVOLUTION，一个轻量级的控制程序，用于标准化程序性记忆的生命周期：

收集（Collection）： 在特定的技能配置 ( $\Sigma$ ) 下收集执行轨迹 ( $D$ )。
诊断与修订（Diagnosis & Revision）： 反思模型 ( $\rho$ ) 检查轨迹，识别失效模式，并提出修订后的技能主体。
更新（Update）： 更新算子 $U$ 将经验映射到新的配置： $\Sigma' = U(\Sigma, D)$ 。
测量（Measurement）： 系统在源分布（特异性）和留出分布（通用性）上评估更新后的技能。

研究对比了静态技能估值（手工编写 vs. LLM 生成）与使用单一（单条轨迹）和多样化（多模型、多轨迹）经验池的动态演化策略。

核心贡献

AFTER 基准测试： 第一个明确旨在将局部改进与跨上下文迁移解耦的 LLM 智能体基准测试。它独特地结合了角色驱动的任务分布与受控的迁移拆分。
关于迁移的实证证据： 对程序性记忆如何演化进行了全面评估。研究表明，虽然程序性记忆能带来持续的收益，但其有效性高度依赖于训练经验的多样性和目标上下文。
程序性记忆的精炼： 引入了一种从执行轨迹中演化技能的受控协议，超越了静态提示工程，转向动态、数据驱动的技能优化。

结果

静态技能估值

基准增益： 静态程序性技能使全通过准确率 ( $M2$ ) 平均提升了 2.8 个百分点（跨模型）。
模型依赖性： 较弱的模型比前沿模型能更一致地从程序性技能中获益。例如，Gemma 4 E4B 在 GenAI 任务上获得了 +14.2 的增益，而 GPT 5.4 仅获得 +3.1。
源质量： LLM 生成的技能通常优于手工编写的专家技能，这表明自动化构建可以达到甚至超过人类衍生的程序性知识水平。

技能演化与精炼

单轮精炼： 一轮 LLM 引导的精炼使不同规模模型的综合性能提升了 3.7–6.7 个百分点。
多样性 vs. 狭隘性：
- 狭隘经验： 从单条轨迹演化出的技能往往表现出“源上下文过拟合”，即在提高特异性（训练表现）的同时，降低了通用性（测试表现）。
- 多样化经验： 从多样化、多模型轨迹演化出的技能实现了 73.1% 的跨模型测试准确率，比表现最好的单模型轨迹源高出 13.7 个百分点。

迁移局限性

跨模型泛化： 从多样化轨迹演化的技能显著优于从单一源模型演化的技能，即使源模型较弱也是如此。这表明程序性知识受益于不完美的执行过程和多样化的失败模式。
跨角色专业化： 技能往往难以跨角色迁移。例如，为项目经理演化的 PDF 技能（侧重执行摘要）在应用于数据科学家（侧重数据摄取）时会失去效力，导致性能下降 -4.8 至 -7.5 个百分点。这表明存在向特定角色工作流自然专业化的现象。
效率： 演化后的技能通过前置知识减少了推理成本。在 Kafka 滞后异常检测任务中，与手工编写的技能相比，演化后的技能为 Claude 减少了 62% 的 Token 使用量（326k tokens）。

重要性与主张

论文声称，程序性记忆的核心挑战不仅在于存储更多的经验，而在于提取出在学习该经验之外仍能保持有用的程序性结构。

作者将 AFTER 定位为构建、评估和部署生产环境中程序性记忆系统的实用工具。研究结果表明：

多样性是关键： 为了获得可泛化的技能，记忆系统必须聚合来自多样化模型和上下文的轨迹，而不是依赖于单一的“专家”轨迹。
上下文至关重要： 程序性记忆并非普遍可迁移；它会自然地专业化到特定的角色和工作流。部署时必须考虑这种专业化，而不是假设存在“一劳永逸”的技能库。
演化优于静态： 从静态提示转向演化、经轨迹精炼的技能，是提高工业环境下智能体可靠性和效率的可行路径。

作者对其研究范围保持了谦逊，指出该基准测试侧重于技术领域角色和程序性工作流，排除了开放式的创意或对话式任务。他们也承认，现实世界的部署可能会涉及比测试中更大的轨迹池，因此 trace 体量与迁移质量之间的关系仍是一个开放性问题。