💬 NLP

Not All Skills Help: Measuring and Repairing Agent Knowledge

本文介绍了 ASSAY，这是一个通过经验性地测量并选择性地抑制对特定任务具有负面因果效应的单个技能，从而在无需权重更新的情况下实现最先进结果的 LLM 智能体性能提升框架。

原作者： Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“坏建议”问题

想象一下，你正在教一个非常聪明但缺乏经验的助手（AI 智能体）如何做家务。你告诉它：“这是我以前做这些任务时总结出的 100 条经验。”

目前 AI 的工作方式是完全信任这份清单。它假设如果一条建议对某个任务有用，那么它对所有任务都一定有用。在开始每一项新工作之前，它都会把整份清单读一遍。

这篇论文认为这是一个错误。 仅仅因为一条关于“如何烤蛋糕”的建议对你有帮助，并不意味着它能帮你“修理漏水的水管”。事实上，在尝试修理水管时阅读“烘焙技巧”可能会分散你的注意力，导致你失败。

作者将这种现象称为 “因果异质性”（Causal Heterogeneity）。用通俗的话说就是：一项在某个任务上有帮助的技能，在另一个任务中往往会起到反作用。

解决方案：ASSAY（“技能过滤器”）

研究人员构建了一个名为 ASSAY 的新系统。你可以把它看作是 AI 指南书的一个智能编辑。ASSAY 不再盲目信任 AI 对保留哪些内容的判断，而是通过科学实验来测试每一条建议。

以下是 ASSAY 的三个简单步骤：

1. “随机掩码”实验（味觉测试）

想象你有一锅含有 50 种食材的汤。你想知道“辣椒粉”是否真的提升了风味。

旧方法： 你问厨师：“你喜欢辣椒吗？”厨师说：“是的，很辣！”（但也许厨师只是习惯了吃辣）。
ASSAY 方法： 你进行一次盲测。
- 你制作了 12 碗汤。
- 在某些碗里加入了辣椒粉，而在另一些碗里则没有。
- 你品尝了所有的汤。
- 结果： 你精确计算出辣椒粉平均而言对这锅汤是有利还是有害。

在论文中，他们对 AI 任务也进行了这样的操作。他们随机隐藏不同的“技能”（建议），观察 AI 是成功还是失败。这为每项技能给出了一个评分：

绿分： 这项技能有帮助。
红分： 这这项技能有害。
陷阱： 有些技能的得分为零，因为它们在 50% 的任务中有用，而在另外 50% 的任务中有害。在普通观察者看来，它们似乎毫无用处。但对 ASSAY 而言，它们看起来很危险，因为它们具有不可预测性。

2. “离线重构”（编辑手册）

一旦得到了这些评分，他们就会清理技能库：

拆分： 如果一项技能“有时好，有时坏”，他们会对其进行重写。例如，将“始终检查联系方式”改为“仅在拆分账单时检查联系方式”。
退役： 如果一项技能很枯燥且从未提供帮助（得分接近零），他们就将其丢弃。
合并： 如果有两个建议表达的是同一个意思，他们会将它们合并。

3. “逐任务掩码”（门口的智能过滤器）

这是最关键的部分。即使在清理完手册后，AI 也不会在处理每一项工作时都阅读整本手册。

场景： 你正准备买一台咖啡研磨机。
问题： 你的手册里有一条关于“检查 Spotify 播放列表”的建议。如果 AI 在购买研磨机时读到这条建议，它会被分散注意力并导致失败。
ASSAY 的修复方案： 在 AI 开始执行任务之前，ASSAY 会查看任务描述。它会问：“根据我们过去的实验，哪些技能会对这项特定任务产生负面影响？”
行动： 它会默默地屏蔽（掩码）掉 Spotify 的那条建议。它只允许“亚马逊尺寸检查”这条建议通过。

为什么这很重要（实验结果）

研究人员在两个重大挑战上测试了该系统：AppWorld（模拟应用使用）和 $\tau$ -bench（模拟客户服务）。

“之前”的状态： 添加庞大的技能库往往会让 AI 在处理困难任务时表现得更差，因为它会被无关的建议所干扰。
“之后”的状态： 通过使用 ASSAY 为每个特定工作过滤掉坏的建议：
- DeepSeek-V3（一款强大的 AI）从失败转向成为了 AppWorld 上的世界最强，甚至击败了那些经过大量重新训练（通常需要更多工作量）的模型。
- GPT-4.1 在零售测试的排行榜上大幅跃升，击败了像 o1 和 o4-mini 这样的顶级模型，而且没有修改其任何一行代码。

核心结论

这篇论文证明了技能并非越多越好。

把它想象成一个工具箱。如果你给木匠一个锤子、一把锯子和一个扳手，他们可以盖房子。但如果你还给了他们一个网球拍、一个平底锅和一双滑雪板，他们可能会感到困惑，从而掉落手中的锤子。

ASSAY 就是那个观察工作内容（盖房子）并说：“好吧，给他们锤子和锯子。把滑雪板和平底锅藏起来”的系统。它不需要重建木匠，它只需要精选木匠手中持有的工具。

关键发现： 最大的瓶颈不在于 AI 缺乏技能，而在于 AI 不知道哪些技能适用于哪些工作。ASSAY 解决了这种不匹配的问题。

技术摘要：并非所有技能都有帮助：衡量与修复智能体知识

1. 问题陈述

当前通过积累自然语言技能来提升大语言模型（LLM）智能体性能（无需权重更新）的范式，通常将整个技能生命周期——生成、保留与检索——全部委托给 LLM 自身的判断。其底层假设是，LLM 能够基于单任务上下文，充分判断哪些技能值得保留以及如何应用它们。

然而，本文认为这种方法混淆了两个截然不同的角色：

生成（Generation）： 从经验中创造技能（这是一个 LLM 判断力出色的创造性行为）。
策展（Curation）： 决定一个技能是否真的有帮助（这是一个需要跨多任务证据的实证问题）。

作者指出，不受约束的累积存在一个系统性的弊端：因果异质性（Causal Heterogeneity）。单个技能往往在特定类型的任务上有所帮助，但在其他任务上却会产生负面影响。由于这些相反的效果在总体上相互抵消，基于全局策展的方法（即根据平均性能评估技能）无法检测到这些问题。因此，“坏”技能成为了不可见的开销，降低了智能体在复杂或分布外任务上的表现。

2. 方法论：ASSAY 框架

作者提出了 ASSAY（基于归因的技能选择与组装），该框架将技能生成与策展分离。它通过一个统一的因果归因矩阵 $C \in \mathbb{R}^{N \times M}$ 进行运作，其中 $N$ 是技能数量， $M$ 是开发任务数量。

第一阶段：测量因果效应（随机掩码）

ASSAY 不依赖 LLM 的判断来评估技能，而是使用随机掩码来计算无偏的因果归因。

协议： 对于 $K$ 次独立试验，通过伯努利采样构建随机掩码，其中每个技能被包含的概率为 $f$ 。
归因： 技能 $s_j$ 在任务 $d_i$ 上的因果得分 $C[j, i]$ 计算为：技能存在时的试验与技能不存在时的试验之间的均值差估计量。
结果： 这产生了一个矩阵，揭示了技能是在特定任务上提供帮助（正分）、造成损害（负分），还是影响微乎其微。这揭示了因果异质性，即技能在不同任务类型之间经常发生正负号反转。

第二阶段：离线库重构

利用归因矩阵，该框架在推理前进行离线重构，以解决异质性问题。

拆分（Split）： 对于具有高异质性（在任务间因果得分方差较大）的技能，由基础 LLM 将其改写为带有显式触发条件的条件变体（例如，“仅当任务类型为 X 时应用”）。这些变体必须通过开发门控测试，以确保它们不会降低整体性能。
退役（Retire）： 将全局因果得分接近于零（影响微乎其微）的技能移除，以减少上下文噪声。
合并（Merge）： 对拆分过程中产生的近乎重复的技能进行聚类，并保留得分最高的成员。

第三阶段：逐任务因果掩码

在推理时，静态库是不够的，因为最优技能集随任务而异。ASSAY 将技能选择视为一个风险最小化问题。

预测： 对于新的测试任务，系统根据指令嵌入识别出 $k$ 个最近的开发任务。通过对这些最近邻的历史因属得分进行加权，计算每个技能的预测因果效应 $\hat{C}(s_j, t)$ 。
掩码规则： 被预测为具有负面因果效应的技能将被抑制，而具有正向或中性效应的技能则予以保留。受保护的操作模板（如分页、数据验证）豁免于掩码处理，以防止灾难性失败。
回退（Fallback）： 如果过滤后的集合过小，系统将恢复到完整库，以确保实现平滑降级。

3. 核心贡献

经验特征化： 本文提供了关于智能体技能库中普遍存在因果异质性的首次经验证据，证明了技能在某些任务上有助于性能，而在另一些任务上则有害，从而使全局策展失效。
框架设计： ASSAY 将生成（LLM 判断）与策展（经验测量）进行了功能分离。它引入了一个流水线，用于计算因果归因、重构离线库并在推理时应用逐任务掩码。
最先进的性能： 该框架在不修改模型权重的情况下，在多种模型和基准测试中实现了显著提升。
- AppWorld： 在最难的划分（hardest split）中，DeepSeek-V3 实现了 69.3% 的任务目标完成率（TGC），相比基线提升了 47.4% 的相对值，在已发表的方法（包括权重微调方法）中创下了新的 SOTA。
- $\tau$ -bench： GPT-4.1 实现了 8.7% 的相对提升，超越了无需权重修改的公开排行榜上的 o4-mini、o1 和 GPT-4.5。
瓶颈识别： 消融实验证实，主要的瓶颈不在于全局存在“坏”技能，而在于推理时未能将正确的技能与特定任务进行匹配。逐任务掩码贡献了主要的增益。

4. 实验结果

该框架在两个基准测试（AppWorld 和 $\tau$ -bench）上进行了评估，使用了来自四家供应商（OpenAI、DeepSeek、Anthropic、Google）的七种基础模型。

泛化性： ASSAY 在所有七种模型上均一致地提升了性能。在 AppWorld 的 test_challenge 划分中，未经过策展的技能库实际上降低了某些模型的性能（例如，GPT-5.1 从 52.5% 下降到 49.9%），而 ASSAY 扭转了这一趋势并取得了显著收益。
难度敏感性： 该方法在第 2 级和第 3 级任务中提供的收益最大，而在这些任务中，未经策展的技能库造成的伤害也最大。
边界条件： 两个模型（GPT-5.1 和 Sonnet 4.5）在 $\tau$ -bench 上显示为零增益。作者将其归因于高基准能力饱和了提示词注入技能带来的收益，表明随着基础模型能力的提高，收益递减。

5. 意义与主张

本文主张，目前依赖 LLM 判断来处理整个技能生命周期的做法是一个根本性的局限。通过引入一种经验性的、基于测量的策展阶段，ASSAY 解决了困扰现有基于技能的智能体的“因果异质性”问题。

作者强调，其方法是互补的：

它完全在推理阶段运行，且不需要权重更新。
它可以叠加在任何现有的技能生成流水线（如 ACE、CUGA、Reflexion）之上。
它将范式从“积累更多技能”转向了“将技能精确匹配给任务”。

这项工作总结道，虽然技能生成是一种最适合由 LLM 处理的创造性行为，但技能策展是一个实证问题，需要通过随机测量来确保注入上下文窗口的知识确实有助于智能体的性能。