SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

本文提出了 SkillsBench 基准，通过 86 个跨领域任务评估发现，精心策划的 Agent 技能能显著提升大语言模型的平均通过率（+16.2%），且小模型借助技能可媲美无技能的大模型，但模型自主生成的技能往往无效，且技能效果在不同领域间存在显著差异。

要点

这篇论文介绍了一个名为 SkillsBench 的新项目，它就像是一个专门用来测试“智能助手”（AI Agent）能不能真正学会并运用“技能包”的大型考试中心。

为了让你更容易理解，我们可以把 AI 模型想象成刚毕业的天才大学生，把“技能（Skills）”想象成工作手册或操作指南。

1. 核心问题：天才学生需要“说明书”吗？

现在的 AI 模型（像 Claude、Gemini、GPT 等）非常聪明，像是一个博闻强记的天才大学生。但是，当它们面对具体的、复杂的现实任务时（比如“分析一家公司的财务报表”或“修复一个特定的软件漏洞”），它们往往缺乏具体的操作经验。

这就好比让一个懂物理的大学生去修一辆法拉利，他懂引擎原理，但可能不知道这辆车的特定螺丝怎么拧。这时候，如果给他一本专门针对法拉利的维修手册（即“技能包”），他能不能修得更好？

SkillsBench 的目的就是回答这个问题： 给 AI 一本“操作手册”，真的能帮它把活干得更好吗？

2. 他们做了什么？（一场大型实验）

研究团队设计了一场超级考试：

• 84 道难题：涵盖了 11 个领域，从写代码、看医疗报告、分析金融数据到制造机器人控制。
• 7 种不同的“学生”：测试了 7 种不同型号的 AI 模型（有的像普通本科生，有的像顶尖博士生）。
• 三种考试模式：
  1. 裸考（No Skills）：不给任何手册，全靠 AI 自己的脑子。
  2. 带“官方秘籍”考试（Curated Skills）：给 AI 一本由人类专家精心编写的、步骤清晰的“操作手册”。
  3. 自己写“秘籍”考试（Self-Generated Skills）：不给手册，让 AI 自己先写一本“我觉得有用的手册”，然后再照着做。

3. 惊人的发现（考试结果）

🏆 发现一：人类写的“官方秘籍”效果拔群

• 结果：当 AI 拿到了人类专家编写的“操作手册”后，平均通过率提高了 16.2%。
• 比喻：这就像给一个懂理论的学生发了一本《法拉利维修实战指南》，他的修车成功率直接飙升。
• 领域差异：
  • 在医疗和制造领域，效果最明显（提升幅度高达 50% 以上）。因为这些领域有很多死板的流程，AI 自己很难猜对，但有了手册就一目了然。
  • 在软件工程领域，提升反而较小。因为 AI 本身就很擅长写代码，手册带来的额外帮助有限。

📉 发现二：AI 自己写的“秘籍”不仅没用，甚至有害

• 结果：让 AI 自己先写一本“操作手册”再去做题，平均成绩没有提升，甚至下降了。
• 比喻：这就像让那个天才大学生自己写一本“维修指南”，结果他写出来的指南全是错的或者模棱两可的。他照着自己写的错指南去修车，反而把车修坏了。
• 结论：AI 目前还无法可靠地生成它自己真正需要的“专业知识”。人类专家的经验和精心整理的步骤，是 AI 目前无法替代的。

📏 发现三：手册越“精简”越好

• 结果：那些只有 2-3 个核心步骤的“小册子”，比那种几百页的“百科全书”效果好得多。
• 比喻：给司机一张“红绿灯路口右转三步走”的卡片，比给他一本《交通法规大全》更能让他快速通过路口。太厚的书会让 AI 看得晕头转向，找不到重点。

🚀 发现四：小模型 + 好手册 = 大模型

• 结果：一个能力较弱的 AI（小模型），如果配上好的“操作手册”，它的表现可以媲美没有手册的顶级 AI（大模型）。
• 比喻：一个普通实习生，拿着大师的“独门秘籍”，干活的效果可能比一个没带笔记的资深专家还要好。

4. 总结与启示

这篇论文告诉我们一个很朴素的道理：
AI 很聪明，但它需要“脚手架”。

• 不要指望 AI 自己发明知识：让它自己瞎编“操作指南”是行不通的。
• 人类专家的价值依然巨大：我们需要人类去编写那些结构清晰、步骤明确的“技能包”，AI 才能发挥最大威力。
• 少即是多：给 AI 的信息要精准、简洁，不要堆砌无关的废话。

一句话总结：
SkillsBench 证明了，给 AI 配上人类精心编写的“操作说明书”，能让它从“懂理论的天才”变成“能解决实际问题的专家”；但让 AI 自己写说明书，它只会把自己绕晕。未来的 AI 应用，关键在于人类如何把专业知识封装成 AI 能读懂的“技能包”。

技术摘要

SkillsBench 技术总结

1. 研究背景与问题定义

背景：
大型语言模型（LLM）已从单纯的内容生成器演变为能够执行复杂多步任务的自主智能体（Agent）。为了增强智能体在特定领域（如软件工程、医疗、金融）的能力，业界引入了**Agent Skills（智能体技能）**的概念。Skills 是一种结构化的程序知识包，包含操作指南、代码模板、资源和验证逻辑，旨在推理阶段（Inference Time）增强智能体行为，而无需微调模型。

核心问题：
尽管 Skills 生态系统迅速扩张，但缺乏标准化的评估基准来回答以下关键问题：

1. 有效性验证： Skills 是否真的能提升智能体性能？提升幅度有多大？
2. 设计原则： 什么样的 Skills 内容（指令 vs. 代码 vs. 示例）最有效？
3. 生成能力： 智能体能否可靠地自我生成有效的程序性知识？
4. 领域差异： Skills 在不同任务领域（如医疗 vs. 软件工程）的表现是否存在显著差异？

现有的基准测试（如 Terminal-Bench, SWE-bench）主要评估模型的原始能力，缺乏对“引入 Skills 后性能提升幅度”的配对评估。

2. 方法论：SkillsBench 基准构建

SkillsBench 是首个将 Skills 作为一等评估对象（First-class artifacts）的基准测试。

2.1 核心架构

• 任务集： 包含 84 个任务，覆盖 11 个领域（如医疗、制造、网络安全、软件工程、数学等）。
• 评估条件（三种）：
  1. 无 Skills (No Skills)： 仅包含任务指令，作为基线。
  2. 精选 Skills (Curated Skills)： 提供人工精心策划的、针对该类任务的结构化程序包。
  3. 自生成 Skills (Self-Generated Skills)： 不提供外部 Skills，强制智能体在解题前先生成程序性知识。
• 验证机制： 每个任务配备确定性验证器（Deterministic Verifiers）（基于 pytest），通过程序化断言判断 Pass/Fail，避免 LLM-as-a-Judge 的主观性。
• 实验规模： 测试了 7 种智能体 - 模型配置（包括 Claude Code, Gemini CLI, Codex CLI 配合不同模型），共生成 7,308 条轨迹。

2.2 任务与技能规范

• 技能定义： 必须是模块化的、可移植的（基于文件系统），包含 SKILL.md（自然语言流程指导）和可选资源（脚本、模板）。明确排除了单纯的系统提示（System Prompts）或事实性检索（RAG）。
• 防泄露设计： 严格审查确保 Skills 提供的是“方法论指导”而非“特定任务的直接答案”，防止智能体通过记忆任务特定信息作弊。
• 质量过滤： 经过自动化检查（结构、AI 生成检测、泄露审计）和人工审查（数据真实性、任务现实性、Oracle 质量），从 322 个候选任务中筛选出 84 个高质量任务。

3. 主要发现与结果

3.1 精选 Skills 显著提升性能，但存在领域差异

• 平均提升： 精选 Skills 使平均通过率提升了 16.2 个百分点 (pp)。
• 领域异质性： 提升幅度在不同领域差异巨大：
  • 医疗 (Healthcare)： +51.9 pp（提升最显著，因涉及高度专业化的临床流程）。
  • 制造 (Manufacturing)： +41.9 pp。
  • 软件工程 (Software Engineering)： +4.5 pp（提升较小，可能因为模型预训练已包含大量相关代码知识）。
  • 数学 (Mathematics)： +6.0 pp。
• 负面案例： 84 个任务中有 16 个任务在引入 Skills 后性能反而下降（负增益），表明不当的 Skills 可能引入冲突指导或增加认知负荷。

3.2 智能体无法可靠地自我生成有效技能

• 自生成 Skills 表现： 平均提升为 -1.3 pp（即性能略有下降）。
• 原因分析： 模型虽然能识别需要特定知识，但生成的程序性指导往往不精确、不完整或缺乏具体 API 模式。这证明了人类策划的领域专业知识对于构建有效 Skills 是不可或缺的，模型尚不具备可靠的自我指导生成能力。

3.3 技能设计原则：少即是多

• 数量优化： 2-3 个模块的 Skills 组合效果最佳（提升 +18.6 pp）。提供 4 个以上 Skills 反而导致收益递减（仅 +5.9 pp），过多的内容造成了认知过载。
• 内容复杂度： 详细且紧凑 (Detailed & Compact) 的指南优于全面详尽 (Comprehensive) 的文档。全面文档往往因占用过多上下文预算且难以提取关键信息而表现不佳（甚至导致 -2.9 pp 的下降）。

3.4 模型规模与 Skills 的互补性

• 小模型 + Skills > 大模型 (无 Skills)： 较小的模型（如 Claude Haiku 4.5）在配备 Skills 后，其表现可以超越没有 Skills 的更大模型（如 Claude Opus 4.5）。这表明 Skills 可以部分弥补模型容量在程序性任务上的不足。

3.5 不同智能体框架（Harness）的差异

• Claude Code： 对 Skills 的利用率最高，所有 Claude 模型均表现出显著的性能提升。
• Gemini CLI： 在绝对性能上表现最好（Gemini 3 Flash + Skills 达到 48.7% 通过率），但对 Skills 的依赖模式不同。
• Codex CLI： 经常忽略提供的 Skills，倾向于独立生成解决方案。

4. 关键贡献

1. 首个 Skills 专用基准： 建立了包含 84 个任务、11 个领域的标准化评估框架，填补了“评估 Skills 增量价值”的空白。
2. 大规模实证数据： 提供了 7,308 条轨迹的详尽数据，揭示了 Skills 在不同模型、不同领域、不同设计模式下的表现方差。
3. 设计原则指导： 提出了具体的 Skills 设计原则（如 2-3 模块最佳、避免过度详尽），为开发者优化 Skills 提供了实证依据。
4. 开源基础设施： 发布了数据集、评估工具链（基于 Harbor 框架）和验证器，推动社区在 Skills 设计、选择和部署方面的研究。

5. 意义与启示

• 对开发者的启示： 盲目堆砌 Skills 文档并非良策。应专注于编写模块化、步骤清晰、包含关键代码示例的简短指南。
• 对研究界的启示： 证明了“上下文增强”不仅仅是增加信息量，程序性结构（Procedural Structure）和人类策划的领域知识才是关键。未来的 Agent 研究应更多关注如何高效检索和应用外部知识，而非单纯依赖模型参数。
• 生态影响： 揭示了当前 LLM 在自我生成程序性知识方面的局限性，强调了人类专家在构建 Agent 生态系统中的核心地位。

总结： SkillsBench 证明了精心策划的 Agent Skills 是提升 LLM 智能体在专业领域表现的关键杠杆，但其效果高度依赖于内容质量、任务领域以及智能体框架的集成方式。未来的方向在于优化 Skills 的紧凑性与针对性，而非单纯增加数量。