How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings
该论文首次全面评估了 LLM 代理在从 3.4 万个真实技能中自主检索和选择技能的现实场景下的表现，发现技能带来的性能提升在理想化设置之外会显著衰减，但通过查询特定的技能优化策略可有效恢复性能，并在 Terminal-Bench 2.0 等基准测试中验证了该方法的有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在给大语言模型（LLM）的“技能包”做了一次残酷但真实的“野外生存测试”。
想象一下，大语言模型就像一个刚毕业的超级天才实习生。他脑子很聪明，学东西快，但毕竟没经历过所有真实世界的复杂情况。为了让这个实习生能更好地干活，工程师们给他准备了一个**“技能工具箱”**（Agent Skills），里面装着各种现成的操作指南、代码片段和最佳实践（比如“怎么查洪水数据”、“怎么部署服务器”）。
这篇论文的核心故事就是：这些工具箱里的“说明书”，在现实世界里到底管不管用？
1. 之前的测试太“温室”了（理想化环境）
以前的研究就像是在无菌实验室里测试实习生。
- 场景：老板（测试者）直接把最完美、最对口的三张说明书放在实习生桌上，并说：“你就照着这三张做，别管别的。”
- 结果：实习生表现很好，任务完成率很高。
- 问题：这太假了！在真实世界里，老板不会把答案直接塞给你，而且桌上可能还堆着几千张无关的、甚至错误的说明书。
2. 这次我们去了“荒野”（真实环境）
作者们把实习生扔进了一个拥有 34,000 份说明书的巨型图书馆里，然后让他自己去干活。他们设置了三个越来越难的关卡：
- 关卡一：挑书难（技能选择）
- 情况：桌上有对的说明书，但混在一堆垃圾里。
- 结果：实习生经常挑错书，或者明明有对的也不拿。就像你让一个厨师去选食材，他可能拿着“做蛋糕的食谱”去炒了一盘“宫保鸡丁”。
- 关卡二：找书难（技能检索）
- 情况：没有现成的书，实习生得自己去图书馆里搜。
- 结果：图书馆太大，实习生搜出来的书不太对劲，或者只搜到了半本。这时候，任务成功率就开始断崖式下跌。
- 关卡三：改书难（技能适配）
- 情况：搜出来的书是通用的（比如“如何写代码”），但任务很具体（比如“修复这个特定的服务器漏洞”）。
- 结果：实习生拿着通用指南，完全不知道怎么用，甚至被里面的废话带偏了。这时候，他的表现几乎和没有任何说明书（裸机）时一样差，甚至更差（因为被错误信息误导了）。
结论：技能包的好处非常脆弱。一旦环境变得真实（需要自己找、自己选、自己改），那些原本看起来很有用的技能，效果就大打折扣了。
3. 怎么救场？（技能精炼策略）
既然直接扔给实习生一堆书不行，作者们想了两个办法来“优化”这些书：
- 办法 A：通用润色（Query-agnostic Refinement）
- 做法：不管实习生要干什么，先把图书馆里所有书都通读一遍，把错别字改了，把逻辑理顺。
- 效果：有点用，书变清晰了，但治标不治本。因为书的内容还是通用的，没针对具体任务。
- 办法 B：定制精修（Query-specific Refinement）—— 这是大杀器！
- 做法：让实习生先试着干一会儿活，看看手里拿的哪些书有用，哪些是废话。然后让他自己动笔，把有用的部分剪下来，拼成一本专门针对当前任务的新说明书。
- 比喻：就像实习生发现“做蛋糕的食谱”里关于“打发蛋白”的部分对做“舒芙蕾”很有用，但他需要把“做蛋糕”的部分删掉，再结合另一本“烘焙技巧”里的“温度控制”，自己组装成一本《舒芙蕾专用指南》。
- 效果：非常显著！当搜到的书里至少有一点点有用的信息时，这种“定制精修”能把任务成功率拉回到接近理想状态的水平。
4. 核心启示
这篇论文告诉我们两个大道理：
- 光有“书”不够，还得会“找”和“用”：现在的 AI 模型虽然聪明，但在面对海量信息时，筛选和整合信息的能力还是不够强。如果搜出来的书完全不对路，再聪明的模型也救不回来。
- “边做边改”是关键：最好的技能不是静态的，而是动态生成的。让 AI 在尝试任务的过程中，自己把零散的知识“拼”成一套完整的解决方案，这才是让技能真正生效的秘诀。
一句话总结：
给 AI 一个完美的技能包，它可能只会用；但如果你给它一堆杂乱的资料，并教它如何根据任务自己“剪贴”出一份专属指南，它就能从“温室花朵”变成真正的“野外生存专家”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。