Declarative Skills for AI Agents in Knowledge-Grounded Tool-Use Workflows
本文认为,利用自然语言技能文件进行编排的声明式智能体,在以知识为基础的工具使用工作流中,通过提高准确性并减少错误,表现优于僵化的命令式状态机,前提是必须具备高质量的检索以克服不完整证据这一主要瓶颈。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下你正在雇佣一名新助手来帮你管理银行账户。你拥有一个庞大且混乱的规则手册、政策文件和工具手册库(即“知识库”)。你的目标是让这个助手执行特定的任务,比如注销账户或对扣款提出异议,这需要它找到正确的规则并使用正确的工具。
这篇论文是一场关于如何管理这个助手的三种不同方式之间的竞赛,旨在观察哪种方式能真正完成工作。
三种“管理者”
研究人员为他们的 AI 助手测试了三种不同的管理风格:
1. “赤裸”的助手(基准线)
这是没有任何特殊指令的助手。你只需把原始的对话历史交给他们,然后说:“你自己搞定吧。”他们必须自己猜测操作顺序、记得验证身份,并自行寻找合适的工具。
- 类比: 给一个游客一张外国城市的地图,但不给导游,只说:“找到博物馆并买张票。”
2. “声明式”助手(技能文件管理者)
这个助手会获得一组“技能文件”——即附加在指令中的简单、自然语言形式的速查表(如 Markdown 文档)。这些文件不会强迫助手遵循僵化的路径;相反,它们会说类似这样的话:“嘿,在你注销账户之前,请确保没有待处理的争议款项,”或者“如果你不知道工具名称,请务必先搜索图书馆。”助手阅读这些文件,并根据它们决定如何行动。
- 类比: 给游客一本带有重点提示的指南书:“记得在开车前检查交通情况,”以及“如果迷路了,请询问方向。”游客仍然在开车,但他们有了更好的建议。
3. “命令式”助手(状态机管理者)
这个助手由一个严格的、计算机编程生成的流程图驱动。管理者强制助手经历特定阶段:问候 → 分流 → 验证 → 规划 → 执行。在计算机确认助手已通过“验证”阶段之前,助手无法进入“执行”阶段(进行实际的银行业务)。计算机控制着交通灯;助手只有在绿灯亮起时才能驾驶。
- 类比: 让游客坐进一辆由 GPS 设定了固定路线的自动驾驶汽车。汽车必须在每个红灯前停下,除非 GPS 允许,否则不能左转。驾驶员(AI)没有任何偏离路线的自由。
重大发现: “图书馆”才是瓶颈
研究人员发现了一个令人惊讶的事实:如果图书馆很乱,你的管理者有多优秀也无济于事。
- “黄金”图书馆: 当研究人员给助手提供完全正确的文件时(完美的信息),声明式助手(带有技能文件)成为了明显的赢家。它犯错更少,完成任务的成功率更高。相比之下,“赤裸”助手表现尚可,但“命令式”助手表现反而更差,因为其僵化的规则过于脆弱;如果 AI 对步骤的分类出现偏差,整个系统就会卡死或失败。
- “嘈杂”的图书馆: 当研究人员使用一个经常返回错误文档的标准搜索工具(嘈杂的检索)时,所有人都失败了。技能文件无法修复由于检索到了错误规则而导致的问题。僵化的流程图也无法提供帮助,因为 AI 是基于错误信息在进行决策。
结论: 如果你的 AI 正在一个混乱、非结构化的数据库中寻找信息,再巧妙的管理方式(技能文件或僵化的代码)都无法挽救局面。你需要先优化搜索工具。
关于“合规性”的迷思
研究人员想看看命令式助手(严格的流程图)是否在遵循安全规则方面表现更好,例如“在更改账户前验证用户身份”。
- 理论上: 严格的流程图应该强制 AI 在接触账户之前完成身份验证。
- 现实中: 这并没有奏效。AI 仍然会犯错。因为 AI 被混乱的信息搞糊涂了,它有时会“幻觉”出自己已经通过了验证步骤,或者僵化的流程图会被 AI 的错误所干扰。严格的规则并没有真正阻止 AI 进行未经授权的操作。事实上,这种僵化系统更容易陷入循环,反复重试失败的操作,从而浪费时间和金钱。
结果总结
- 技能文件有效(当信息准确时): 给 AI 提供自然语言形式的“速查表”(声明式)有助于提升其表现,尤其是当 AI 模型本身不够聪明时。
- 僵化代码非常脆弱: 强迫 AI 进入严格的逐步流程(命令式)并不会让它变得更安全或更合规。相反,当事情没有按计划进行时,它会让系统变得更加脆弱且容易出错。
- 搜索才是关键: 最大的问题不在于如何管理 AI,而在于 AI 能否找到正确的信息。如果搜索结果很糟糕,世界上最好的管理方式也无济于事。
简而言之: 如果你想让你的 AI 代理胜任复杂任务,不要仅仅为它建造一个僵化的笼子。给它提供良好的、自然语言形式的指令(技能文件),但最重要的是,确保它首先能够找到正确的信息。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。