GOAT: A Training Framework for Goal-Oriented Agent with Tools
本文介绍了 GOAT，这是一种新颖的训练框架，能够从文档中自动合成面向目标的 API 执行数据，从而在无需人工标注的情况下对开源大语言模型智能体进行复杂工具使用的微调，并在现有基准测试及新提出的 GOATBench 上实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位非常聪明、博览群书的图书管理员（即人工智能），他懂得如何阅读书籍和撰写故事。然而，如果你要求这位图书管理员前往图书馆的后屋，找到一箱特定的旧地图，从中抽出一页，然后利用这一页在一本食谱书中找到特定的食谱，这位图书管理员往往会迷路。他可能会找错箱子、拿错书，或者忘记把地图页带到厨房。
这就是当前人工智能代理（AI agents）在尝试使用“工具”（如 API，即与数据库、天气服务或电影列表的数字连接）时所面临的问题。它们擅长聊天，但在规划多步骤任务时却表现糟糕，尤其是当某一步骤完全依赖于前一步骤的结果时。
这篇论文介绍了GOAT（面向目标的工具代理），这是一种新的训练方法，旨在将那位困惑的图书管理员转变为一名精通的侦探。以下是其工作原理，通过简单的类比来说明：
问题：“猜谜游戏”
通常，为了教会人工智能使用工具，研究人员不得不雇佣人类编写成千上万个示例，例如：“首先，向天气 API 询问降雨情况。然后，利用那个‘降雨’答案，向服装 API 询问雨衣。”
这种方法既昂贵又缓慢。如果没有这些人工编写的示例，人工智能模型就只会猜测。它们往往无法完成需要串联多个步骤的复杂任务。
解决方案：“逆向工程”厨房
GOAT 的作者意识到，他们并不需要人类来编写指令。他们已经拥有了“食谱书”（即 API 文档）。与其让人工智能从一道成品菜中猜测食谱，他们决定先制作菜肴，再描述食谱。
他们采用了一种**“先调用”**策略：
- 绘制厨房地图：首先，系统阅读所有 API 手册，并绘制出工具之间如何连接的地图。（例如，“‘天气’工具的输出完美契合‘雨伞’工具的输入”。）
- 烹饪菜肴（“先调用”步骤）：系统在这张地图上选择一条路径，并实际运行这些工具。它向天气工具请求数据，获取结果，然后立即利用该结果向雨伞工具发起请求。它不进行猜测，而是执行真实的步骤并获得真实的答案。
- 撰写食谱（抽象步骤）：在工具完成工作之后，人工智能审视这一连串已完成的事件，并编写一个与之匹配的用户查询。它本质上是在说：“哦，我刚刚完成了所有这些步骤来寻找雨衣。所以，用户问‘如果下雨我该穿什么？’正是我刚刚解决的问题。”
通过这种逆向操作（行动 问题），人工智能无需人类编写指令，就能学习工具之间连接的正确逻辑。它是通过先做工作，然后解释自己所做之事来学习的。
结果：超级助手
论文在几项挑战中测试了这种经过新训练的"GOAT"代理：
- RestBench 与 API-Bank：这些就像考试，要求人工智能使用一系列工具来查找电影评论或音乐推荐。
- GOAT-Bench：作者专门为这类复杂的多步骤任务创建了一个全新的、更大规模的考试。
研究结果非常明确：
- 开源模型：在 GOAT 出现之前，小型开源人工智能模型（免费且对所有人可用）在这些复杂任务上几乎毫无用处。它们的失败率接近 100%。
- GOAT 之后：一旦使用这种新方法进行训练，这些相同的开源模型在这些任务上变得极其出色。在某些情况下，它们的性能甚至超过了通常主导这些测试的昂贵闭源模型（如 GPT-4）。
- 无需人类：整个训练数据集均由系统利用 API 手册自动构建。无需任何人坐下来编写逐步指令。
核心结论
GOAT 是一种教导人工智能代理如何规划和使用工具的方法，它让代理先练习实际工作，然后教导它们描述目标。它无需昂贵的人类教师，就能将开源人工智能模型从“毫无头绪的猜测者”转变为“可靠的规划者”。作者已公开了其代码以及新的测试套件（GOAT-Bench），供他人使用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。