SynthTools: A Framework for Scaling Synthetic Tools for Agent Development
本文介绍了 SynthTools，这是一个完全基于大语言模型的框架，能够自动生成、验证并扩展多样化的合成工具环境与任务，并证明了在该合成数据上训练智能体可显著提升其在现实世界基准测试中的工具使用性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想教机器人如何使用一个巨大且复杂的工具箱来修理房屋。问题在于，你不能直接把一个装有真实工具（比如真实的锤子或真实的电钻）的真实工具箱交给机器人，因为：
- 真实工具很麻烦：它们会损坏，需要电池，而且有时当你试图使用它们时，它们就是无法工作。
- 数量不够：你无法仅利用真实工具为宇宙中每一种可能的工具构建培训课程。
- 很难制造“练习题”：如果你告诉机器人“修复漏水”，它可能不知道该使用哪些工具，或者按什么顺序使用。
SynthTools 是一个新框架，它通过在计算机内部完全构建一个巨大、完美、虚拟的模拟工厂来解决这个问题。它不使用真实工具，而是利用超级智能的人工智能（大型语言模型）来发明、测试和组织成千上万个虚假工具和练习题。
以下是 SynthTools 工厂的运作方式，分为三个简单步骤：
1. 架构师（自上而下的生成）
将其视为总设计师。
AI 不是随机草拟一份工具清单，而是从一个宏大的概念开始，例如“金融交易”或“电子商务”。然后，它将这个宏大概念分解为较小的领域（子领域），再分解为具体工作（任务），最后为这些工作发明所需的特定工具。
- 类比：想象设计一款电子游戏。你不会随意将物品扔在地上。你会决定“这是一个医院关卡”，因此你会发明“听诊器”、“注射器”和“心脏监护仪”，它们都以逻辑上相互契合的方式存在。SynthTools 为 100 个不同的“世界”（如金融、物流、医疗保健）执行此操作，创建了超过 73,000 种独特的工具。
2. 质量检验员（模拟与验证）
这是严格的工头。
仅仅因为 AI 发明 了一个工具，并不意味着它能工作。工头会对每一个工具进行压力测试。
- 测试：工头尝试以不同方式使用该工具。“如果我给你错误的密码会发生什么？”“如果航班已满员怎么办？”
- 结果：如果工具给出令人困惑的回答或崩溃，工头会将其扔进垃圾桶。如果它能完美处理错误（例如，说“抱歉，没有座位了”而不是崩溃），它就能获得批准印章。
- 规模：他们测试了近 80,000 个工具。该系统在识别劣质工具方面非常出色，能够过滤掉薄弱环节，只留下可靠的 73,883 个工具。这就像一个工厂，只发货那些通过了 97% 准确率测试的产品。
3. 谜题制造者（自下而上的任务生成）
现在他们拥有了一堆已批准的工具，需要为机器人创建练习题来解决。
- 方法：他们不是要求 AI“编造一个难题”，而是从底层构建问题。他们选取几个已批准的工具（例如“退货请求”工具和“邮件发送”工具），并将它们串联起来。
- 结果：他们创建一个分步故事：“一位顾客想要退回一件衬衫。首先，检查他们是否符合资格。其次，打印标签。第三，发送邮件。”
- 神奇之处：因为 AI 是使用它已知有效的工具来构建谜题的，所以它也知道确切的答案。这就像一位老师编写数学试卷的同时也编写了答案钥匙。这确保了每个任务都是可解且可验证的。他们创建了近 80,000 个这样的谜题。
大型实验：它有效吗？
研究人员采用了一个标准 AI 模型（Qwen3），并对其进行了一次“中期训练”。你可以将其视为利用这些合成谜题将 AI 送往驾驶学校。
- 训练：AI 练习解决这 80,000 个虚假但逼真的问题。
- 测试：随后，他们在真实基准上测试了该 AI（使用真实世界的 API 和实际的功能调用测试）。
- 结果：在合成工厂中练习过的 AI 在使用真实工具方面有了显著提高。这就像在完美的驾驶模拟器上练习，使司机在雨天驾驶真实汽车时表现更好。
总结
SynthTools 是一个利用 AI 构建庞大、自校验的虚假工具和虚假问题库的管道。它通过生成自身高质量、多样化且经过验证的训练数据，解决了“我们没有足够的真实数据来训练机器人”的问题。其结果是一个可扩展至数百万种工具和任务的框架，帮助 AI 智能体更有效地学习如何使用工具，即使在现实世界中也是如此。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。