Enrich-Retrieve-Rank: Scaling Capability Discovery Beyond In-Context Routing
本文介绍了“富集-检索-排序”（Enrich-Retrieve-Rank），这是一种可扩展的能力发现流水线，它通过离线富集与在线“先检索后排序”的方法取代了低效的上下文内路由，并证明了随着智能体生态系统从数百个组件增长到数千个组件，该方法比基准方法具有显著更高的准确性和更低的成本。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，新一代系统已经出现，它们不仅能回答问题，还能执行任务。这些系统通常被称为“智能体”（agents），它们充当数字助手，可以浏览网页、编写代码或管理复杂的流程。为了实现这些功能，它们依赖于一个庞大的数字工具、技能和其他智能体的库，就像人类工人依赖于装满锤子、螺丝刀和专业软件的工具箱一样。随着这些生态系统的增长，它们现在包含了数千种不同的能力。这些智能系统面临的核心挑战是“发现”：当面对特定任务时，系统如何知道从可能包含数千个选项的库中挑选哪一个工具？长期以来，标准的方法是直接将所有可用工具的完整列表展示给人工智能，并让它进行选择。当列表较短时，这种方法效果良好；但随着库扩展到数千个，系统开始变得力不从心，经常无法找到正确的工具，或者在尝试错误选项时浪费大量时间和资源。
Amazon AGI 的一个研究团队致力于通过重新构想这些系统搜索能力的方式，来解决这一规模化问题。他们没有将问题视为简单的选择，而是将其视为一个搜索引擎查询。该团队并没有强迫人工智能阅读一份庞大且无序的每一个工具的列表，而是构建了一个流水线，先对信息进行组织，然后在做出最终决策前检索出最相关的选项。该过程始于一个离线步骤，系统会将每个工具稀疏、往往简短的描述重写为丰富、详细的档案。这一步是在工具添加到库中时执行一次的，从而创建一个包含摘要、特定关键词和工具使用示例的可搜索记录。当用户提出问题时，系统不会要求人工智能从整个库中进行猜测，而是通过快速搜索这个经过强化的索引来提取出最有可能的候选名单，然后使用最后的针对性检查来进行排序。
研究人员将这种方法与向人工智能展示完整列表的传统方法（称为“上下文路由”，in-context routing）进行了对比测试。他们发现，随着工具库的增长，传统方法会发生崩溃。当库中仅包含十个工具时，系统的正确率为 85%。然而，当工具数量增加到近七千个时，传统方法的准确率骤降至仅 12%。系统被其必须同时处理的海量信息压垮了。相比之下，这种新的“搜索并排序”流水线能够更优雅地应对增长。虽然其准确率也会随着库的扩大而下降，但仍保持在显著更高的水平，在最大规模下仍有 39%。至关重要的是，研究人员发现了一个大约在五百个工具左右的临界点。在此数量之下，展示完整列表的旧方法仍然表现良好；超过此数量后，新的基于搜索的方法变得必不可少，其表现大幅超越了旧方法。
研究还表明，新系统要高效得多。通过先检索出一个候选名单，该系统使用的计算资源大约只有传统方法（即逐一搜索候选对象的方法）的一半。与展示完整列表的方法相比，新方法将成本降低了 70 倍。这种效率至关重要，因为每当人工智能尝试一个工具并失败时，都会消耗计算能力和时间，在某些情况下，它甚至可能为了了解工具的功能而触发在不受信任系统上的操作。新的流水线通过在采取任何行动之前过滤掉无关选项，避免了这些浪费尝试。
该研究的一个关键发现是，性能提升主要来自于“检索”步骤，而非最后的“排序”步骤。系统在初始搜索阶段寻找正确工具的能力是主要的瓶颈。即使搜索引擎找到了正确的工具，最后的排序步骤也非常可靠，无论库的大小如何，都能在 70% 到 87% 的情况下将最佳选项置于顶部。这表明，这些系统的未来不仅取决于让最终决策者变得更聪明，更在于构建能够处理大规模工具库的更好搜索引擎。研究人员还指出，当初始工具描述较为稀疏或不完整时，这种方法效果最好。对于那些已经拥有非常详细描述的库，增加重写信息的步骤带来的收益很小。然而，对于描述往往很简短的现实世界中庞大且不断增长的工具库，这种强化步骤对于成功至关重要。
该团队已将此流水线部署为某个大规模多智能体平台生产环境中的默认发现层。在这个真实的运行环境中，系统同时管理着数千个智能体、工具和技能。结果证实了实验室的研究发现：基于搜索的方法使系统能够有效地进行扩展，而旧方法则无法应对。研究人员强调，这并非理论练习，而是针对人工智能系统变得更加复杂和强大时所产生问题的实际解决方案。通过将能力发现视为一个“搜索问题”而非“选择问题”，他们为这些系统如何在不丧失寻找合适工具能力的情况下持续增长提供了蓝图。这项工作证明，随着人工智能生态系统的扩张，它们寻找信息的方式架构必须随之演进——从简单的列表转向能够处理现代数字世界复杂性的、精密的层次化搜索流程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。