Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
本文介绍了 AsyncFC，这是一个通过解耦模型解码与函数执行来降低大语言模型智能体延迟的框架，它能够在无需任何模型微调或协议变更的情况下实现异步并行工具调用。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位才华横溢的项目经理（即AI），正试图完成一项复杂的工作，比如规划一次旅行或修复一段软件。你拥有一支由专家组成的团队（即函数），他们可以预订航班、查询天气或编写代码。
旧方法：“等候室”问题
在当前的标准做法中，你的项目经理非常有礼貌，但效率极低。
- 你请一位专家预订航班。
- 该专家前往柜台执行任务。
- 项目经理僵坐不动，盯着墙壁，完全无所事事，直到专家带着机票返回。
- 只有此时，经理才会提出下一个问题（例如：“那么，那个机场的天气如何？”）。
如果你有三个各需 10 秒的任务，整个流程将耗费 30 秒的纯粹等待时间。经理在其中 20 秒处于闲置状态。这就是论文中所称的同步执行。
新方法：AsyncFC（“魔法剪贴板”）
加州大学伯克利分校的研究人员引入了一种名为AsyncFC的新系统。不妨将其想象为赋予项目经理一个魔法剪贴板和一位超级快速助手。
其工作原理如下：
- 你请专家预订航班。
- 专家接收请求后，立即递给你一张魔法票根（论文中称为“Future"）。这张票根写着：“您的航班已预订；我将在 10 秒后带回实际机票。”
- 关键在于，项目经理不会停止。他们立即查看票根，说“收到了”，随即转向下一个任务（查询天气），而航班预订仍在后台进行。
- 专家在后台完成航班预订。完成后，他们悄悄将真正的机票滑到经理的桌面上。
- 如果经理需要用机票预订酒店，只需查看桌面，确认机票已送达，即可使用。如果酒店暂不需要机票，经理可继续处理其他事务。
两大核心优势
该系统带来了两种类型的加速：
1. 工作重叠（“多任务处理”效应）
项目经理无需等待任务 A 完成后再开始任务 B，而是在任务 A 处理过程中执行任务 B。这就像一位厨师在汤锅煮沸的同时切菜，而不是等汤煮沸后才拿起菜刀。
2. 并行专家（“团队集会”效应）
有时，你需要同时预订航班和租车。这两项任务彼此独立。
- 旧方法：预订航班（等待 10 秒）→ 租车（等待 10 秒）。总计：20 秒。
- AsyncFC：经理同时发出两项请求。系统将两项请求分别发送给不同的专家，他们同时工作。经理立即获得两张票根并继续工作。总耗时仅为 10 秒。
“智能调度器”
你可能会担心：“如果经理在航班机票准备好之前就要求预订酒店，那岂不是灾难？”
论文引入了一位智能调度器（相当于交通指挥员），它位于经理与专家之间。
- 它清楚哪些任务依赖于其他任务。
- 如果酒店预订需要航班机票，调度器会将酒店请求暂存于“等候室”，直到航班机票送达。
- 如果酒店预订不需要机票，调度器则立即让专家开始工作。
- 这确保了经理永远不会困惑，也不会尝试使用尚不存在的结果，而这一切无需经理改变其行为方式。
他们证明了什么？
研究人员在真实世界任务中测试了该系统，例如：
- 网络搜索：跨多个网站查找信息。
- 软件工程：修复代码中的错误（使用名为 SWE-agent 的工具）。
- 复杂推理：回答需要多步骤的问题（如 HotpotQA）。
结果：
- 速度：任务完成速度大幅提升（在软件工程任务中最高达1.44 倍）。
- 准确性：答案质量未下降。AI 同样聪明，只是更快。
- 无需训练：他们无需重新教导 AI 如何思考。他们仅改变了“执行层”（运行任务的系统）。AI 自然理解了“魔法票根”，因为它在训练数据中已见过类似概念。
核心结论
AsyncFC 就像将工厂从一条每遇路口就停车的单行道，升级为智能高速公路系统，车辆可在此汇入、超车，并在不同时间抵达而不会相撞。它通过让 AI 代理在等待答案时继续工作，同时不破坏其与工具交互的规则，从而提升了 AI 代理的速度。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。