Efficient LLM Collaboration via Planning
本文提出了 COPE，一种测试时协作框架，其中小型和大型语言模型在多阶段级联中交替充当规划者和执行者，在大幅降低推理成本的同时实现了与大型专有模型相当的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个复杂的任务要解决，比如修理一台坏掉的引擎或解开一道棘手的数学谜题。你有两位助手可供选择：
- 本地杂工：一位小型、免费且快速的工人，就住在你的车库里。他们擅长处理简单的工作，但有时会在复杂问题上卡住。
- 大师建筑师：一位庞大、昂贵且居住在遥远高科技塔楼中的专家。他们几乎能解决任何问题，但每次请他们帮忙都要花费巨资。
问题在于：如果你为每一项任务都聘请大师建筑师，你会破产；如果你只使用本地杂工，他们可能会在难题上失败。
本文介绍了一种名为COPE（协同规划与执行）的新工作方式。它就像一个智能的协作系统，让这两位工人能够高效合作，而不会浪费金钱。
COPE 如何运作：“先规划”策略
COPE 并非只是让杂工去“修理引擎”并寄希望于好运，而是使用了一个规划步骤。将“规划”视为在开始实际工作之前快速绘制的高层地图或编写的一组指令。
以下是他们协作的逐步过程：
第一阶段：杂工尝试主导
本地杂工尝试独自完成整个工作。首先，他们为自己写一个快速的“规划”（一个简单的目标或指南），然后基于该规划尝试解决问题。
- 检查：如果杂工非常有信心自己做得对（例如，他们尝试了三次并得到了相同的答案），他们就会完成工作。这既免费又快速！
- 失败：如果他们不确定或答案看起来不可靠，他们不会放弃，而是进入第二阶段。
第二阶段：建筑师绘制地图，杂工建造
现在，昂贵的大师建筑师介入，但仅是一瞬间。建筑师并不立即承担繁重的工作。相反，他们基于问题编写一个新的、更好的规划（更清晰的地图）。
他们将这个新规划交给本地杂工。杂工随后再次尝试解决问题，但这次他们是遵循建筑师的专家地图。
- 检查：如果杂工在建筑师地图的指引下感到有信心，他们就会完成工作。你只为建筑师绘制地图的一小段时间付了费，从而节省了大量资金。
- 失败：如果杂工即使有了地图仍然卡住，他们就会升级到第三阶段。
第三阶段：建筑师接手
如果前两个步骤都无效，大师建筑师最终会亲自完成整个工作——包括规划和执行。这是最昂贵的步骤，但仅在绝对必要时才会发生。
为什么这很重要
论文发现了一些关于这种团队协作方式的惊人之处：
- 大脑帮助小脑：当大师建筑师为杂工编写规划时，杂工会变得聪明得多。这就像一名学生在教授解释了策略（即规划）后，突然理解了数学问题，即使实际计算是由学生完成的。
- 小脑会混淆大脑：有趣的是，如果杂工尝试为大师建筑师编写规划，实际上会导致建筑师的表现变差。建筑师如此聪明，以至于杂工提供的简单、低质量的规划反而会分散他们的注意力。这就是为什么该系统被设计为仅由建筑师为杂工规划，而不是反过来。
- 在不降低质量的情况下节省资金：在涉及数学、编程甚至复杂智能体任务（如机器人在房屋中导航）的测试中，COPE 取得的结果与单独使用大师建筑师一样好，甚至更好。然而，其成本降低了45% 到 75%，因为昂贵的大师建筑师仅在处理最难的部分或仅用于绘制地图时才会被调用。
总结
COPE 就像一位聪明的管理者，知道何时让本地工人完成工作，何时向专家寻求快速提示（即规划），以及何时叫专家来完成整个任务。通过使用“规划”作为小型模型与大型模型之间的轻量级桥梁，它使它们能够高效协作，在解决难题的同时不会耗尽资金。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。