Reward-Guided Autoregressive Graph Generation for Efficient Multi-Agent Communication Topology Design
本文介绍了 RGA-Designer，一种受 RLHF 启发的奖励引导自回归图生成方法，该方法通过优化多智能体通信拓扑结构，在保持任务准确性的同时，使 Token 消耗平均降低了 20.5%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，一种被称为“大语言模型”的强大工具已经出现，它能够生成类人文本并解决复杂问题。然而，这些模型并非完美无缺；在面对需要深度推理或复杂规划的任务时，它们可能会出错。为了克服这一问题，研究人员开发了“多智能体系统”（Multi-Agent Systems），在这种系统中，多个专门的 AI 助手协同工作，就像房间里的一组专家团队一样，每个助手处理问题的特定部分。一个智能体可能负责规划步骤，另一个负责编写代码，而第三个则负责检查错误。虽然这种团队协作通常比单个 AI 独立工作产生更好的结果，但它也带来了显著的代价。每当这些智能体进行通信时，系统都会消耗大量的数字资源，其单位是“Token”（令牌），这是计算机处理文本的基本单元。这种高消耗使得系统运行成本高昂且响应缓慢，从而产生了一种需求：如何使这些数字团队在不牺牲智能的前提下更加高效。
挑战在于这些智能体是如何连接的。在许多现有系统中，智能体之间的连接是固定的，或者通过简单地从预先存在的、过于复杂的网络中移除不必要的部件来创建。一种名为 ARG-Designer 的近期方法尝试从零开始构建这些网络，为每一个提出的问题创建一张全新的连接图谱。虽然这提供了极大的灵活性，但该系统存在一个盲点：它被训练为仅仅模仿其训练数据中看到的模式，而没有任何关于保持网络小型化或简化的特定指令。结果，它经常构建出繁琐、拥挤的通信图谱，即使简单的路径同样有效，所使用的资源也远超必要。
为了解决这个问题，一组研究人员引入了一种名为 RGA-Designer 的新方法，它扮演着一个严格但乐于助人的教练角色。该系统不再仅仅要求 AI 模仿过去的案例，而是教会 AI 珍视效率。研究人员训练了一个独立的“奖励模型”（Reward Model），即一种数字评判官，来评估 AI 创建的每一个网络。这位评判官会观察两件事：团队是否正确解决了问题，以及通信网络是否尽可能地小巧且紧凑？如果 AI 构建了一个庞大、纠缠不清的网络来解决问题，评判官给出的分数会低于它构建了一个实现相同结果的精简、直接的通信线。AI 随后从这些分数中学习，调整自己的行为，以倾向于更简单、更高效的设计。这一过程的灵感源自人类如何从反馈中学习——学生不仅通过答对问题来进步，还通过寻找达成目标的更优雅的方式来提升。
这种方法的成果在六种不同类型的困难任务中进行了测试，涵盖了从解决数学应用题到编写计算机代码以及回答常识性问题。研究人员发现，这种新方法保持了与之前最优系统相同的高准确度。团队仍然能正确解决问题，且答案质量并未下降。然而，效率方面的差异是惊人的。平均而言，新系统完成相同任务所使用的数字 Token 减少了约 20.5%。在某些特定测试中，节省效果更为显著，系统使用更少的计算能力即可得出相同的结论。这种减少意味着这些智能团队可以工作得更快，运行成本更低，使先进的 AI 协作变得更加触手可及。
一个有趣的例外是基于固定模板生成的数学问题数据集。在这些情况下，问题非常相似且解法十分直接，以至于系统无法找到太多额外的压缩空间。这表明，该方法在问题足够多样化且复杂、能够允许不同的团队组织方式时效果最佳。研究人员还注意到，他们的系统具有灵活性；由于评判官评估的是团队的整体结构而非记忆特定的角色，因此它可以适应新的智能体类型，而无需进行完全重新训练。虽然该系统目前依赖于具有明确、可验证答案的任务，但这种奖励引导方法的成功表明，在使人工智能团队不仅更聪明，而且更精简、更经济方面，存在着一条充满前景的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。