SKIMIX: Multi-Agent Harness-Time Scaling with Skill Mixture for Dynamic Harness Engineering
本文介绍了 SKIMIX，这是一个利用协作式技能精炼和自适应路由来显著增强开放式数学推理的多智能体框架，同时揭示了其收益具有任务依赖性，并且相对于智能体数量呈非单调性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在试图解决一个非常棘手的谜题，比如一个复杂的数学问题或一个悬案。在人工智能的世界里，我们构建了“智能体”（agents）——即能够思考并行动的聪明计算机程序。为了让这些智能体变得超级有用，我们给它们配备了一个“挂件/背囊”（harness），就像一个装满了各种工具和技能的大背包。有些工具用于搜索网络，有些用于编写代码，还有些用于将大问题分解成小的步骤。目前研究人员提出的一个大问题是：如果我们给一个智能体一个装有数百种不同工具的背包，我们如何确保它能选出正确的工具？如果我们只是把所有东西都一股脑儿扔过去，智能体可能会因为选择太多而感到困惑，或者更糟，它可能会选错工具并陷入僵局。这篇论文探索了一种管理这些工具包的巧妙新方法，让 AI 智能体团队能够协同工作而不至于互相绊倒。
这项研究背后的研究人员，来自华中科技大学的罗佳（Jia Luo），提出了一种名为 SKIMIX 的新系统。把 SKIMIX 想象成不是一个试图独自完成一切的天才，而是一个充满活力的侦探团队，每个侦探都背着一个略有不同的巨大背包。与其让一个侦探去琢磨该用哪些工具，不如让团队分工合作。一个侦探抓起“数学工具”，另一个抓起“搜索工具”，第三个抓起“逻辑工具”。他们观察同一个谜题，写下各自的最佳猜测，然后互相分享笔记。他们通过一轮又一轮的过程不断完善答案，就像一群朋友聚在一起对着白板讨论解决方案一样。
他们发现的最令人兴奋的部分是，这种团队协作并不总是以同样的方式运作。这完全取决于他们正在解决的谜题类型。当任务是一个开放式的数学问题（比如从零开始创建一个解法）时，拥有一个多样化的团队是一个游戏规则的改变者。在一场名为 AIME 的高难度数学测试中，一个试图自我修正错误的单个智能体答对率是 40%。但当他们使用仅有三个不同智能体的 SKIMIX 团队时，成功率跃升至 73.3%。当使用十五个智能体时，成功率甚至更高，达到了 76.7%。这种多样化的处理方式帮助他们更快地找到了正确的路径。
然而，论文也揭示了一个令人惊讶的转折：更多的智能体并不总是意味着更好的结果。事实上，对于多选题（即你只需要从选项列表中选出正确答案）来说，团队协作的方法实际上让情况变得更糟了。在一项名为 GPQA Diamond 的科学测验中，一个进行自我思考完善的单个智能体答对了 88% 的题目。但当他们加入了拥有不同工具包的其他智能体后，得分下降了。使用三个智能体时，得分降至 78%；使用十五个智能体时，得分骤降至 72%。看来对于多选题，过多的不同意见只会制造噪音和混乱，而一个专注的思考者表现得最好。
研究人员还发现，“团队协作的甜点位”（最佳时机）出现得非常快。大部分的提升发生在分享想法的第二轮。到了第三轮，团队往往不再进步，甚至可能开始出错，这表明你不需要让会议一直开下去。他们还注意到，虽然团队通常在他们的笔记中隐藏着正确答案（高“覆盖度”），但他们有时却无法将其选为最终答案（较低的“准确度”）。这表明，虽然团队擅长生成想法，但他们仍需要一种更好的方式来对最终获胜者进行投票。
简而言之，SKIMIX 是一个管理混合 AI 技能的智能系统，旨在防止“技能稀释”（skill dilution）——这是一个高级说法，意指它能防止智能体被太多无用的工具所淹没。这项研究表明，我们不应该把更多的智能体投向每一个问题。相反，我们应该具有策略性：对于开放式、创造性的挑战，使用多样化的团队；但对于多选题测试，坚持使用单个、专注的智能体。这提醒我们，在 AI 世界中，有时少即是多，工具的正确组合比工具箱的大小更为重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。