Collective Intelligence with Foundation Models
本文提出了一种利用基础模型的多智能体框架，其中通过异构的专业化智能体集合而非冗余的同质化智能体，通过协作起草、批判和共识合成，显著提升了推理准确性、错误检测能力以及解的可靠性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试解决世界上最难的谜题，从微积分到化学。你可以让一个超级聪明的机器人独自去完成，或者你可以召集一整个机器人团队来共同解决它。这篇论文正是关于测试哪种方法实际上效果更好。
研究人员设计了一个“机器人团队”实验，以观察让多个 AI 模型相互交流是否会让它们变得更聪明。他们并没有只是把随机的机器人凑在一起，而是构建了一条特定的流水线，包含四个不同的角色：
- 解题者（The Solvers）： 三个不同的机器人，每个机器人都会尝试独立解决问题，并写出自己的草稿。
- 评论家（The Critic）： 第四个机器人的唯一工作是阅读这些草稿，找出其中的错误并提出修改建议。
- 聚合者（The Aggregator）： 第五个机器人负责获取所有经过修正的草稿，将它们融合在一起，并写出最终达成的统一答案。
- 计分员（The Scorekeeper）： 一个系统，它不仅检查最终答案是否正确，还会检查思考过程中的每一个步骤是否都正确。
他们用这个团队测试了一个涵盖了物理、生物、经济和数学等八个领域的庞大问题库，难度从易到极难不等。
这里有一个巨大的惊喜：重要的不是拥有一个庞大的团队，而是拥有一个“多样化”的团队。
当研究人员尝试使用同一种类型的机器人组成团队（即在解题者、评论家和聚合者中使用完全相同的模型）时，结果有点奇怪。这个团队得到最终正确答案的频率确实比单个机器人单独工作时要高，但它们得出答案的“方式”实际上变差了。这就像是一群长得一模一样的双胞胎在互相争论；他们可能会通过互相抵消错误而偶然撞上正确答案，但他们的推理过程却漏洞百出。事实上，当他们对所有人使用同一个模型时，逐步推理的质量实际上下降到了大约 0.27 或 0.28，这比单个机器人独立工作时的得分（0.50）还要低。
然而，当他们换入不同类型的机器人——使用三种不同的模型作为解题者，并使用另外两个专门的模型作为评论家和聚合者时——奇迹发生了。这个“异质化”团队不仅得到了正确的答案，而且连推理过程也做对了。他们的逐步推理准确率跃升至 0.64。这比使用相同机器人的团队提升了 2.3 倍！
论文指出，这是因为不同的 AI 模型拥有不同的“盲点”。如果你在所有环节都使用同一个模型，它们会犯同样的错误。但当你把它们混合在一起时，一个机器人的弱点就变成了另一个机器人的强项。专门的评论家可以发现那些解题者由于训练方式不同而永远无法察觉的错误。
研究人员还测试了其他一些想法，以看看究竟什么才是最重要的：
- 仅仅拥有团队结构： 即使每个人都是相同的机器人，仅仅拥有一个评论家和一个聚合者也会有一定帮助，将分数从 0.52（一个机器人单独工作）提升到了 0.60。
- 拥有更多相同的机器人： 如果你只是使用三个完全相同的机器人作为解题者，而不是一个，几乎没有任何帮助，仅将分数微调到了 0.61。
- 真正的赢家： 只有当他们为不同的工作使用不同的模型时，才出现了向 0.63 的巨大飞跃（以及推理质量的巨大提升）。
研究人员在数千个问题中衡量了这些结果，并发现这种“混合团队”的方法在处理简单、中等或困难问题时都表现得非常稳定。事实上，该团队在处理最难的问题时表现得惊人地好，这表明复杂的挑战实际上给了多样化团队更多的发挥空间。
因此，核心结论是：为了让 AI 真正可靠且具有可解释性，你不能只是克隆你拥有的最聪明的机器人并让它坐在每一个位置上。你需要一个由不同类型的专家组成的委员会，让他们能够挑战彼此的想法。正如作者所言，这种方法有助于创造出一种不仅仅是靠运气给出正确答案，而且能向你展示它是如何一步步推导出来的 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。