More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness
本文通过证明在六个落地性验证基准测试中，此类面板与单智能体基线相比，其准确率增益或损失并不一致，且结果往往受到使用不同模型变体的干扰，从而挑战了同质多智能体辩论小组能够本质上提高判断质量这一假设。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个计算机在阅读和写作方面变得如此出色，以至于我们开始让它们互相批改作业的世界。这就是人工智能的领域，特别是其中一个分支：我们使用“大语言模型”（LLMs）作为评判者。把大语言模型想象成一个超级先进、博学多才的学生，他几乎读过了互联网上的所有内容。现在，想象我们要让这个学生根据提供的特定事实集，来判断一个特定的陈述是否属实。这被称为“接地性验证”（groundedness verification）。这就像一位严厉的老师在问：“你是真的从教科书中找到了答案，还是凭空捏造的？”
最近，出现了一个流行的想法：与其让一个学生来评判，为什么不让一个专家小组来呢？理论是，如果三个学生坐在一起，互相争论和评判彼此的作品，他们会比单独工作的单个学生更能发现错误并找到真相。这就是俗话说的“三个臭皮匠，顶个诸葛亮”，只不过是将规模扩大到了数字辩论队。但当这些学生都在阅读完全相同的教科书，而且都是同一个超级大脑的克隆体时，这真的有效吗？这正是这篇论文试图回答的大问题。
研究人员决定对这个“辩论小组”的想法进行测试。他们建立了一个由三个 AI 评判员组成的团队，他们都由同一个模型（同一个大脑的克隆体）驱动，并被给予了相同的证据，并被要求辩论某个主张是真还是假。他们承担了三个不同的角色：“怀疑者”（寻找缺陷）、“拥护者”（寻找支持）以及“领域专家”（检查细节）。他们让他们进行了两轮讨论，然后汇总投票以做出最终决定。
结果却是一个现实的警示。论文发现，拥有一个辩论小组并不总是让评判员变得更聪明；有时会让它们变差，有时则没有任何变化。在某些测试中，小组将准确率提高了约 8.5 个百分点，但在另一些测试中，准确率却下降了 4.4 个百分点。作者认为，这种辩论并不是在发现“新”事实或寻找隐藏的线索。相反，第二轮的交谈主要只是改变了评判员的“决策阈值”。这就像评判员并没有找到新的证据，而只是对已有的证据变得稍微更有信心或稍微更紧张了。
这里有一个棘手的部分：由于该小组使用的 AI 模型版本与他们进行比较的单个评判员版本略有不同，作者无法确定是否是辩论本身导致了这些变化。他们怀疑这些差异来自于模型与辩论系统的结合，而不仅仅是交谈本身。
当他们仔细观察辩论过程中发生了什么时，发现第二轮的争论几乎没有增加任何“新”信息。评判员们大多只是在重申他们已经的想法。此外，评判员对答案的信心程度并不与其正确率相匹配；一个评判员可能 90% 确定，但仍然是错的。或许最重要的一点是，这三位评判员犯了同样的错误。因为他们都是同一个模型的克隆体，阅读着相同的文本，如果其中一个产生了困惑，其他人很可能也会以完全相同的方式产生困惑。这就像让三胞胎去解一个谜题；如果他们都漏掉了同一个碎片，那么让他们互相交流也不会帮他们找到它。
研究人员还尝试通过重写给评判员的指令（提示词）来解决这个问题，希望更好的“人格设定”能有所帮助。他们发现，对“怀疑者”的指令进行一项微调在某一个特定测试中有所帮助，将准确率提高了约 5 个百分点。然而，这种提升很小，在严格的统计检查下并不稳固，并且无法修复小组犯下的近一半错误。即使使用了最好的指令，在 120 个困难案例中，仍有 49 个案例被所有版本的团队回答错误。
主要的启示是，如果所有的智能体都共享同一个大脑和同一份信息，那么仅仅增加辩论中的智能体数量并不能保证得到更好的答案。论文指出，要真正提高这些 AI 评判员的水平，我们可能需要给它们提供不同的信息源，使用会犯不同类型错误的异构模型，或者改变它们的投票规则。在此之前，一群克隆体在圆圈里循环争论，可能只是一场没有带来多少新真相的喧闹。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。