DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate

想象一个计算机不仅仅是在聊天，而是在进行辩论的世界。这是对话式人工智能（Conversational AI）的游乐场，这是一个机器学习如何进行交谈、辩论观点甚至扮演律师角色的科学分支。但棘手的部分在于：我们如何知道一台计算机是否在进行一场“高质量”的辩论？在人类世界中，我们有一套关于良好对话的规则，比如清晰、诚实，以及说话不过多或不过少。在你要阅读的这篇论文中，研究人员使用了被称为格莱斯准则（Gricean Maxims）的一套著名的规则（可以将其理解为“礼貌且高效对话的规则”）。他们还使用了检索增强生成（Retrieval-Augmented Generation），这是一种高级说法，意指“计算机在开口说话前先去图书馆查阅事实”，这样它就不会胡编乱造。大家都在问的一个大问题是：如果我们让一群超级聪明的 AI 计算机互相给彼此的辩论打分，它们会达成一致吗？如果它们都达成了一致，这是否意味着这场辩论确实很好？

这篇由来自佐治亚理工学院（Georgia Tech）的 DS@GT 团队撰写的论文，深入探讨了一场名为 Touché 2025 的近期竞赛，其目标是构建一个机器人辩论手。该团队构建了一个系统，利用六个不同的“超级大脑”（大语言模型）来同时生成辩论响应并对其进行评分。他们发现，这些超级大脑在生成论点方面表现出色，尤其是在它们可以先查阅事实的情况下。然而，真正的惊喜出现在他们尝试使用这些 AI 大脑作为裁判时。研究人员发现，虽然 AI 裁判经常在彼此之间达成共识，但这种一致性其实是一个陷阱。这就像是让六个双胞胎来给试卷打分；它们之所以给出相同的分数，是因为它们在同一个环境下长大，思维方式相似，而不是因为它们客观上是正确的。

该团队运行了模拟实验，让他们的 AI 辩论手针对诸如“地球是平的”之类的议题进行辩论。他们发现，AI 裁判对某些规则（如相关性）非常严格，但在另一些规则（如礼貌程度）上却出奇地宽容。最令人震惊的发现是关于**质量（Quality）**的问题。AI 裁判经常认为一个论点是“高质量”的并给出高分，但当人类组织者检查官方答案时，AI 经常出错。AI 裁判被那些听起来很有说服力但实际上事实依据薄弱的论点所迷惑了。论文指出，仅仅因为一群 AI 模型对一个分数达成一致，并不意味着这个分数是可靠的，尤其是在检查事实是否真实时。简而言而言，AI 裁判擅长识别一句话是否写得好，但不擅长识别这句话是否真实，并且它们往往因为错误的原因而达成一致。

机器人辩论手的传奇故事

研究人员为辩论搭建了一个数字竞技场。在一方，是一个模拟的人类用户提出主张；在另一方，是 DS@GT 团队的 AI 系统进行回应。但这不仅仅是一场聊天，这是一场检索增强辩论（Retrieval-Augmented Debate）。在 AI 发言之前，它被迫前往一个数字图书馆（一个论据数据库），并提取出前十条证据来支持它的观点。这就是“RAG”部分：AI 不能仅靠猜测，它必须拿出“凭据”。

该团队使用了来自三家不同公司（OpenAI、Google 和 Anthropic）的六种不同的“前沿”模型。他们将这些模型命名为类似 gpt-4.1、gemini-2.5-pro 和 claude-opus-4 的名称。这些模型被赋予了一项特定任务：对用户的论点生成回应。随后，团队将这些回应交给这些模型（以及其他模型）担任裁判。裁判必须根据四条规则对回应进行评分：

1. 数量（Quantity）：它们说得够多吗，还是太多了？
2. 质量（Quality）：它是真实的且有证据支持吗？
3. 关联（Relation）：它是否紧扣主题？
4. 方式（Manner）：它是否清晰且礼貌？

“双胞胎”问题

故事在这里变得有趣了。研究人员想知道：“如果所有的 AI 裁判都给出相同的分数，我们能信任这个分数吗？”他们进行了一场涉及 100 个不同辩论话题和数千轮对话的大规模模拟。

首先，他们观察了 AI 模型作为辩论手的表现。结果令人印象深刻。使用“先查阅事实”策略的模型表现得非常好。例如，gpt-4.1 模型在遵循对话规则方面的平均得分达到了 0.70，这是竞赛中最高的得分之一。这表明，给予 AI 访问图书馆的权限有助于它更好地进行辩论。

但随后，他们观察了 AI 模型作为裁判的表现。他们问道：“这些裁判之间是否达成了一致？”答案是肯定的，但有一个陷阱。来自同一家公司的裁判（例如两款 Google 模型或两款 Anthropic 模型）几乎完美地达成了一致。例如，两款 Anthropic 裁判在所有规则上的相关性达到了 0.844。这就像两个双胞胎完成了一个拼图后说：“我们也觉得天空是蓝色的，”并不是因为他们看了天空，而是因为他们拥有相似的大脑布线。

研究人员意识到这种高度的一致性具有误导性。他们将 AI 裁判的分数与人类组织者给出的官方分数进行了对比。结果出现了偏差。

• 对于数量和关联，AI 裁判的一致性与人类分数较为接近。
• 但对于质量，差距巨大。AI 裁判认为这些回应非常棒（给出高分），但人类组织者却给了它们极低的分数。在官方结果中，gpt-4.1 在质量上的得分仅为 0.17，这意味着它在提供事实正确的论点方面大部分时间都是失败的。然而，AI 裁判却给了它高分。

“弱监督”实验

团队尝试解决这个问题。他们想：“如果我们加入一些‘较弱’的裁判会怎样？”他们加入了一些较小的开源模型（如另一个名为 SINAI 的团队使用的 LLaMA-8B 模型）以及一些简单的计算机规则（如计算单词长度），以观察是否能打破这种“双胞胎式”的一致性。

他们使用了一种称为**弱监督（weak supervision）**的统计技巧来结合这些不同的意见。他们希望通过加入思维方式不同的裁判，可以获得更准确的分数。

• 当他们加入较弱的裁判时，排名发生了微小的变化。
• 然而，AI 裁判的“共识”与人类“官方分数”之间的相关性仍然很低。对于质量这一指标，即使使用了扩展后的模型池（相关性仅为 0.224）或依赖感知模型（相关性为 0.286），相关性依然很低。

这意味着，即使他们尝试混合不同的观点，AI 裁判仍然无法可靠地预测人类会认为什么是“好的”论点。论文表明，AI 裁判太擅长识别“风格”（句子是否流畅？是否礼貌？），却不擅长识别“实质”（事实是否真实？）。

核心启示

论文最后向任何构建 AI 辩论手的人发出了警告。仅仅因为一群超级聪明的 AI 模型都认为一个论点是“好”的，并不代表它真的是。它们可能只是因为接受了相似的数据训练并拥有共同的偏见而达成一致。这在质量方面尤其如此。AI 模型很容易被那些听起来自信且结构严谨、但实际上充满谎言或捏造事实的回答所欺骗。

作者建议，在未来，我们不能仅仅依赖 AI 来评价 AI。我们需要更加具体。与其问 AI“这是一个好的论点吗？”，我们应该分别询问“这个事实是真的吗？”以及“这个证据是真实的吗？”。在能够做到这一点之前，AI 裁判的“共识”就像是一个满屋子都在点头表示同意的人——他们可能都在犯错，而且可能因为同样的原因而犯错。这篇论文并未声称解决了这个问题，但它揭示了一个问题，展示了通往可靠 AI 辩论之路比仅仅让 AI 给自己评分要困难得多。