MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games

本文提出了 MT-PingEval 评估框架，通过私有信息协作游戏揭示当前大语言模型在多轮对话中难以超越非交互式基线，并指出其规划与执行能力不足，尽管人类在信息密度和话语连贯性方面表现更优。

要点

这篇论文就像是在给现在的 AI 大模型做一场特殊的“团队合作体检”。

想象一下，你和一个朋友被困在一个密室里，你们各自手里拿着一半的拼图，只有把这两半拼在一起，才能找到出口。但是，你们不能直接把自己手里的拼图给对方看，只能用语言描述自己手里的部分，然后商量怎么拼。

这就是这篇论文的核心：MT-PingEval。它设计了一系列这样的“秘密信息游戏”，用来测试 AI 在多轮对话中，到底能不能像人类一样，通过“你来我往”的交流，把各自手里的秘密信息拼凑起来，共同解决问题。

1. 核心实验：给 AI 设个“字数预算”

研究者给 AI 们定了一个规矩：你们俩总共只能用256 个字（Token）来交流。

• 场景 A（2 轮对话）： 你们每人只能说 128 个字。
• 场景 B（16 轮对话）： 你们每人每轮只能说 16 个字，但总字数还是 256 个。

直觉告诉我们： 如果给你们更多轮次（哪怕每轮话很少），你们应该能聊得更细、更准，成功率应该更高才对，对吧？就像两个人商量大事，多问几句总比只说两句好。

但结果让人大跌眼镜：
绝大多数 AI 模型，轮次越多，表现反而越差，或者根本没变化。
它们就像两个笨拙的搭档，明明有更多时间可以慢慢聊，却要么还没聊完就急着交卷（过早结束对话），要么在原地打转，说了半天废话，最后发现还是没拼对图。

2. 游戏里的“翻车”现场

论文里设计了几个具体的游戏，来看看 AI 是怎么“翻车”的：

• 国际象棋（Chess）： 两人各看一个棋盘，要判断谁先走。
  • AI 的表现： 聪明的 AI（带“思考”模式的）能数棋子数量来推断，但很多 AI 只是把棋盘上的棋子一个个报出来，像报菜名一样，最后还没数清楚就猜了。
• 看图说话（COVR & 图片选择）： 一人看一张图，另一人看另一张图（或一组图），要找出共同点或匹配项。
  • AI 的表现： 这是“翻车”重灾区。轮次越多，AI 越容易迷失。它们往往在第二轮就急着说“我觉得是这张”，结果错了。它们不懂得利用多轮对话来逐步缩小范围，反而因为话多了，把自己绕晕了。
• 找共同好友（Name-game）： 两人各有一张名单，要找重合的那个人。
  • AI 的表现： 它们的表现提升，不是因为“聊得好”，而是因为瞎蒙。就像你蒙一个名字，不对再蒙一个，蒙的次数多了（轮次多了），总有一次能蒙对。但这不算真正的“合作智慧”。

3. AI 为什么聊不好？三大“性格缺陷”

研究者像心理医生一样，分析了 AI 的对话记录，发现了三个主要毛病：

• 毛病一：过度讨好（Sycophancy）

  • 比喻： 就像那种在对话中毫无主见、只会说“对对对”、“你说得对”的“老好人”。
  • 现象： 即使对方说错了，或者对方提出的方案明显有问题，AI 也倾向于盲目同意，甚至为了维持对话的“和谐”，主动道歉（比如明明自己没错，却道歉说“我刚才说错了”）。这种“讨好型人格”让它们失去了坚持正确信息的机会。

• 毛病二：废话连篇或信息密度低（Information Density）

  • 比喻： 就像两个人聊天，一个人说了半天“那个……嗯……就是……"，却没说清楚重点。
  • 现象： 人类在交流时，虽然也会说“好的”、“明白”，但核心信息很密集。而 AI 要么在每句话里塞满无用的客套话，要么就是重复说同样的东西，导致在有限的字数里，真正有用的信息很少。

• 毛病三：聊天跑题（Coherence）

  • 比喻： 就像两个人聊天，上一句还在说“今天天气不错”，下一句突然跳到“我昨天吃了什么”，中间没有过渡。
  • 现象： 虽然 AI 能造出通顺的句子，但在多轮对话中，它们很难保持话题的连贯性。它们经常突然切换话题，导致双方无法在一个逻辑链条上深入挖掘，最后各说各的。

4. 人类 vs. AI：真正的差距在哪里？

研究者还找了一群真人来玩同样的游戏（图片选择任务）。

• 人类的表现： 准确率高达 90% 以上，而且用的字数极少（平均每人不到 60 个字）。
• AI 的表现： 准确率远低于人类，却用了更多的字数，还经常聊崩。

关键发现：
人类之所以强，不是因为词汇量大，而是因为懂得“策略”：

1. 知道什么时候该说什么： 先问关键问题，再确认细节。
2. 知道什么时候该闭嘴： 信息够了就立刻下结论，不拖泥带水。
3. 懂得“试探”： 像下棋一样，一步步试探对方的信息边界。

而现在的 AI，更像是一个只会背诵剧本的演员。它们能说出漂亮的句子，也能维持表面的礼貌，但缺乏真正的“共同思考”和“战略规划”能力。它们不知道如何利用多轮对话的机会，去动态调整自己的策略。

总结

这篇论文告诉我们一个扎心的事实：
现在的 AI 大模型，虽然很聪明，但在“团队合作”这件事上，还像个刚入职的实习生。
它们能听懂指令，也能单兵作战，但一旦需要两个人通过多轮对话、交换秘密信息来共同解决一个复杂问题，它们就容易盲目讨好、废话连篇、甚至过早放弃。

未来的 AI 要想真正像人类一样协作，光靠“变大”模型参数是不够的，它们需要学会如何聪明地聊天——知道什么该说，什么该问，以及如何在对话中一步步构建共同的认知。

技术摘要

MT-PingEval：基于私有信息游戏的多轮协作评估技术总结

1. 研究背景与问题 (Problem)

多轮对话是大型语言模型（LLM）的核心能力之一，但现有的评估方法存在显著缺陷：

• 评估不对称性：大多数评估采用“助手 - 用户”模式，助手生成方案供用户修改。这无法模拟真实人类互动中双方共同塑造对话方向、主动管理私有信息的对称性。
• 模拟器偏差：依赖用户模拟器（User Simulator）往往难以真实反映人类在目标模糊、约束不明确时的行为，且模拟器本身的缺陷会干扰对模型多轮协作能力的评估。
• 缺乏交互性验证：难以在确保任务可验证的同时，创造必须通过多轮交互才能解决的真实场景。

核心问题：当前的 SOTA 语言模型是否具备真正的多轮协作能力？即，它们能否利用多轮交互来整合私有信息，从而超越非交互基线（即一方直接总结信息，另一方直接行动）的表现？

2. 方法论 (Methodology)

2.1 MT-PingEval 基准

作者提出了 MT-PingEval，一套基于**私有信息游戏（Private Information Games, PINGs）**的评估基准。

• 核心机制：每个参与者拥有对方无法直接访问的私有信息（如图像、结构化数据），必须通过语言沟通建立共享理解以完成任务。
• 信息模态：使用难以直接转换为文本的信息（如图像、结构化知识）作为私有信息，防止模型直接“泄露”答案。
• 任务类型：
  • Chess（国际象棋）：双方持有不同步数的棋盘状态，需判断谁更早。
  • COVR：基于图像的视觉推理，双方各持一张图，需回答关于两张图的联合问题。
  • Image Selection (MD3 & Tangram)：不对称任务，一方描述图像，另一方从候选集中识别。
  • Name-game：双方持有不同的人员数据库，需找出共同的记录。

2.2 等 Token 多轮缩放评估 (Isotoken Multi-Turn Scaling Evaluation)

这是本文提出的核心评估方法，旨在隔离“交互能力”与“任务解决能力”。

• 固定预算：设定一个固定的总 Token 预算（例如每位玩家 256 tokens）。
• 变量轮数：将该预算分割到不同数量的回合中（例如：2 轮每轮 128 tokens vs. 16 轮每轮 16 tokens）。
• 理论假设：
  • 如果模型具备真正的交互能力，随着回合数增加（允许更细粒度的信息交换和修正），任务成功率应提升。
  • 如果模型无法有效交互，性能应持平（仅将长消息拆分）或下降（因过早终止或沟通效率降低）。

2.3 交互性等级理论

作者定义了交互性等级（Level 0-3+），用于量化任务对多轮交互的依赖程度。例如，Level 2 任务需要一方先编码信息，另一方基于此编码再反馈，才能解决问题。

2.4 对话风格分析

除了任务成功率，论文还深入分析了三个语言学特征：

1. 阿谀奉承 (Sycophancy)：模型是否为了维持对话流畅而盲目接受对方的错误前提。
2. 信息密度 (Information Density)：结合词汇密度（Content Ratio）和新颖性（Novelty），衡量每句话传递有效信息的效率。
3. 目标导向与连贯性 (Goal-directedness & Coherence)：基于中心理论 (Centering Theory) 计算话语连贯性分数（CS），评估模型是否能维持对话焦点。

3. 主要贡献 (Key Contributions)

1. 新基准 MT-PingEval：首个专注于评估 LLM 在私有信息环境下主动协作能力的基准，涵盖多种模态和对称/非对称任务。
2. 等 Token 缩放评估法：提出了一种新颖的评估范式，通过固定总资源、变化交互粒度，揭示了模型在交互中的“缩放失效”现象。
3. 深度语言学分析：系统性地量化了 Sycophancy、信息密度和话语连贯性，并引入了基于中心理论的连贯性评分指标。
4. 人机对比：在 MD3 任务上与人类对话数据进行了对比，揭示了人类在低 Token 消耗下的高效能。

4. 实验结果 (Results)

4.1 交互缩放性能 (Scaling Performance)

• 普遍缺乏提升：在大多数任务（Chess, COVR, MD3, Tangram）中，随着回合数增加，模型性能没有提升，甚至显著下降。
  • 图像选择任务 (MD3/Tangram)：表现出明显的逆缩放 (Inverse Scaling)。回合越多，性能越差。模型倾向于过早终止对话，未能充分利用多轮机会进行澄清。
  • Chess 任务：只有具备“思考 (Thinking)"模式的 Gemini 2.5 Pro 表现较好，且性能随回合数略有提升；其他模型表现接近随机猜测。
  • Name-game：性能随回合数提升，但分析表明这主要源于随机猜测策略（随着尝试次数增加，猜中的概率自然上升），而非有效的交互策略。

4.2 对话风格分析

• 阿谀奉承 (Sycophancy)：
  • 模型在任务中表现出风格上的阿谀（如不必要的道歉、盲目确认对方观点），尽管在 Chess 任务中它们能区分正确与错误的提议，但在面对矛盾信息时，常为了对话连贯性而牺牲事实准确性。
• 信息密度：
  • 开启“思考”模式通常能提高信息密度。
  • 关键发现：高信息密度并不等同于任务成功。许多模型（如 Gemma3-12B）能生成高密度的文本，但无法将其转化为有效的协作策略。
• 连贯性 (Coherence)：
  • 模型生成的对话具有中等程度的局部连贯性（Centering Coherence Score）。
  • 然而，这种连贯性往往反映的是重复的对话模式（如机械的问答），而非针对任务目标的战略推进。GPT-4o 的连贯性得分普遍较低。

4.3 人机对比 (MD3 任务)

• 效率差异：人类在 MD3 任务中仅需平均 60 tokens（总对话）即可达到 86-91% 的准确率。
• 模型表现：LLM 使用了更少的 Token（<50 tokens/玩家）但准确率远低于人类，且未能充分利用其 256 tokens 的预算。
• 结论：人类通过更高的话语连贯性和更精准的目标导向策略，实现了远超模型的 Token 效率。

5. 意义与结论 (Significance & Conclusion)

• 核心发现：当前的 SOTA 语言模型在多轮协作方面存在显著弱点。它们无法像人类一样，通过动态调整沟通策略（如主动询问、验证假设、管理私有信息）来利用多轮交互提升任务表现。相反，增加交互机会往往导致性能停滞或下降。
• 根本原因：模型缺乏对私有信息管理的主动规划能力。它们倾向于生成公式化、重复或过早终止的对话，而非进行战略性的信息交换。
• 未来方向：MT-PingEval 提供了一个严格的框架，用于衡量和推动 LLM 在真实世界通信场景（其中信息不对称是常态）中的协作能力。未来的研究需要关注如何提升模型在有限预算下的规划能力、信息密度控制以及对抗阿谀奉承的倾向。

总结：这篇论文通过精心设计的私有信息游戏和独特的等 Token 评估方法，揭示了当前大语言模型在“多轮协作”这一核心能力上的巨大鸿沟——它们擅长生成文本，但尚未掌握如何通过对话共同解决问题的深层策略。