🤖 AI

LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation

本文介绍了 LivingArena，这是一个自动化的、抗污染的评估框架，其中大语言模型通过对抗性问题生成与回答，迭代地探测彼此的知识边界，从而产生一个能够揭示特定失效模式和高阶探测能力的稳定排行榜，这种能力区别于静态基准测试和人类偏好。

原作者： Xingyu Chen, Rui Wang, Zhaopeng Tu, Liefeng Bo

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xingyu Chen, Rui Wang, Zhaopeng Tu, Liefeng Bo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：全球最聪明的计算机正在不断进行测试，以争夺谁才是“最强”。长期以来，科学家们一直使用静态考试——就像是一个所有人都在参加的、巨大且一成不变的单选题测验。但问题在于：这些测验很快就会过时。一旦计算机学会了答案，它们就会仅仅进行死记硬背，导致测试失去了意义。这就像试图通过让一名跑步者在速度永远不会增加的跑步机上跑步来测量其速度；最终，他们都会达到机器的最高速度，而你无法分辨出谁才是真正的最快。

为了解决这个问题，研究人员正在寻找一种新的方法来测试这些“大语言模型”（LLMs）——即那些能够编写故事、解决数学问题和编写代码的超智能AI大脑。与其给它们固定的测试，不如让我们让这些计算机互相测试？这篇论文提出了一个引人入胜的问题：这些AI大脑是否知道其他AI大脑所不知道的知识？如果一个AI能精准地发现另一个AI的弱点，并提出一个让其栽跟头的问题，我们或许终于找到了衡量谁才是真正聪明的方法，而无需人类去编写数以千计的问题，也不必担心计算机通过死记硬背题库来作弊。

活体竞技场：一场永无止境的“抓包”游戏

见见 LivingArena。不要把它看作是一个教室，而要把它看作是一个高规格、自动化的辩论俱乐部，十个世界上最聪明的AI模型正锁在这个锦标赛中。这里没有人类老师发放工作表，AI们轮流担任 提问者（Questioner） 和 回答者（Answerer）。

游戏规则如下：

设陷阱： 一个AI（提问者）必须发明一个刁钻的问题，提供正确答案，并解释为什么该答案是正确的。
安全检查： 在另一个AI看到问题之前，由三名“裁判”AI组成的评审团会检查该问题是否毫无意义、答案是否确实正确以及逻辑是否成立。如果提问者犯错或试图欺骗裁判，他们会被惩罚。这就像裁判吹响了犯规的哨声。
对决： 如果问题通过了检查，第二个AI（回答者）就会尝试解决它。
计分： 如果回答者答错了，提问者得一分。如果回答者答对了，回答者得一分。

目标不仅仅是变得聪明，而是要成为一名侦探。最聪明的玩家不仅是那些掌握最多事实的人，更是那些能够精准洞察对手不知道什么，并针对该特定弱点发起攻击的人。

重大发现：“我知道你的弱点在哪里”

研究人员让10个顶尖的AI模型参与了这场锦标赛，共进行了360场比赛和3,600轮对局。他们发现了一些令人惊叹的事实：AI们确实知道彼此不知道的东西。

当模型相互对战时，它们并不仅仅是提出随机的难题。它们开始“阅读”对手。如果一个AI在逻辑谜题上跌倒了，下次比赛时，另一个AI会立即再出一个逻辑谜题。它们实际上是在说：“嘿，你上次在这里栽了跟头；让我们看看这次你能不能行。”

论文显示，这些模型可以 定位弱点。例如，其中一个顶尖模型（GPT-5.5）非常擅长此道，在它发现对手在特定类型的推理上有缺陷后，它会在随后的回合中针对该主题进行连环攻击，命中对手弱点的频率达到了52%。这就像一名棋手注意到对手只要棋盘上有马就会失误，然后每次都会立即把马移动到那个位置一样。

然而，这存在一个极限。论文发现，一个AI 无法提出一个比其自身大脑处理能力更难的问题。如果一个AI不理解某个概念，它就无法发明一个关于该概念的刁钻问题来难倒别人。这就像一个不懂微积分的学生无法编写一份刁钻的微积分试卷来难倒他们的老师。问题的难度始终受限于提问者自身的知识水平。

计分板：谁赢了？

这场锦标赛产生了一个稳定的排名（称为Elo排行榜），将模型分为五个不同的等级。

冠军： GPT-5.5 占据了榜首。它在回答问题方面表现完美（准确率100%），并且在寻找弱点方面非常有侵略性（命中率26.3%）。
被动玩家： 一些模型，如 Claude 系列，擅长回答问题但对于提问却非常羞涩。它们很少尝试难倒对手，这使得它们的总分处于中游水平。
“自我伤害”惩罚： 这是游戏的一个关键部分。如果提问者提出了一个坏问题（即答案错误或存在逻辑缺陷的问题），他们会失去一分。这迫使AI保持诚实和谨慎。那些过度自信或“幻觉”（凭空捏造事实）的模型受到了严厉惩罚。例如，GPT-5.2 的“自我伤害”率非常高（42.7%），这意味着它不断提出糟糕的问题并损害了自己的分数，这使其跌落到了排行榜的底端。

为什么这很重要

这篇论文表明，同行探测（peer probing）——即让AI互相测试——是衡量“真实”智能的一种比传统测试更好的方法。

研究人员发现，这种新方法衡量的维度与人类通常偏好的维度不同。在人类投票的竞技场中，那些说话礼貌、回答冗长华丽的模型往往会获胜。但在 LivingArena 中，这些华丽的风格并没有帮助。相反，获胜者是那些 事实精准、能够 承认自己不知道某些事情 并且在寻找真相方面具有 侵略性 的模型。

研究结论指出，虽然我们无法构建一个比房间里最聪明的AI还要难的测试，但我们可以构建一个随着AI变得越来越聪明而变得越来越难的系统。随着模型的进步，它们自然会为彼此提出越来越难的问题，从而创造出一个永不枯燥、永不饱和的“活体”基准。这是一个自我更新的竞赛，终点线不断移动，确保我们始终能分辨出谁才是真正的最快跑者。

技术摘要：LivingArena —— 作为可扩展评估手段的同伴探测（Peer-Probing）

1. 问题陈述

前沿大语言模型（LLM）的评估面临三个复合型挑战：

污染与饱和： 静态基准测试（如 MMLU、MMLU-Pro）存在数据泄露到训练集中的问题，以及性能饱和现象——顶尖模型在接近天花板的分数附近聚集，导致无法区分领先系统或识别特定的失败模式。
人类偏好的主观性： 人类偏好竞技场（如 LMArena）绕过了静态编写，但衡量的是主观的帮助程度而非客观真理。众包评分者在面对高度专业化或技术性的回答时往往难以胜任。
高成本与高延迟： 手动构建基准测试既昂贵又缓慢，往往在下一代模型发布之前就已经过时。

作者提出了一个根本性的问题：LLM 是否知道其他 LLM 所不知道的事情？ 如果模型能够自发地发现并利用彼此的弱点，这种动态过程可以取代繁琐的人类测试套件构建，转而成为一种自适应的、活性的基准测试。

2. 方法论：LivingArena 框架

LivingArena 是一个完全自动化、具备抗污染能力的评估框架，它实例化了一种同伴探测范式。它运行在一个零和对抗博弈中，模型轮流担任提问者（Questioner）和回答者（Answerer）。

比赛结构

锦标赛格式： 涉及 10 个前沿模型（来自 OpenAI、Anthropic、Google 和 DeepSeek）的循环赛产生 45 对唯一的配对。每对模型进行 8 场比赛（4 场双向对决），总计 360 场比赛和 3,600 轮。
轮次流程（每场比赛 10 轮）：
1. 问题生成： 提问者在严格的 JSON 模式内生成一个问题（ $q_t$ ）、一个金标准答案（ $a^*_t$ ）和验证逻辑（ $v^*_t$ ）。
2. 独立验证： 由三个不同的模型评委（GPT-5.5、Gemini-3.5-Flash、Claude-Sonnet-4.6）组成的专家组对该三元组进行盲审。如果任何一位评委因逻辑缺陷、计算错误或歧义而投出“无效（INVALID）”票，则该问题被拒绝。
  - 惩罚机制： 若问题无效，提问者将受到自我伤害惩罚（$-1.0$）。
3. 回答： 若通过验证，回答者针对该问题进行响应。
4. 评分： 同一评委小组根据回答是否符合金标准进行二元投票（正确/错误）。
  - 计分： 若回答正确，回答者获得 $+1.0$ 分；若回答错误，提问者获得一个“命中（hit）”点。

评分机制

收益递减： 为了防止模型重复利用单一弱点，衰减函数 $w(C)$ 会降低多次命中同一能力维度（ $D_1$ – $D_6$ ）所获得的奖励。切换维度会重置乘数。
加分轮次： 第 9 轮和第 10 轮是无约束的加分轮次，不设衰减，允许模型集中火力攻击已发现的弱点。
Elo 聚合： 来自双向比赛的净分被映射为两两对决结果（$0.0, 0.5, 1.0 $），并使用标准的逻辑曲线（$ K=32$）来更新全局 Elo 评分。

能力维度

该框架在六个维度上评估模型：

定量推理
代码与算法
自然科学
人文与社会科学
语言与语言学
逻辑与抽象推理

3. 核心贡献

LivingArena 框架： 一种自动化的、自适应的评估系统，无需静态问题库，且随着模型的提升而保持判别力。
工业实用性： 一个持续的、低成本的回归测试工具（10 个模型的锦标赛运行约需 100 分钟），它将同伴探测转化为可操作的、基于每个维度的失败诊断。
实证评估： 对 10 个前沿 LLM 进行的全面锦标赛，产生了一个能够清晰区分近饱和系统的稳定 Elo 排行榜。
开源： 发布完整的评估代码和原始日志。

4. 结果与行为分析

前沿排名

GPT-5.5 在排行榜上占据主导地位（Elo 1743），表现出完美的平衡：既有极高的回答准确率（100%），又有极具侵略性且有效的提问能力（26.3% 命中率）。
梯队表现： 模型分为五个不同的等级。值得注意的是，Claude 系列（第 4 梯队）表现出高回答准确率（88–89%），但属于被动提问者（命中率仅 2–4%），尽管其回答能力强大，但最终排名处于中游。
校准度： 高自我伤害率的模型（如 GPT-5.2 为 42.7%，Claude 系列为 31–38%）与较低的排名相关联，这表明在这一范式下，自我校准是一个关键因素。

行为有效性（LLM 是否知道其他 LLM 所不知道的？）

边界定位： 模型无法生成超出其自身知识边界的问题（自我博弈准确率约为 98%），但它们成功识别并利用了同伴的弱点。
命中后的攻击： 在特定维度取得一次成功命中后，提问者在下一轮针对该维度进行攻击的概率显著增加（比基准线高出 16.3%）。强力模型（如 GPT-5.5）会针对已发现的漏洞进行“连招”，将其条件命中率从 25% 提高到 52%。
策略性加分轮： 在加分轮（9–10 轮）中，模型会刻意集中攻击先前发现的弱维度（概率为 41.4%，而基准线为 18.2%），在这些针对性攻击中，其命中率达到了 38.8%，而在非针对性维度上仅为 4.5%。

与人类偏好的比较

相关性较弱： LivingArena 的 Elo 评分与人类偏好排名之间的相关性较弱（Spearman's $\rho = 0.358$ ）。
维度差异： 人类偏好倾向于礼貌、冗长的格式（有利于 Claude 模型），而 LivingArena 则奖励客观的严谨性、事实的精确性和侵略性的探测。同伴探测衡量的是一个不同的轴向——对抗性校准，这是人类投票所缺失的。

评委可靠性

由参赛模型组成的评委小组表现出高度的一致性（评分的 Fleiss' $\kappa = 0.915$ ）。
分析表明，在控制题目难度后，自我偏差的影响可以忽略不计，这表明多评委共识能有效缓解策略性偏袒。

5. 意义与主张

论文声称，LivingArena 通过利用模型间的动态交互，提供了一种可扩展、低成本的静态基准测试替代方案。

诊断能力： 它揭示了“提问”与“回答”是两种截然不同的能力。一个模型可以是一个强大的回答者，但同时也是一个弱小的提问者（反之亦然），这种细微差别在综合准确率指标中会被掩盖。
自我校准： 该框架引入了“自我伤害率”作为一种可解释的度量指标，这是静态准确率所无法捕捉的。
动态难度： 不同于冻结的问题库，LivingArena 的难度会随着模型的进步而再生；随着模型变得更强，它们自然会向彼此提出更难的问题。
局限性： 作者承认，同伴探测受限于参与的模型（共同的盲点无法被探测），且在不同层级间实现更高分辨率需要更多的比赛次数，这需要在精度与 API 成本之间进行权衡。

总之，论文认为，同伴探测提供了一个关于客观严谨性和对抗性校准的稳健信号，为在静态基准测试趋于饱和且人类偏好具有主观性的时代，评估前沿模型提供了一条路径。