💬 NLP

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

本文提出了一种可扩展的、基于共识的框架，该框架通过聚合大语言模型对匿名响应的相互排名来生成相对智能指数，从而为在存在多个有效答案的情景下评估响应质量提供了一种模型驱动的替代方案，以取代传统的静态基准测试。

原作者： Mohtashim Khan

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohtashim Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

AI 大味觉测试

想象一个计算机已经学会了像人类一样交谈、写作和解决问题的世界。这就是大型语言模型（LLM）的领域，它们是许多我们今天使用的聊天机器人和工具背后的超级智能数字大脑。长期以来，科学家们一直使用严格的“标准答案”来测试这些大脑，比如只有一个正确数字的数学测试。但生活并不总是像数学题那样。有时候，一个问题会有很多个好的答案，而哪个才是“最好的”，取决于它给人的感觉有多清晰、多有帮助或多有创意。这就是棘手之处：当写出完美答案的方式有五种不同时，你该如何给一篇论文评分？

为了解决这个问题，研究人员开始使用 AI 来为 AI 评分。这就像是请一组评委来决定他们的朋友中谁讲的笑话最有趣。但问题在于：如果评委都是在同一所学校上学的同班同学，他们可能会都喜欢同一种风格的笑话，即使那并不是最有趣的。这篇论文深入探讨了正是这样一个问题。它在问：如果我们让一群不同的 AI 模型在不知道彼此身份的情况下进行盲测，互相评价对方的答案，我们能否找到一种关于它们“偏好”的模式？它并不声称找到了“真理”，而是绘制了一张关于这些数字大脑如何就“什么听起来不错”达成共识的地图。

数字世界的盲味觉测试

想象你正在参加一场盛大的、高科技的百乐餐（potluck dinner）。大家带来的不是食物，而是五台不同的超级智能机器人（我们称之为“厨师”），它们为同一道菜带来了各自最拿手的食谱。目标不是看谁做出了“正确”的饭菜——因为也许有一种完美的炖菜有十种做法——而是看其他机器人认为哪份饭菜看起来和吃起来最棒。

这正是 Mohtashim Khan 在这篇论文中所做的工作。他没有要求人类去品尝答案，而是设置了一个“盲味觉测试”，让“厨师”们互相评价彼此。

设定：一场身份保密游戏
实验涉及了五款顶尖的 AI 模型：Claude、ChatGPT、Gemini、Grok 和 Mistral。研究人员给了它们 25 个不同的挑战，涵盖了从解决棘手的数学谜题、编写代码，到回答安全问题和常识性知识问答。

这里有一个神奇的技巧：当机器人在进行评审时，它们并不知道答案是谁写的。答案被剥离了名称并进行了打乱，仅被标记为“答案 1”、“答案 2”等等。每个机器人必须根据答案看起来多么清晰、多么有帮助，将所有答案从优到劣进行排序。它们完全独立地进行，互不交流，也看不到其他机器人的看法。

评分：相对智能指数
评审结束后，研究人员统计了票数。他创建了一个名为**相对智能指数（Relative Intelligence Index, RII）**的新分数。请记住，这并不是衡量是否“聪明”的分数，而是一个受欢迎程度的得分。高 RII 意味着一个机器人的答案经常被同类选为“最佳”。低 RII 则意味着它的答案经常被排在较低的位置。

他们发现了什么？
结果有点像一场不同的队伍在不同日子里都能获胜的体育联赛。

稳定的赢家： Claude 和 Grok 经常名列前茅。Claude 在数学和编程方面表现尤为强劲，而 Grok 则在逻辑谜题和创造性思维方面表现出色。
稳健的选手： Gemini 和 Mistral 并不总是能赢得“最佳答案”奖，但它们非常稳定。它们的得分不会随着测试课题的变化而剧烈波动。
速度与质量的权衡： 研究还记录了每个机器人制作答案所需的时间。有趣的是，那些思考时间最长的机器人（如 Gemini 和 Claude）往往是其他机器人最喜欢的。反应最快的机器人（如 Mistral）虽然很快，但并不总是能获得最高票数。

重要的“但是”
论文非常谨慎地说明了这个分数不是什么。它不是衡量谁真正“正确”或谁对人类最有帮助的指标。它仅仅是衡量机器人之间对彼此风格的喜爱程度。有可能所有的机器人都在类似的书籍和网站上接受过训练，所以它们可能只是因为拥有相同的“味蕾”，而不是因为其中一个客观上更好，才达成一致。

总结
这个框架表明，当不存在单一正确答案时，我们可以使用一种“共识”方法来观察哪些 AI 输出在其他 AI 看来是最精炼且连贯的。虽然它不能取代人类的判断，但它提供了一种可扩展的方法，用于在答案具有主观性时比较模型。研究发现，虽然某些模型通常更受同类青睐，但结果会根据主题和具体的测试运行情况而发生变化。这是一种看待 AI 性能的新方式，侧重于“模型如何看待彼此”，而不仅仅是“它们是否得到了正确答案”。

技术摘要：一种基于共识的大语言模型相对偏好评估框架

问题陈述

传统的语言模型（LLM）基准测试过度依赖静态数据集和客观评分指标（例如，针对标准答案的精确匹配）。虽然这些方法在处理二元正确性方面非常有效，但当存在多个有效答案时，它们无法捕捉响应质量的定性差异。在现实场景中，不同响应之间的区别往往在于清晰度、完整性和实用性的光谱分布，而非严格的对/错二元论。现有的“LLM-作为-评判者”（LLM-as-a-Judge）方法试图解决这一问题，但往往受到系统性偏差（位置偏差、冗长性、风格化）的影响，并且在模型进行辩论或迭代讨论时会引入交互效应，从而可能导致判断失真。

方法论

本文提出了一种基于盲审同行排名（blind peer ranking）的共识框架，用于衡量模型生成响应的相对偏好。其核心目标是推导出一个相对智能指数（Relative Intelligence Index, RII），该指数反映的是一个由多样化同行模型组成的评审团对某一模型响应的偏好频率，而非衡量其客观正确性。

实验设计

参与者： 五种最先进的 LLM（Anthropic Claude Opus 4.6、OpenAI GPT-5.2、Google Gemini Pro 3.1、Grok-fast 4.1 和 Mistral Large 2512）同时担任生成器与评判者的双重角色。
领域： 评估涵盖五个领域：编程、通用知识、安全性、逻辑推理（谜题）和数学。
规模： 研究使用了 25 个独特的提示词（每个领域 5 个）进行 5 次独立的实验运行，总计 3,125 次评估（ $25 \times 5 \times 5 \times 5$ ）。
配置： 所有模型的温度系数（temperature）均设定为 0.3，以平衡随机性与多样性。

评估流程

过程分为五个连续阶段：

响应生成： 每个模型针对标准化提示词生成一个响应。
匿名化与随机化： 剥离模型的标识符并分配匿名标签。每个评判者的排序经过随机化处理，以减轻位置偏差。
独立排名： 每个模型作为评判者，根据相关性、正确性（如适用）、清晰度和简洁性，独立对所有匿名化的响应进行排名。不允许评判者之间进行任何交互或辩论。
去匿名化： 将标签映射回原始模型。
聚合： 聚合评分以计算 RII。

指标定义

模型 $i$ 的**相对智能指数（RII）**定义为其响应在所有提示词和实验运行中被同行评判者分配的平均分：
$RII_i = \frac{\sum_j S_{i,j}}{\sum_j 1}$
其中 $S_{i,j}$ 是评判者 $j$ 分配给模型 $i$ 的分数。该指标对线性缩放具有不变性，并反映了序数偏好。

关键结果

研究揭示了模型间偏好的持续模式，尽管存在显著的领域特定差异和稳定性权衡。

总体偏好： Claude 获得了最高的平均 RII (3.491)，紧随其后的是 Grok (3.382)。Mistral 得分最低 (2.328)。
领域特定性：
- 数学与逻辑： Claude 被一致偏好，在多次运行中表现出韧性。
- 编程： Claude 保持了较高的平均偏好，尽管 ChatGPT 在特定运行中出现了显著峰值。
- 安全性： 得分在顶尖模型（Claude、ChatGPT、Gemini）之间紧密聚集，表明它们在安全性评估方面具有共享的启发式规则。Mistral 一致表现不佳。
- 通用知识与谜题： Grok 脱颖而出，成为最受偏好的模型，特别是在发散性思维任务中，在多次运行中表现优于 Claude。
稳定性与性能： 观察到了一致性与峰值偏好之间的权衡。Mistral 和 Gemini 表现出最高的一致性（最低的标准差），而 ChatGPT 则表现出最低的一致性（最高的变异性）。
延迟权衡： 研究注意到偏好得分与响应速度之间的实际权衡。Mistral 最快（4,300ms），而 Gemini 和 Claude 的延迟显著更高（分别为 14,600ms 和 11,200ms）。

核心贡献

盲审同行排名框架： 引入了一种可扩展的模型驱动比较评估方法，通过依赖独立的、盲审的判断，最大限度地减少了交互效应和品牌偏差。
相对智能指数 (RII)： 提出了一个量化模型间偏好对齐的指标，为传统的基于准确性的基准测试提供了一个互补的视角。
对模型间动态关系的实证分析： 提供了关于多样化 LLM 如何跨多个领域对彼此进行排名的数据，强调了“最佳”往往是取决于上下文且具有相对性的。

意义与主张

本文将该框架定位为并非人类评估或客观智能的替代品，而是作为在存在多个有效答案场景下，感知响应质量的一种代理信号。

适度主张： 作者明确指出，RII 反映的是受共享训练数据和风格化偏差影响的“模型间偏好对齐”，而非客观正确性或人类判断。
效用： 该框架提供了一种可复现、自动化的方法，用于快速基准测试那些正确性并非二元的“灰色地带”任务。
未来方向： 论文建议未来的工作应侧重于整合正确性过滤、扩大模型多样性，并对照人类偏好进行校准，以更好地理解模型间共识与现实世界用户满意度之间的相关性。

研究结论认为，虽然基于共识的评估无法解决对齐问题，但它提供了一个稳定的信号，用于理解模型如何看待其同行的输出质量。