💬 NLP

Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks

本文介绍了大语言模型标称响应模型（LLM-NRM），这是一种心理测量学框架，它利用包括错误选项在内的完整答案分布，来更准确地估计大语言模型的能力和题目特征，证明了干扰项偏好提供了显著的测量价值，并能够实现比传统二元评分更高效的基准测试。

原作者： Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在批改选择题的老师。在传统的做法中，你只关心最终的分数：对了一个勾，错了一个叉。如果学生答错了，你只看到一个红色的“X”。你并不知道他们为什么错。是因为随机猜测？是因为被一个陷阱词迷惑了？还是因为他们单纯讨厌字母“B”这个选项？长期以来，研究人工智能（AI）的科学家们一直在做同样的事情。他们让 AI 模型做选择题，并且只统计正确答案的数量。这就像是仅仅根据一道菜是否能吃来评判一位厨师，却忽略了他是盐放多了、忘了放胡椒，还是不小心用叉子盛了汤。

这篇论文进入了心理测量学（psychometrics）的世界——即测量人类（以及现在的机器）能力的科学。它建立在一个被称为“项目反应理论”（Item Response Theory）的巧妙概念之上，这基本上是一种高级说法，意指一个测试题目不仅仅是“难”或“易”；它拥有自己的“个性”。有些问题会误导聪明人，而有些问题则会误导初学者。这篇论文提出的核心问题是：如果我们不再把每一个错误答案都视为简单的失败，我们能否学到新的东西？作者们提出，AI 选择的具体错误答案实际上是一个信息宝库，它揭示了 AI 如何思考、它在哪里产生了混淆，以及即使在出错时它的信心程度如何。

这篇论文的核心思想：为什么错误答案其实是正确的

由 Xiao Fei 及其同事领导的研究团队引入了一个新工具，称为 LLM-NRM（LLM 名义反应模型）。可以把它想象成将评分系统从简单的“及格/不及格”表升级为详细的“法医鉴定报告”。

在旧的方法中，如果问 AI：“太阳系中哪种天体被小行星带环绕？”而它选择了“土星”而不是正确的“太阳”，系统只会记录为一个错误。但新模型观察得更细致。它意识到，选择“土星”与选择“冥王星”或“月球”是不同的。也许 AI 知道土星有光环，所以产生了混淆；或者它只是单纯喜欢“土星”这个词的发音。通过分析 AI 选择了哪个错误答案，该模型可以比以往仅靠计数正确答案更准确地绘制出 AI 的“大脑”图谱。

团队在大规模范围内进行了测试：189 个不同的 AI 模型和来自 14 个不同基准测试的 31,554 个问题。他们发现，这种新方法取得了巨大的进步。当他们尝试预测 AI 对未见过的问题的回答时，该模型比传统的二元（对/错）方法要准确得多。

秘诀所在：是什么让 LLM-NRM 特别？

论文指出，AI 模型不仅仅是“聪明”或“愚笨”；它们拥有旧测试所忽略的特定怪癖。新模型考虑了 AI 在进行测试时发生的三种奇特行为：

信心与知识（校准锐度）： 有时 AI 即使在错误时也非常确定自己是对的。有时即使是对的，它也显得犹豫不决。旧的测试无法区分这两者。新模型有一个“锐度”调节盘，用于衡量 AI 在答案之间分配赌注时的信心程度。
“B”偏好（位置偏好）： 人类和 AI 有时会有一种奇怪的习惯，仅仅因为某个选项在页面上的位置，就倾向于选择第一个或最后一个选项，而不是基于其内容。新模型能够识别这种偏差并将其扣除，从而不会让 AI 看起来比实际能力更强。
“猜测”回退机制： 当问题太难时，AI 可能会放弃并根据某种随机规则（例如“总是选最长的单词”）来选择答案。新模型可以检测到 AI 是否在进行这种“回退”行为，并将此行为与其实际知识分离。

重大发现：错误答案是金矿

最令人兴奋的发现是，错误答案携带的信息量比你想象的要大得多。 作者计算出，观察选择了哪个错误答案，比仅仅知道它是对还是错，每道题能多提供约 101% 的有用信息。

为了证明这一点，他们做了一个很酷的实验。他们尝试仅利用 AI 答错的问题来预测该 AI 的整体技能水平。令人惊讶的是，仅仅通过观察错误的模式，他们就能以 0.943 的相关性（这是一个非常高的分数，1.0 为完美）来估算 AI 的能力。这意味着你甚至不需要看到正确答案，就能理解这个 AI 有多聪明；错误本身就讲述了整个故事。

让测试变得更聪明、更高效

由于这种新模型能从每一个问题中获取如此多的信息，它可以让测试变得极其高效。

所需问题更少： 通常，要准确排名 AI 模型，你需要数百个问题。作者发现，使用他们的新方法，你只需挑选 41 个最具信息量的问题，就能几乎完美地匹配完整测试的排名。这实现了 770 倍的减量！
所需模型更少： 通常，你需要数千个 AI 模型来“校准”一个测试（即确定问题的难度）。这种新方法仅需使用 5 个 AI 模型即可完成测试校准并获得良好的结果，而旧方法在模型数量如此之少时会变得混乱且不可靠。

这对未来意味着什么

论文总结道，我们一直以来通过将每个错误答案视为同一种情况，从而丢弃了海量的数据。通过倾听 AI 是如何犯错的，我们能得到一个更清晰、更公平、更快速的图像，展现它实际能做什么。这就像是意识到一个学生的错误答案不仅仅是一次失败，而是一张地图，标示出了他们的理解在哪里停止，以及他们的困惑从哪里开始。作者建议，这种方法可以帮助我们构建更好的测试，并比通过简单的成绩单更深入地理解 AI 的行为。

技术摘要：每一个错误答案都有价值：面向 LLM 多项选择题基准测试的选项级心理测量学

问题陈述

当前的大语言模型（LLM）基准测试严重依赖于从多项选择题（MCQ）中得出的二元准确率得分。这种方法将所有错误回答视为等同，丢弃了由 LLM 选择特定干扰项所包含的系统性信息。因此，准确率得分受限于其对特定题目构成的依赖，并且无法捕捉模型置信度、系统性误差模式或测量不确定性。随着模型接近基准测试饱和点，二元评分的判别力会逐渐丧失。此外，现有的应用于 LLM 的心理测量学应用（例如项目反应理论，IRT）通常将响应简化为二元正确性，未能利用 LLM 自然产生的完整选项偏好分布。

方法论：LLM 标称响应模型 (LLM-NRM)

作者提出了 LLM 标称响应模型 (LLM-NRM)，这是一个选项感知的心理测量框架，旨在将 Bock 的标称响应模型（NRM）适配于 LLM 评估。与二元模型不同，LLM-NRM 对所有答案选项的完整概率分布进行建模，以联合估计潜在的 LLM 能力 ( $\theta$ ) 和项目特征。

核心公式

该模型将 LLM 对 MCQ 项目的响应视为 $K_i$ 个选项上的分布 $p_{ji}$ ，而非单一的二元标签。它扩展了经典的 NRM 效用函数 $u_{jik} = a_{ik}\theta_j + c_{ik}$ ，并引入了三个 LLM 特有的行为因子：

响应校准锐度 ( $s_j$ )： 一个针对每个 LLM 的参数，充当逆温度系数。它控制概率分布的集中程度而不改变选项的相对顺序，从而捕捉模型在独立于项目知识的情况下，表达偏好时是具有高置信度还是呈现“平坦”分布。
位置偏差 ( $\delta_j$ )： 一个代表与内容无关的特定答案位置（如 A、B、C、D）偏好的向量。它将系统的位置启发式逻辑与选项内容的实际吸引力区分开来。
难度门控猜测回退机制： 一种在能力驱动的偏好与当项目过于困难时的回退策略之间进行插值的机制。
- 门控函数 $G_{ji} = \sigma[w_0 - \kappa(\theta_j - \tilde{b}_i)]$ 决定了回退的权重，其中 $\tilde{b}_i$ 是通过 NRM 参数推导出的近似项目难度指数。
- 回退对数几率向量 $\rho_j$ 定义了当门控激活时特定的猜测分布（例如标签先验）。

最终的响应分布为 Softmax 插值：
$p_{jik}^{LLM-NRM} = \frac{\exp[(1-G_{ji})u_{jik} + G_{ji}\rho_{jk}]}{\sum_{k'} \exp[(1-G_{ji})u_{jik'} + G_{ji}\rho_{jk'}]}$

参数估计

参数通过使用 Adam 优化器在软交叉熵损失上进行最大后验概率（MAP）估计，并使用标准正态先验对能力进行正则化 ( $\theta_j \sim \mathcal{N}(0,1)$ )。该模型在包含 189 个 LLM 和 31,554 个 MCQ 项目（跨越 14 个基准测试）的数据集上进行拟合。

核心贡献

首次将 NRM 应用于 LLM： 本研究将标称响应模型引入 LLM 领域，揭示了跨选项的潜在响应偏好，提供了比正确性更丰富的模型行为视图。
LLM 适配化表述： 作者提出了一种新的表述方式，明确建模了校准锐度、位置偏差和依赖难度的回退行为，超越了传统的项目反应建模，以捕捉特定的 LLM 决策过程。
证明了干扰项的效用： 本文证实了错误响应并非随机噪声，而是包含了独特的、有用的测量信息。

实验结果

预测性能

通过 5 折交叉验证在留出数据集上进行评估，LLM-NRM 优于二元 IRT 基准（1PL–4PL）、标准 NRM 以及之前的先进方法（如 Deep-IRT、PSN-IRT）。

二元正确性： LLM-NRM 实现了最高的准确率 (0.8395)，优于表现最好的二元基准 (0.8232)。
选项级预测： 在预测完整选项分布方面，增益更为显著，LLM-NRM 达到了 0.7070 的准确率和 0.8181 的对数损失，显著优于二元基准（0.6427 准确率，0.9879 对数损失）和标准 NRM。

外部有效性

由 LLM-NRM 得出的能力估计值 ( $\theta$ ) 与外部 Arena.ai Text Elo 排行榜（基于人类偏好）表现出最强的 Spearman 相关性 (0.920)，优于原始准确率 (0.866) 和其他潜在能力估计值 (最高为 0.885)。这表明选项级模式捕捉到的模型差异比聚合正确性更能与人类判断保持一致。

错误答案的信息含量

费舍尔信息量 (Fisher Information)： 与仅使用二元正确性相比，所选干扰项的身份平均每个项目贡献了额外的 +101% 费舍尔信息量。
从错误中恢复： 即使在仅观察错误响应（忽略正确性信号）的情况下，模型仍能恢复能力估计，其与全信息参考值的 Spearman 相关性达到 0.9428。这证实了错误结构是高度信息化且具有系统性的。

基准测试效率

项目压缩： 使用 LLM-NRM 选择 41 个最具信息量的项目，可以在保持全库排名 Kendall 相关系数为 0.85 的情况下，实现 770 倍的基准规模缩减。
校准效率： LLM-NRM 仅需使用 5 个 LLM 即可校准项目参数，并能在约 40 个项目时接近全舰队的表现，显著优于由于二元响应信息有限而需要更大规模舰队才能趋于稳定的二元 IRT 模型。

意义与主张

本文得出结论，LLM 基准测试中的错误答案携带了独特的、有用的测量信息，而非等同的错误。通过对响应完整分布进行建模，LLM-NRM：

提高评估准确性： 提供更可靠的能力估计，使其与人类偏好相一致。
揭示行为细微差别： 将真实的知识与校准伪影、位置偏差以及回退策略区分开来。
实现高效化： 通过使用更少项目和更少校准模型实现高保真排名，大幅降低了基准测试成本。

作者断言，这种方法将评估范式从二元的“对/错”指标转变为一种细致的心理测量分析，其中“每一个错误答案都有价值”。未来的工作建议探索部分概率观测、多维能力以及向超越固定选项问题的扩展，但目前的工作重点在于验证现有 MCQ 框架下选项级数据的效用。