💬 NLP

Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset

本文通过心理测量分析证明，“人类最后的一场考试”（HLE）主要衡量的是单一的通用推理因子，而非不同的特定领域能力，且其测量精度不足以有效地区分前沿语言模型。

原作者： Mayank Sharma, Savira Nadela, Tyler Matteson

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Mayank Sharma, Savira Nadela, Tyler Matteson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图弄清楚班上哪个学生最聪明的老师。你给他们布置了一份包含 428 道题目的巨型测试卷，内容涵盖了从古代历史到高等物理的一切。如果一个学生拿了高分，你可能会假设他们是全能的天才。但如果你想了解更多呢？如果你想知道他们是数学天才但诗歌水平极差，还是科学达人但写不出完整的句子呢？为了回答这个问题，你可能会观察他们在每个学科下的“子分数”。这正是我们今天评估人工智能（AI）的方式。我们使用被称为“基准测试”（benchmarks）的大规模测试来观察我们的 AI 模型有多聪明。但这里有一个棘手之处：仅仅因为一个测试有标注为“数学”和“化学”的部分，并不意味着 AI 真的拥有独立的“数学大脑”和“化学大脑”。也许它只有一个巨大的“推理大脑”，可以帮助它在所有领域都表现出色。这篇论文就像是一个面向测试设计者的侦探故事。它在追问：这些学科标签是真实的、截然不同的技能，还是仅仅是对一种单一、通用能力的华丽切分？更重要的是，这个测试是否真的擅长区分最顶尖的 AI 模型，还是说一旦题目变得非常难，它就会变得模糊不清？

所讨论的论文题为《HLE 多项选择子集的维度性与测量精度》（Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset），深入研究了一个著名的全新 AI 测试——“人类最后的考试”（Humanity's Last Exam，简称 HLE）。来自斯坦福的研究团队对 29 个不同的 AI 模型进行了测试，让他们完成了这个包含 428 道难题的纯文本多项选择版本考试。他们不仅仅是统计正确答案的数量；他们还使用了一种特殊的数学方法，称为项目反应理论（Item Response Theory，简称 IRT）。你可以把这想象成一把超级精密的尺子，它不仅能测量高度，还能告诉你这把尺子在不同高度下的精准度。他们想观察两件事：第一，这个测试是否真的测量了八种不同的技能（如数学、生物、历史），还是其实只是在测量一种大的“通用推理”能力？第二，在这个“聪明程度量表”上，这个测试在哪个阶段最擅长进行区分？

结果给 AI 社区带来了一些现实的警示。研究团队发现，有压倒性的证据表明，H 解本质上是在测量一件事情：一种通用的推理能力。他们计算了一个名为 McDonald's $\omega_h$ 的统计量，结果达到了惊人的 0.998。为了让你理解，如果 1.0 代表“完美的单一技能”，那么这个测试几乎是完美的单维度的。我们在题目上贴上的标签——比如“数学”或“工程”——仅解释了模型回答差异中的 3.5%。这就像是你对一群人进行分类，试图按“跑步速度”和“游泳速度”来划分，结果却发现每个跑步快的人游泳也都很快，而“游泳”这个标签并没有提供任何“跑步”无法提供的额外信息。研究人员还发现，特定领域的能力估计值与总分几乎完全一致（相关系数 $r \ge 0.81$ ），这意味着子分数基本上是冗余的。

此外，论文还发现了一个关于测试在“何处”最准确的问题。该测试在区分普通 AI 模型和稍好一点的模型时表现出色。然而，对于最顶尖的模型，测试的“精度”会断崖式下跌。该测试在能力水平 $\theta = -0.35$ 附近最为精确，但顶级的“前沿”模型处于 $\theta > 0$ 的区间。在这一高能力区间，测试变得模糊了。这就像是一个温度计，它能很好地分辨冷天和温天，但当天气达到“沸腾”状态时，指针就卡住了，无法分辨出是 212°F 还是 250°F。有趣的是，“工程”部分是唯一一个在这些超强模型面前仍保持一定锐度的部分（它将 69.1% 的信息集中在 $\theta > 0$ 处），但由于工程部分仅占整个测试的 4%，这不足以挽救大局。

那么，这意味着什么？作者们建议，我们不应将 HLE 上不同的学科得分视为 AI 拥有数学或化学等独立、分离技能的证据。相反，我们应该将其视为衡量通用推理能力的工具。更重要的是，随着 AI 模型变得越来越聪明，这个测试可能会失去区分最顶尖模型的能力，因为它在设计时没有包含足够多的“难题”来区分那些绝对的巨头。这篇论文并不是说这个测试没用，但它警告我们，我们需要谨慎对待子分数的过度解读，并且我们可能需要更难的新测试来跟上快速发展的步伐。

技术摘要：HLE 多选题子集的维度与测量精度

问题陈述

人类最后考试（Humanity's Last Exam, HLE）已迅速成为评估前沿大语言模型（LLM）的重要基准，其问题被组织为八个学科领域类别（如数学、化学、人文科学）。这些特定领域的子分值经常被解释为具有不同且可分离的潜在能力的证据。然而，这种解释依赖于一个未经测试的假设，即该基准的类别标签对应于经验上截然不同的潜在因子，而非单一通用推理能力的各个方面。此外，目前缺乏关于该基准测量精度的系统性评估，特别是该基准能否有效区分具有相似高能力的模型（前沿模型），或者分值差异仅仅反映了测量噪声。

研究方法

本研究评估了 29 个当代 LLM 在 HLE 纯文本多选题子集上的表现，该子集包含 $J = 428$ 个项目（从最初的 513 个项目中过滤掉了零方差项目和覆盖率较差的模型）。作者应用心理测量学方法，特别是项目反应理论（IRT），来解决两个主要问题：（1）八个领域的结构是否反映了不同的潜在构念，以及（2）该基准在能力连续体的何处集中了测量精度。

数据收集与预处理：

模型： 从五个家族（OpenAI、Anthropic、Google、DeepSeek 和开源模型）中选择了 29 个模型，并过滤掉了响应覆盖率较低（<95%）的模型。
评分： 使用基于规则的提取进行解析，并将结果计为二元（正确/错误）。缺失数据极少（0.79%）并被编码为错误。
IRT 建模： 拟合了两参数逻辑（2PL）IRT 模型，以估计项目区分度（ $a_j$ ）、难度（ $b_j$ ）参数以及潜在模型能力（ $\theta_i$ ）。

分析框架：
为了在不依赖验证性因子分析（由于样本量 $N=29$ 导致相关矩阵秩亏缺，无法进行此类分析）的情况下评估维度，作者采用了四种 N-稳健（N-robust）的替代方案：

McDonald's $\omega_h$ ： 通过 2PL 区分度参数计算，以量化归属于单一通用因子的方差比例。
主成分分析 (PCA)： 应用于项目响应剖面，以确定领域标签是否解释了主成分中的方差。
残差相关分析： 在移除通用因子后，比较领域内和领域间的残差相关性。
领域级能力相关性： 计算领域特定能力估计值（ $\hat{\theta}_{domain}$ ）与总能力估计值（ $\hat{\theta}$ ）之间的相关性。

测量精度通过测试信息函数（TIF）进行分析，并按学科领域进行分解，以识别哪些能力水平（ $\theta$ ）和领域提供了最多的区分度。

关键结果

1. HLE 的单维性
分析提供了收敛性证据，表明 HLE 测量的是单一的通用推理因子，而非不同的领域特定能力：

McDonald's $\omega_h$ ： 层级 $\omega_h$ 为 0.998（95% CI [0.998, 0.999]），表明 99.8% 的共同项目方差归因于单一通用因子。领域特定的 $\omega_h$ 值在 0.936 到 0.994 之间。
PCA： 领域标签仅解释了前三个主成分中 3.5% 的方差，表明除了通用因子之外没有明显的结构。
残差相关性： 在移除通用因子后，领域内和领域间的残差相关性几乎相同（Cohen's $d = 0.016$ ），表明领域成员身份未解释额外的结构。
能力冗余性： 在所有统计效能良好的领域中，领域特定能力估计值与总能力估计值高度相关（ $r \ge 0.81, \rho \ge 0.82$ ），使得领域子分值与总分近乎冗余。

2. 测量精度与区分度

精度分布： 测试信息函数（TIF）在 $\theta = -0.35$ 处达到峰值，这与样本中大多数模型的典型能力范围（第 10 至第 90 百分位数： $[-1.14, -0.26]$ ）相吻合。
前沿局限性： 测量精度在 $\theta > 0$ 时急剧下降，而这一区域正是前沿模型所在的区域。这表明该基准在区分能力相近的高能力模型方面效果较差。
领域贡献： 虽然生物/医学领域贡献了最多的总信息量，但 工程学 项目在前端（ $\theta > 0$ ）集中了最高比例的信息（占 69.1%），尽管其仅占基准总量的 4%。相反，最大的领域（数学和人文/社会科学）对前端区分度的贡献不成比例地低。

核心贡献

维度的实证验证： 这是首次应用于 HLE 的心理测量学维度分析，证明了其八个领域标签并不对应于经验上截然不同的潜在构念。
精度映射： 本研究绘制了 HLE 的测量精度图谱，揭示了一个关键局限：该基准在最需要发挥作用的地方（即前沿模型之间）失去了区分能力。
方法论适配： 本文展示了在受试者数量（模型）相对于项目数量较少（与传统心理测量学情况相反）的情况下，如何应用 N-稳健的心理测量学替代方案（例如直接从 2PL 参数计算 $\omega_h$ ）。

重要性与主张

作者主张，目前的做法——即将 HLE 领域子分值解释为不同能力的证据——在心理测量学属性上是不合理的。相反，HLE 应被视为一种通用推理的测量工具。

此外，研究结果强调了针对前沿评估的“精度差距”。随着模型的进步，该基准区分它们的能力会减弱，因为其项目是针对中等能力水平进行校准的。论文得出结论，虽然 HLE 是一个具有挑战性的基准，但作为一种区分最强模型的工具，其效用有限，并且随着模型能力的提升，其约束将日益增加。作者强调，这些结论仅针对纯文本多选题子集，并呼吁未来开展针对完整基准且拥有更大模型样本的研究，以实现更严格的测试（例如验证性因子分析）。