💰 quantitative finance

The Benchmark Ceiling: Human Judgment, Evaluation Scarcity, and the Political Economy of AI Capability Measurement

本文认为，前沿人工智能基准测试的有效性正日益受到设计高难度评估项所需的精英人类判断力结构性匮乏的制约，从而产生了一种“基准天花板”现象，即随着模型饱和了较易的任务，测量信号也随之递减，进而导致对有效评估的投资不足以及显著的治理挑战。

原作者： Mark Esposito, Liu Zhang, Ali Ansari

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mark Esposito, Liu Zhang, Ali Ansari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《基准天花板》（The Benchmark Ceiling）的解释，使用了简单的语言和日常类比。

大局观：正在“断裂”的“尺子”

想象一下，AI 行业正处于一场建造最聪明机器人的竞赛中。为了观察谁在领先，我们使用基准测试（Benchmarks）。你可以把这些基准测试想象成一个巨大的标准化考试（比如计算机版的 SAT），或者一把用来测量高度的尺子。

这篇论文指出，这些“尺子”目前正在断裂。随着 AI 变得越来越聪明，它开始完美地回答测试中的简单问题。很快，它也会完美地回答中等难度的问题。现在，区分不同“聪明程度”AI 的唯一方法，就是观察那些极难、极罕见且只有极少数人类能回答的问题。

问题在于：编写这些难题非常困难、昂贵，且需要极少数精英专家的参与。 由于这些专家非常稀缺，我们正在面临好问题不够用的局面。论文称之为**“基准天花板”（Benchmark Ceiling）**。

1. “耗尽的尺子”问题

类比： 想象一款视频游戏。起初，游戏有简单的关卡（第 1 级）和困难的关卡（第 100 级）。

早期阶段： 当 AI 处于“第 1 级”时，它连第 1 级都会失败。我们可以很容易地看出谁在进步。
现在： AI 已经掌握了从第 1 级到第 90 级的全部内容。如果你给它一个第 1 级的测试，它每次都能拿 100 分。这个测试不再能告诉你谁是“最好的”玩家，它只能告诉你他们很“优秀”。
天花板： 要找到真正的赢家，你需要一个“第 100 级”的测试。但设计一个第 100 级的测试很难。这需要一位天才游戏设计师去发明一个连顶尖人类玩家都感到棘手的谜题。

论文观点： 随着 AI 的进步，“简单”部分的内容会变成无用的噪音。剩下的唯一信号在于“硬尾”（即最难的部分）。但能够编写这些难题的人非常稀缺。

2. 测试编写者的“前 1% 精英”

类比： 想象一支运动队。你可以雇佣 1,000 个人来跑圈（简单任务）。但如果你需要有人设计一条从未有人见过的奥运级障碍跑赛道，你不能只靠雇佣 1,000 个人，你需要一位世界级的建筑师。

论文观点：

编写简单的测试题目既便宜又容易，任何人都能做。
编写难题（即真正衡量前沿 AI 的题目）需要精英级的人类判断力。这些人是理解深度医学、法律或工程概念，并且深谙 AI 如何出错的专家。
这个群体是“评估界的 1%”。他们极其稀缺，因此聘请他们的成本会飙升。论文称之为**“稀缺溢价”**。

3. “泄露的测试”（污染）

类比： 想象一位老师写了一份数学试卷。但是，学生们（AI）通过某种方式秘密背下了答案，因为老师不小心把答案贴到了网上。

学生们在测试中拿了 100 分，但他们并没有真正学会数学，他们只是背住了答案。
这被称为**“污染”（Contamination）**。

论文观点： AI 模型是在海量的互联网数据上进行训练的。通常，这些数据中包含了用来衡量它们的测试题答案。

简单问题在互联网上随处可见，所以 AI 很容易就能背下来。
难题是由专家在私密环境下编写的，因此不太容易被泄露。
结果： 测试变得更加没用了。唯一还能告诉我们一些信息的，只有那些尚未被泄露的难题。

4. “公共物品”问题（为什么没人去解决它）

类比： 想象一个小镇需要一座灯塔来确保航行安全。

问题： 建造灯塔非常昂贵。如果一家公司建造了灯塔，全镇的人都会受益（船只不会撞毁）。但那家出钱建造灯塔的公司无法从其他船只那里获得回报。
结果： 没有哪家公司愿意建造灯塔，因为他们无法获取所有的利润。因此，灯塔要么从未建成，要么建得很糟糕。

论文观点： 创建一个完美、公平的 AI 测试是一个公共物品（Public Good）。

如果一家公司花费数百万美元创建了一个完美的测试，所有人（竞争对手、监管机构、公众）都会从中受益。
支付了这笔费用的公司无法获得足够的奖励来抵消其成本。
后果： 私营公司在开发“好的”测试方面投入不足。相反，他们倾向于设计那些能让自己的 AI 看起来表现出色的测试（这是一个“策略性设计”问题）。

5. 解决方案：“受保护的游戏场”

类比： 想象一个秘密考场。

坏主意： 把测试题目公之于众，让所有人都可以学习。（这会导致作弊/死记硬背）。
坏主意： 保持测试题目保密，但让制造 AI 的公司同时也负责编写测试。（这会导致作弊/偏袒）。
好主意： 一个**“受保护的房间”**。
- 测试题目必须保持秘密（受保护），这样 AI 就无法通过记忆来作弊。
- 测试的生成规则必须是公开的（透明），这样我们才能知道它是否公平。
- 由一个独立的团体（如政府机构）出资聘请精英专家来编写题目。

论文观点： 我们需要一个新的系统，其中：

实时题目受保护： 难题必须保持秘密，以防止作弊。
程序透明化： 我们可以看到是谁编写了题目，以及如何测试其公平性。
公共投资： 政府或中立机构必须为这些精英专家提供资金，因为私营公司不会支付足够的费用。

总结

论文认为，我们在衡量 AI 方面正在撞上一堵墙。由于 AI 太擅长处理它们，原本的“简单”测试已经失效了。剩下的只有“难题”，但这些难题对于私营公司来说太昂贵且太稀缺，无法独立维持。

如果我们不解决这个问题，我们将无法得知 AI 究竟是变得更聪明了，还是仅仅变得更擅长背诵测试题了。解决方案并不是要把一切都公开，也不是要把一切都保密；而是要创建一个受保护的、由独立资助的基础设施，让精英人类可以在无需担心题目被泄露或被操纵的情况下，编写下一代高难度题目。

技术摘要：基准天花板 (The Benchmark Ceiling)

问题陈述

本文识别了人工智能能力测量中的一种结构性危机，称之为**“基准天花板” (benchmark ceiling)**。虽然基准测试是比较和监管 AI 系统的主要治理工具，但其有效性并非一种稳定的属性，而是一种可耗尽的资源。随着基础模型的改进，它们系统性地饱和了基准难度分布中“容易”的部分，使得标准评估套件变得无法提供有效信息。

核心问题在于，剩余的判别信号集中在分布的“硬尾” (hard tail) 部分——即那些需要精英专家判断力来进行设计和评估的项目。这种人类判断在结构上是稀缺的、昂贵的，且难以大规模复制。因此，随着前沿能力的提升，维持有效测量仪器的成本呈凸性增长，而私人参与者投资于这一公共物品的动力却在递减。这导致了基准有效性的退化，使得基准得分成为关于潜在模型质量的噪声信号，可能在 AI 安全性和就绪程度方面误导监管机构、企业和公众。

研究方法

本文采用了三位一体的研究方法：

形式经济学建模： 作者构建了一个信号贬值模型，将基准得分 ( $s_i$ ) 处理为对潜在模型质量 ( $q_i$ ) 的带噪声观测。该信号的精确度内生于基准有效性 ( $B_t$ )，而 $B_t$ 是项目判别力、污染水平以及项目难度相对于前沿能力 ( $c_t$ ) 的函数。该模型形式化了高难度项目的更换成本的凸性，并论证了由于公共物品外部性导致的私人基准生产中的投资不足均衡。
理论综合： 借鉴项目反应理论 (Item Response Theory) 和劳动经济学，本文分析了“难”型基准项目的结构特征（低编码性、存在争议的真值、对模式匹配的抵抗力）以及“评估 1%”——即能够产生这些项目的专家阶层的特定稀缺性。
实证分析： 作者利用了来自 micro1（一个专业认证 AI 专业人士平台）的新颖数据集。该数据集涵盖了法律、医疗、工程和金融领域的 1,000 多名专业人士。分析研究了与任务难度相关的工资溢价分布，特别隔离了与基准分布硬尾相对应的、具有高判断力和低编码性任务的“稀缺性溢价”。

核心贡献

1. 信号贬值的形式化模型

论文确立了基准有效性 ( $B_t$ ) 是一种可耗尽的投入。

命题 1（贬值）： 随着 $B_t$ 下降（由于饱和或污染），测量误差的方差增加，降低了基准得分关于潜在质量的信息量。
命题 2（硬尾集中）： 随着前沿能力 ( $c_t$ ) 的上升，低难度项目的判别能力消失。有效的信号仅集中在难度 $\theta_j \approx c_t$ 的项目中。
命题 3（上升的更换成本）： 生产有效的前沿判别项目的成本 $C(\theta)$ 随难度呈凸性增长。维持有效性需要日益稀缺的精英劳动力，使得基准的更换成本比模型能力增长得更快。
命题 4（公共物品投资不足）： 私人基准生产者只能捕获 $\alpha < 1$ 的有效基准社会价值。因此，私人对有效性的投资严格低于社会最优水平。
命题 5（俘获动机）： 当基准得分决定市场准入或监管时，企业有动机通过影响基准设计（通过项目选择或权重）来偏向自身的比较优势，从而进一步侵蚀有效性。

2. “评估 1%”与劳动力稀缺性

论文指出，生产硬尾项目的过程并非线性规模化问题。它依赖于一个薄弱的专家阶层，这些专家拥有深厚的领域知识、低编码性的判断力以及对 AI 失效模式进行推理的元认知能力。这种劳动力无法通过扩大商品化标注人员的人数来替代。

3. 稀缺性溢价的实证证据

对 micro1 数据集的分析揭示了工资溢价的右偏分布。

在最高难度四分位数（硬尾任务）中的工作者，其工资溢价比底层四分位数高出约 28 个百分点，即使在控制了资历和时间因素后也是如此。
高溢价任务与硬基准项目的结构特征相一致：法定解释、针对非典型表现的临床推理以及前沿架构审查。
这证实了模型的假设：进行有效前沿评估所需的劳动力是稀缺且定价差异化的，呈现出一种“逆库兹涅茨”模式，即结构化市场压缩了底层的工资，但在前沿领域显著分散了工资。

4. 治理与透明度的权衡

论文区分了项目级透明度（公开特定基准问题）与程序透明度（公开治理、方法论和评估者资历）。

项目级透明度会增加暴露于污染和策略性优化 ( $z_t$ ) 的风险，从而加速基准的贬值。
程序透明度和制度独立性能提高问责制 ( $a_t$ )，从而增强有效性。
论文反对在完全公开或完全私有的基准之间做二元选择，而是主张采用受保护的实时项目池，并结合透明的程序和独立的治理。

结果与发现

信号退化： 随着模型饱和了简单项目且污染增加，基准得分正变得越来越难以作为潜在质量的精确公共信号。
结构性瓶颈： “基准天花板”不是一个暂时的技术障碍，而是一个由精英人类判断力的稀缺性驱动的结构性约束。
市场失灵： 当前生态系统面临双重市场失灵：对真正的独立基准投资不足，以及过度生产旨在讨好其创造者的策略性设计的基准。
企业差距： 基准性能与生产就绪度之间的差距是基准天花板的一个可预见的后果。企业被迫依赖成本高昂、碎片化且不可累积的“人类反馈循环”，以此作为缺失的有效前沿评估这一公共物品的替代品。

重要性与主张

论文声称，基准天花板是对 AI 治理公信力 的根本挑战。它认为，依赖基于基准合规性的监管框架（如欧盟《人工智能法案》或美国行政命令）是建立在正在贬值的证据基础之上的。

这项工作的意义在于将 AI 评估重新定义为一个涉及公共物品、劳动力稀缺性和认识论权力的政治经济学问题，而非单纯的技术练习。作者断言，如果没有受保护的项目池、透明的程序、独立的治理以及对前沿评估基础设施的持续公共投资，关于 AI 进步的叙事将日益脱离真实的实际能力与安全性。作者指出，“人类判断的无限里”不仅是一个哲学极限，更是维持 AI 测量有效性的一个具体的、可衡量的结构性要求。