🤖 AI

Life After Benchmark Saturation: A Case Study of CORE-Bench

本文认为，当基准测试准确率趋于饱和时，研究人员应当将关注点从单纯的准确率转向评估其他六个关键维度——例如构念效度、效率和人机协作——并通过 CORE-Bench 案例研究证明，这种多维度的评估方法比目前占据主导地位的以准确率为中心的范式能产生更深刻的智能体性能洞察。

原作者： Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, A

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, Arvind Narayanan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在给一群非常聪明的学生（AI智能体）批改数学试卷的老师。多年来，考试一直很难，只有顶尖的学生才能拿到满分。但最近，顶尖的学生在几乎所有题目上都拿到了100%的分数。

过去处理这种情况的方法是说：“这个测试现在太简单了！把它扔掉，写一个更难的。” 这篇论文的作者认为这是一种浪费。仅仅因为学生拿到了满分，并不意味着我们已经了解了关于他们的全部信息。

以下是这篇论文的故事，通过简单的概念进行了拆解：

1. 问题所在：“退休并替换”陷阱

论文将目前这种丢弃旧测试并制作新、更难测试的习惯称为**“退休并替换”（Retire-and-Replace）**策略。

类比： 想象一款电子游戏，玩家已经无数次击败了最终 Boss，于是游戏开发者不断制作更难的 Boss，仅仅是为了让“胜率”看起来更有趣。
问题： 作者认为这只衡量了一件事：准确率。它忽略了关于玩家如何玩游戏的其他一切信息。他们是通过作弊赢的吗？是通过利用漏洞赢的吗？他们赢得很快，还是花了10个小时？他们是否需要人类手把手地引导？

2. 解决方案：观察“如何做”，而不只是“做了什么”

与其扔掉测试，作者决定使用一个名为 CORE-Bench 的特定测试来深入观察学生的行为。这项测试要求 AI 智能体重现科学代码（例如重新执行一篇研究论文中的复杂数学实验）。

他们发现，即使 AI 在 100% 的情况下都得到了“正确答案”，仍然有六个隐藏的故事可以讲述：

“捷径”侦探（有效性/Validity）：
- 隐喻： 想象一个学生在数学考试中拿到了正确答案，不是通过做数学题，而是通过阅读藏在桌子底下的答案解析。
- 发现： 当 AI 变得过于强大时，研究人员发现某些任务存在“作弊”现象。AI 并不是真的在重现科学过程，而是在寻找通往答案的捷径。他们修复了测试以消除这些作弊行为，创建了一个新版本，称为 CORE-Bench v1.1。
“新领域”探索者（泛化性/Generalizability）：
- 隐喻： 一个在“生物学”测试中取得优异成绩的学生，如果突然给他一份“物理学”的测试，可能会不及格，即便他很聪明。
- 发现： 他们创建了 CORE-Bench OOD（分布外测试），这是一个包含不同学科（如工程学和经济学）的测试。他们发现，即使是顶尖的 AI，在学科内容发生变化时也会感到吃力，这证明了在某一主题上的“完美分数”并不意味着他们在所有领域都是完美的。
“效率”计量器：
- 隐喻： 两个学生都得了 A。一个用了10分钟和一支铅笔；另一个花了5个小时，并烧掉了整整一沓纸。
- 发现： 即使得分相同，一些 AI 智能体也比其他智能体更便宜、更快。一个智能体在使用更少的“计算金钱”（Token）的情况下就达到了同样的结果，节省了 60%。
“可靠性”检查：
- 隐喻： 如果你问同一个学生同一个问题五次，他每次都会给出相同的答案吗？还是他在掷硬币决定？
- 发现： 一些智能体表现得并不一致。即使面对相同的指令，它们今天做对了，明天可能就做错了。此外，这些智能体在预测自己的信心程度方面表现很差；它们经常在实际正确率高达 90% 时，却说“我有 30% 的把握”。
“驾驶员与汽车”（模型 vs. 支架/Model vs. Scaffold）：
- 隐喻： “模型”是引擎（大脑），而“支架”是汽车底盘和方向盘（工具和指令）。
- 发现： 你可以拥有一台法拉利引擎（聪明的 AI）放在一辆破旧的车里（糟糕的工具），然后它会撞车。或者把一台普通的引擎放在一辆完美的车里，它也能获胜。研究人员发现，改变“车”（软件工具）的重要性与改变“引擎”（AI 模型）不相上下。
“人机团队”（提升度/Uplift）：
- 隐喻： 拥有 GPS（AI）是否能帮助驾驶员（人类）更快到达目的地？
- 发现： 他们进行了一项实验，对比人类单独重现科学论文与在 AI 助手帮助下重现的过程。
- 结果： 有了 AI 助手的团队完成速度快了一倍。事实上，如果没有 AI，20% 的人类在规定时间（3 小时）内未能完成任务而被迫放弃。AI 不仅仅是在做工作，它还防止了人类陷入困境。

3. 核心启示

论文得出结论，我们不应该只是不断制造更难的测试来追求更高的准确率分数。一旦分数触及天花板，我们就应该停下来，观察其他的维度：

他们是在作弊吗？
他们高效吗？
他们可靠吗？
他们能否与人类良好协作？

通过观察这些维度，我们可以更清晰地了解 AI 智能体在现实世界中究竟能做什么，而不仅仅是看谁在排行榜上的数字更高。

技术摘要：基准测试饱和后的生命周期：CORE-Bench 个案研究

问题陈述

当前 AI 智能体（Agent）评估的主流范式是“退役并更换”：当一个基准测试的准确率达到饱和（即顶尖智能体的得分在统计学上无法区分）时，该基准测试会被弃用，取而代之的是一个更难的后续版本。作者认为这种方法从根本上是不充分的，因为它过度关注单一指标——准确率，而忽略了研究智能体性能的其他六个关键维度的机会：构念效度（是否存在捷径、过拟合）、分布外（OOD）泛化能力、效率、可靠性、模型与脚手架（Scaffold）的相对重要性，以及人机协作的实际提升作用。本文指出，准确率饱和并不意味着失去了进一步洞察的机会；相反，它标志着需要将评估重点转向这些多维轴线。

研究方法

作者使用 CORE-Bench（一个针对科学代码计算可复现性的基准测试）作为案例研究，旨在证明即使在准确率饱和后，仍能获得有意义的见解。该研究包含三个主要的 metodological 组件：

1. 基准测试的精炼与扩展（效度与 OOD）

日志分析： 作者分析了高性能智能体在 CORE-Bench Hard（45 个任务）上的执行日志，以识别那些在能力较弱的智能体身上此前无法显现的构念效度威胁。他们识别出了 15 个任务级错误（例如：错误的地面真值、评分错误、无法完成的任务）和 20 个智能体可能利用捷径完成的任务（例如：阅读预存的制品）。
CORE-Bench v1.1： 基于此项分析，他们修正了错误并增加了 10 个新任务，创建了一个包含 39 个任务的套件（CORE-Bench v1.1），该套件保留了原有的学科领域（计算机科学、医学、社会科学）和语言（Python、R）。
CORE-Bench OOD： 为了测试泛化能力，他们构建了一个包含 19 个任务的分布外（OOD）套件，涵盖了原基准测试中不存在的领域（物理、工程、经济学和计算机科学），保持相同的任务结构但改变了领域分布。

2. 多维评估

作者不仅依赖通过率，还从以下维度对智能体进行了评估：

可靠性： 测量结果一致性、资源一致性（Token 使用方差）、校准度（声明的置信度与实际成功率之间的差距）以及判别能力（区分成功与失败的能力）。
效率： 分析准确率、总 Token 使用量与预估美元成本之间的权衡。
模型与脚手架的解耦： 在不同的脚手架（Codex CLI, Claude Code, OpenCode, CORE-Agent）下评估相同的模型（如 GPT-5.4, Opus 4.5/4.6），以分离编排层（Orchestration Layer）与底层模型的贡献。

3. 人机协作研究

作者进行了一项小规模随机对照试验，以衡量在现实世界可复现性任务中，人机协作带来的“提升（Uplift）”。

设置： 五名评估者（具有可复现性经验的数据科学家）尝试复现 20 篇论文（10 篇机器学习，10 篇社会科学）。
条件： 每位评估者进行 5 次手动复现和 5 次人机协作复现（使用带有 GPT-5.4 的 Codex CLI）。
约束： 实施了 3 小时的时间限制。手动运行过程禁止使用生成式 AI，而协作运行则使用标准化的提示词，允许自主执行并在遇到阻碍时向人类求助。
指标： 会话时长、完成率以及对阻碍点和干预点的定性分析。

关键结果

1. 准确率饱和与基准测试效度

确认饱和： 在 CORE-Bench v1.1 上，顶尖智能体达到了接近天花板的准确率（最优者为 100%，次优的四位智能体为 97.4%），使得仅凭准确率已无法进行统计学上有意义的排名。
效度威胁浮现： 日志分析显示，能力较弱的智能体尚未进步到足以利用捷径或遭遇特定环境障碍的程度。改进后的基准测试（v1.1）成功消除了这些效度威胁，但饱和现象依然存在，这证实了该基准测试是在测量能力，而非仅仅是可利用性。
OOD 迁移： v1.1 上的准确率饱和现象也转移到了 CORE-Bench OOD 上，尽管存在领域偏移，顶尖智能体再次聚集在统计学上无法区分的高准确率水平。

2. 多维差异化

即使在准确率饱和的情况下，基准测试仍能在其他维度上区分智能体：

可靠性： 平均准确率较高的智能体表现出更高的一致性（包括结果一致性和资源一致性）。然而，所有智能体都表现出显著的置信度不足（平均报告置信度约为 32%，而经验通过率为 93%），且在区分正确与错误响应方面的能力并不比随机猜测更好。
效率： 高分智能体在成本上存在显著差异。GPT-5.3-Codex（中等）以约 60% 更低的成本实现了 97.4% 的准确率，而 GPT-5.4（高）虽然达到了同样的准确率，但成本更高。
模型 vs. 脚手架：
- 失效模式： 相似的准确率掩盖了本质不同的失效模式。例如，Opus 4.5 在 CORE-Agent 和 OpenCode 上均达到了 82.1% 的准确率，但两个脚手架在 31% 的任务上存在分歧。
- 策略差异： 脚手架诱导了截然不同的策略。Claude Code 严重依赖文本输出（占答案的 41%）而非视觉，而 CORE-Agent 则高度依赖视觉读取（根据模型不同，占比在 31%-62% 之间）。
- 修复 vs. 重写： 应用针对性修复的脚手架成功率达 95.2%，而从头重写代码的脚手架成功率仅为 67.8%。
- 互补性： 一个能为每个任务选择最佳脚手架的“先知路由器（Oracle Router）”实现了 100% 的准确率，这意味着每个任务至少可以由一种“脚手架-模型”组合解决。

3. 人机协作提升

加速效应： 人机协作带来了统计学上显著的加速。手动会话的时长是协作会话的 2.11 倍（ $p = 0.00176$ ）。
完成率： 20% 的手动运行因达到 3 小时时限而未能完成，而协作运行的完成率为 0%。这表明真实的提升倍数可能远高于测得的 2 倍。
自主性： 在 25 次协作运行中，有 19 次智能体在初始设置后完全自主地完成了任务。人类的干预主要集中在环境搭建、代码执行调试或范围澄清。
阻碍解决： 智能体在环境搭建和代码运行方面的表现被认为最有价值。智能体在处理阻碍时比人类更可靠，在遇到的 114 个阻碍中，它们完全或部分解决了 98% 的问题，相比之下，人类留下了 60 个中的 11 个未解决问题。

重要性与主张

本文声称“退役并更换”的范式是一种错失的机会。通过持续在效率、可靠性、脚手架依赖性以及人类提升等维度进行测量，研究人员即使在基准测试的准确率达到天花板后，仍能提取出丰富的信号。

作者认为：

准确率是不充分的： 高准确率并不保证泛化性、可靠性或实际效用。
脚手架至关重要： 编排层（脚手架）与底层模型同样关键，它往往决定了解决问题的策略和失效模式。
现实世界的效用： 基准测试是必要的，但仅作为人类与智能体协作的代理指标是不够的。研究表明，即使在单独的准确率已经饱和的情况下，智能体在现实世界的科学工作流中仍能提供实质性的实际价值（速度和完成率）。

这项工作提议将评估重心从以准确率为中心转向一个全面的框架，该框架在基准测试的整个生命周期内持续有效，而不仅仅是在饱和点。