🤖 AI

Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation

本文介绍了 Messier，这是一个包含近一百万条标准化记录、跨越 30 个基准测试和多种领域的统一高分辨率语料库，它能够实现全面的跨基准智能体评估，揭示不同任务类型间进展的不均衡性，并为审计和扩展 AI 智能体能力提供基础架构。

原作者： Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚哪位电子游戏角色才是各方面的绝对强者。你有一个擅长跳跃的角色，另一个是数学解谜的高手，还有第三个角色能完美地穿梭于迷宫之中。但问题在于，每个游戏的“技能”衡量标准都不一样。有的游戏只要你跳过一个坑就给你一颗金星；而有的游戏则要求你解开一道复杂的代数题才能打开门；还有的游戏则要求你在不触碰任何敌人的情况下收集关卡中的每一枚金币。如果你只看最终得分——比如一个单一的数字“95%”——你可能会认为它们表现得同样出色。但这个数字掩盖了混乱的细节。是因为角色跳不过去才失败，还是因为被一扇门卡住了？是因为角色做得完美无缺才拿到95%，还是因为仅仅失败了一个微小的环节，就被游戏判定为整场失败？

这正是研究 AI 智能体（AI agents）的科学家们面临的问题。这些不仅仅是聊天机器人，它们是能够使用工具、编写代码、浏览网页并在实时环境中做出决策的数字工作者。目前，已经存在数百种不同的测试（基准测试），但它们使用的语言各不相同。有些测试非常严格：如果你在 10 步食谱中漏掉了一步，你就会得到零分。而另一些测试则更为宽容。因此，想要比较一个擅长编程的智能体与一个擅长法律研究的智能体变得极其困难。这就像是试图仅凭一个单一的“运动能力”分数，就把马拉松选手与国际象棋大师进行比较。为了理解 AI 究竟是如何进步的，我们需要一种方法来观察这些分数背后的细节，看看它们究竟在哪里成功，又在哪里跌跤。

于是有了 MESSIER，这是一个庞大的新项目，它扮演着 AI 测试领域巨大且通用的“翻译官”角色。MESSIER 背后的研究人员不仅构建了一个新测试，还建立了一个巨大的库，收集了来自 30 种现有测试 的结果，涵盖了 11,891 项特定任务 以及 74,205 种不同的检查智能体是否成功的途径。他们收集了 714 种不同的 AI 智能体 的数据，甚至针对数据缺失的六个困难领域（如法律审查和量子电路设计）进行了全新的测试。总计，他们将近 一百万条试验记录 整理成了一个统一、标准的格式。你可以把它想象成将 3-30 家不同商店里杂乱无章的收据——每张收据都用着不同的货币和不同的计算规则——转化成一张单一、清晰的电子表格，让你能一眼看出买了什么、花了多少钱，以及哪家店最划算。

MESSIER 最令人兴奋的发现是，计分方式会改变故事的走向。论文指出，许多测试都采用了一种“严格”的规则：如果智能体在任务的任何一个小环节失败，整个任务就会被标记为失败。研究人员展示了，如果放宽这一规则，观察智能体到底做对了多少部分，进步的图景将会大不相同。例如，在一个法律基准测试中，严格的“全有或全无”评分显示智能体的成功率仅为 0.2%。但当他们深入观察细节时发现，智能体平均满足了 28.8% 的标准。这种严格的规则掩盖了大量的阶段性进展。这表明，虽然 AI 正在变得更好，但我们的衡量方式可能过于严苛，使得 AI 看起来比实际情况失败得更多。

这项研究还绘制出了 AI 真正“获胜”的地方以及仍然挣扎的地方。他们发现，AI 在“函数调用”（使用工具）方面几乎趋于完美，成功率为 0.97。它在编程方面也表现出色，在过去两年中进步神速。然而，AI 在“企业工作流”（complex, multi-step office jobs，如管理业务流程等复杂的多步骤办公任务）方面仍然面临困难。在这些领域，成功率仅为 0.57，这意味着智能体失败的次数多于成功的次数。研究人员还证明，你可以利用这个庞大的库来创建一个与主要排名高度吻合（相关性为 0.81）的 AI “技能量表”，而无需花费数百万美元去运行新的测试。

归根结底，MESSIER 是一个追求清晰度的工具。它表明，通过观察智能体失败的微观细节，而非仅仅看最终得分，我们可以获得关于 AI 实际能力的更真实画像。它并不是说 AI 已经解决了所有问题，但它确实暗示我们目前的衡量标准可能过于粗糙。通过标准化这些结果，作者希望停止在重复测试上的资金浪费，并帮助研究人员准确了解哪些工作 AI 已经准备好了，而哪些工作仍需要人类的参与。现在，这些数据已向所有人开放，将一堆混乱的数字变成了一张清晰的 AI 版图。

技术摘要：MESSIER —— 用于跨基准测试智能体评估的高分辨率语料库

问题陈述

当前，在交互式环境中对 AI 智能体（Agent）的评估受到碎片化的阻碍。现有的工作呈现出以下特征：

异构性（Heterogeneity）： 基准测试在领域定义、智能体架构（Scaffolds）、环境、动作空间和成功条件方面存在显著差异。
不可比性（Incomparability）： 最终得分通常将复杂的、多步骤的行为压缩为单一数字，从而掩盖了成功或失败的具体性质。例如，数学检查中的“通过”与企业级工作流中多验证器机制下的“通过”在本质上是完全不同的。
数据稀缺与成本高昂： 高质量的逐任务结果数据往往难以获取，或者需要高昂的重新运行成本（大规模扫描估计约为 40,000 美元）来生成可比的数据集。
聚合伪影（Aggregation Artifacts）： 标准的聚合规则（例如“全通过”要求）可能会掩盖部分进展，导致误导性的能力排名，并隐藏准则层面结果的分布情况。

现有的元集合（Meta-collections）要么侧重于狭窄的智能体场景（如工具使用），要么侧重于静态非智能体基准测试，或者缺乏进行细粒度分析所需的数据规模和粒度。

方法论

作者引入了 MESSIER，这是一个旨在将异构智能体评估数据统一到标准化模式下的统一语料库。

数据构建

MESSIER 整合了 957,253 次试验结果，涵盖：

30 个基准测试： 包括已发布的公开版本（如 SWE-bench、LiveCodeBench、BFCL）以及六个针对代表性不足的专业领域（法律、临床、科学等）的新基准测试。
714 个智能体： 不同的模型-架构组合。
11,891 个任务： 单个问题实例。
74,205 个验证器（Verifiers）： 用于对试验进行评分的具体检查项。

该语料库整合了来自三个主要来源的数据：

公开发布版本： 摄取现有发布版本（METR、BRIDGE、Agent Psychometrics、General AgentBench）的逐任务结果以及作者发布的制品（Hugging Face 数据集、GitHub 仓库）。
新评估： 作者通过 OpenHands 架构在 Harbor 框架下，为六个基准测试（HarveyAI-Lab、MedAgentBench、DABStep、QCircuitBench、ScienceAgentBench、ReplicationBench）贡献了统一的五智能体运行实验数据。
协调流水线（Reconciliation Pipeline）： 一个用于标准化数据的四阶段过程：
- 标准化（Standardization）： 将记录转化为统一的数据模型，其中每个环境包含任务，每个任务包含类型化验证器（脚本、精确匹配、LLM 评判、人工验证）以及定义的聚合规则。
- 归一化（Normalization）： 将模型标识符、架构和发布日期映射到标准化的类别中（遵循 Epoch ECI 惯例）。
- 验证（Verification）： 运行确定性测试以确保标识符卫生、日期有效性和去重，随后进行人工抽检。
- 分类（Classification）： 使用 LLM 集成对任务进行 SOC（职业）和 NAICS（行业）代码分配。

分析框架

论文将智能体定义为（模型，架构）对，将任务定义为（指令，初始状态）对。它明确模拟了协调问题：即不同的聚合规则（例如，全通过 vs. 阈值 vs. 软评分）如何将多个验证器结果 ( $v_1, \dots, v_N$ ) 映射到单个任务得分 ( $S$ )。MESSIER 保留了原始验证器结果 $\{v_i(\tau)\}$ 而不仅仅是聚合后的得分 $S$ ，从而实现了反事实分析。

核心贡献

统一语料库： 一个基础性的、可复用的基础设施，包含跨 30 个基准测试和 714 个智能体的宏观与微观尺度性能视图。
反事实重评分能力： 通过保留验证器层级的记录，该语料库允许研究人员在不同的规则下（例如，从“全通过”改为“多数通过”）重新聚合得分，以观察聚合选择如何改变测量的能力和智能体排名。
开放数据能力指数： 从无需开展新评估活动的开放数据中推导出能力量表，且该量表与已建立的排名（Epoch ECI）保持一致。
细粒度分类法： 包含 SOC/NAICS 分类以及动作空间/环境状态定义，支持按职业、行业和任务类型进行切片分析。

结果与分析

1. 不一致的前沿进展

对前沿进展（2024–2026）的分析揭示了不同基准测试组之间不对称的改进：

函数调用（Function Calling）： 趋于饱和，前沿得分达到 0.97。
编程（Programming）： 进步最快，从低基线上升至 0.82（净增长为 +0.64）。
企业工作流（Enterprise Workflows）： 仍是最具挑战性的领域，前沿得分为 0.57，表明多步骤专业工作流对智能体而言仍然困难。
研究/推理与 GUI： 处于中间水平（分别为 0.68 和 0.71）。

2. 聚合规则的影响

在具有单项准则结果的基准测试（HarveyAI-Lab、 $\tau^2$ -bench、TheAgentCompany）上进行的反事实重评分表明，聚合规则会显著扭曲测量的能力：

信息丢失： 严格的“全通过”评分可能会报告接近零的成功率（例如，在 HarveyAI-Lab 上为 0.2%），即使智能体平均满足了很大比例的准则。
排名不稳定性： 改变聚合规则会改变智能体排名。“全通过”评分与“软评分”（平均通过比例）之间的 Spearman 相关系数从 $\rho=0.667$ 到 $\rho=0.981$ 不等，这表明比较性结论对聚合选择非常敏感。

3. 能力量表对齐

通过对 MESSIER 数据使用 1PL 项目反应理论（IRT）模型，作者推导出的智能体能力估计值 ( $\theta$ ) 与 Epoch 的评估能力指数（ECI）强相关：

通用能力： Spearman $\rho = 0.81$ 。
编程： Spearman $\rho = 0.77$ 。
数学： Spearman $\rho = 0.84$ 。
这表明，无需开展新的、高成本的评估活动，即可从现有的开放数据中得出高质量的能力排序。

4. 任务难度预测

论文测试了利用元数据（任务指令、环境描述、动作空间）预测任务难度 ( $\beta$ ) 的可行性。

包含完整上下文（任务 + 环境 + 动作 + 标准答案）的元数据，相比仅有原始指令文本，在预测难度方面取得了虽小但一致的提升。
基准测试身份解释了原始难度方差的很大一部分，但任务描述对于基准测试内部的相对难度也包含信号。

意义与主张

本文声称 MESSIER 为智能体评估领域提供了基础性基础设施。其重要性在于：

减少冗余： 通过标准化和共享评估数据，旨在减少进行高成本、重复性智能体评估运行的需求。
实现细粒度分析： 它将关注点从聚合得分转向准则层级结果的分布，从而允许研究评估失败、验证器设计以及聚合伪影。
支持审计： 开放且可检查的语料库特性支持对智能体行为的审计，以及对奖励黑客（reward hacking）或沙盒行为（sandbagging）等问题的检测。
民主化访问： 通过提供大规模、预计算的数据集，它降低了缺乏资金从头开始运行大规模智能体评估活动的科研人员的准入门槛。

作者保持了审慎的态度，承认该语料库反映了当前的现状（西方、英语、技术领域），并且依赖于上游基准测试的有效性，而这些基准测试仍是一个需要社区持续努力来验证的过程。