💻 computer science

Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation

本文对四个主要的工具调用基准测试进行了系统的有效性审计，揭示了显著的评估器与人类之间的失配以及影响当前排行榜得分的可复现性问题，并提出了一个统一的失败分类法，以及诸如 Tool-Veritas 和 Harness Lab 等新工具，以建立更严谨、可审计且符合人类标准的评估规范。

原作者： Vishvesh Bhat, Jay Vaghasiya, Muhammad Ahmed Mohsin, Asad Aali

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vishvesh Bhat, Jay Vaghasiya, Muhammad Ahmed Mohsin, Asad Aali

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位教练，正试图弄清楚你的哪位运动员最擅长玩一款复杂的视频游戏，这款游戏涉及解谜、物品管理以及与 NPC（非玩家角色）对话。为了决定胜负，你设置了一系列挑战，并使用一名计分员来评定他们的表现。

这篇论文本质上是对这些计分员本身进行的一场法证审计。作者们——来自 CoreThink AI 和斯坦福大学的研究人员——提出了一个简单但令人震惊的问题：“我们看到的得分究竟是在衡量运动员的技能，还是仅仅在衡量计分员有多糟糕？”

以下是他们发现的内容，通过日常类比进行了解释。

1. 问题所在：计分员很不靠谱

研究人员查看了目前用于对 AI 智能体进行排名（基准测试）的四个主要“计分系统”。他们提取了 496 个特定任务，让人类专家观察 AI 的游戏过程，然后将人类的判断与计算机计分员给出的成绩进行对比。

结果： 计分员有 18.5% 的时间是错误的。

假阴性（误判为失败）： AI 实际上解决了谜题，但计分员因为一个微小的、无关紧要的错误（比如漏掉了一个逗号或用了一种略微不同的表达方式）而给了它一个“不及格”。
假阳性（误判为成功）： AI 实际上失败了，但计分员却没有注意到失败，反而给了它一个“优秀”。

类比： 想象一名学生正确解决了数学题，但把最终答案写成了“42”而不是“42.”。老师（AI 智能体）知道数学是对的，但自动评分机（基准测试）却判定学生不及格，因为它要求精确的字符匹配。相反，一名学生可能答错了，但如果评分机由于混乱而产生误判，它可能会意外地给予满分。

2. 两种类型的故障计分员

研究发现，根据构建方式的不同，计分员会以两种截然不同的方式出错。

类型 A：“僵硬的机器人”（确定性基准测试）

这些系统就像一名严格的保安，只有当你的身份证件与照片完全一致（精确到像素）时才会让你进入。

缺陷： 它们非常“脆弱”。如果 AI 做对了事情，但顺序稍有不同，或者数据库以一种评分系统未曾预料到的方式更新了，机器人就会陷入恐慌并将其标记为失败。
论文中的现实案例： 一台 AI 正确取消了两笔航班预订，并计算了剩余航班的费用。然而，计分员预期的是一个特定的数字（$1,628），该数字包含了被取消的航班。因为 AI 给出了符合用户需求的正确答案，但给出了与计分员僵化脚本不符的数字，导致 AI 被判定为失败。

类型 B：“醉酒的法官”（LLM-Judge 基准测试）

这些系统使用另一个 AI 来为第一个 AI 打分。这就像是让一名学生来批改自己的作业，但这个批改者本身也是一名疲惫且不稳定、表现不一的学生。

缺陷： 它们具有“随机性”（stochastic）。如果你运行两次完全相同的测试，这个“醉酒的法官”可能会给出两个完全不同的分数。
论文中的现实案例： 研究人员将同一项基准测试运行了 23 次。分数在 57.9% 到 76.8% 之间剧烈波动。这高达 18.9 个百分点的差距！如果你在排行榜上运行这项测试，仅仅因为法官当天的“心情”不同，获胜者就可能发生变化，而不是因为 AI 变得更聪明了。

3. 后果：破碎的排行榜

由于计分员如此不可靠，目前的“排行榜”（列出最佳 AI 模型列表）具有误导性。

类比： 想象一场比赛，终点线每次在运动员跨越时都会随机移动。有时终点线向后退 10 米，有时向前移 10 米。如果你仅凭一次奔跑就向世界宣布谁赢了，你就是在撒谎。论文认为，目前的 AI 排名往往反映的是测试本身的缺陷，而非 AI 的技能。

4. 解决方案：一种新的评分方式

作者们不仅提出了批评，还开发了两种新工具来解决问题。

Tool-Veritas：“事实优先”的法官

这是一个旨在兼顾两者优点的新型评分系统。

运作方式： 首先，它使用一个僵硬、不可更改的机器人来检查事实。文件是否保存了？银行账户是否更新了？如果事实错误，测试即刻结束。
安全网： 只有在事实完美的情况下，它才会允许一个像人类一样的 AI 法官去观察答案的“风格”或“语气”。
结果： 这个新系统与人类专家的意见一致率达到了 95.5%，相比之下，旧系统的协议率仅为 69–90%，这是一个巨大的进步。

Harness Lab：“回放摄像机”

这是一套充当体育赛事重播系统的软件。

功能： 它记录了 AI 做的每一个动作、每一条错误信息以及计分员做出的每一个决策。
重要性： 如果一个分数看起来很奇怪，你可以按下“倒退”，观看 AI 或法官出错的确切时刻，并进行修正。它使评分过程变得透明且可审计，而不是一个只给你一个最终数字的“黑箱”。

总结

论文得出结论：我们不能信任目前的 AI 智能体“分数”，因为测试本身是破碎的。要了解一个 AI 是否真的在进步，我们需要具备以下特征的测试：

可重复性： 运行两次测试应该得到相同的结果。
可审计性： 我们需要能够看到为什么给出某个分数。
与人类对齐： 测试应当与人类专家认为的成功标准保持一致。

作者们发布了他们全新的“事实优先”测试和“回放摄像机”软件，以帮助整个社区建立更好的、更公平的基准测试。

技术摘要：基准测试的基准测试：工具调用评估的有效性审计

问题陈述

工具调用基准测试已成为衡量语言模型智能体进展的主要机制，然而其得分经常被视为“地面真值”（ground truth），而未对其评估器本身进行验证。本文认为，当前的基准测试得分往往反映的是评估器的属性，而非智能体的能力。作者识别了现有范式中的两种主要失效模式：

确定性基准测试（Deterministic Benchmarks）： 受困于脆弱的状态匹配、轨迹锁定、错误的地面真值标注、基于子字符串的通信失败以及奖励基准不一致。这些问题通常导致假阴性（将有效的任务标记为失败）或假阳性（将无效的任务标记为成功）。
LLM 评判基准测试（LLM-Judge Benchmarks）： 表现出准则漂移（rubric drift）、幻觉补全、仅针对答案评分以及显著的运行间方差。这些现象引入了评分的不稳定性，可能在没有任何模型变化的情况下改变排行榜的结论。

核心问题在于，现有的基准测试未能满足基本的有效性要求：正确区分执行成功与失败、忠实捕捉用户意图，并在重复评估下产生可复现的得分。

方法论

作者对四类主要的工具调用基准测试家族进行了系统的有效性和可复现性审计：BFCL v4、τ 2-Bench、LiveMCPBench 和 MCP-Atlas。

审计框架

审计包含一个三阶段程序：

复现（Reproduction）： 复现基准测试评估过程，以收集完整的执行轨迹、工具调用日志、评估器输出和环境状态。
人工裁定（Human Adjudication）： 三名独立的专家标注员审查了 496 次任务执行。他们检查了完整的交互轨迹、工具序列、状态转换和最终结果，以分配人类标签 ( $h_i \in \{PASS, FAIL\}$ )。
根因分析（Root-Cause Analysis）： 将官方基准测试标签 ( $y_i$ ) 与人类判断进行对比，以识别分歧 ( $\delta_i = 1[y_i \neq h_i]$ )。分歧被归类为假阴性和假阳性，并映射到一个统一的失效分类法中。

基础设施

作者开发了 Harness Lab，这是一个用于执行审计的开源系统。Harness Lab 保留了原始人工制品，提供轮次级诊断，支持失败案例的选择性重试，并支持通过重复运行对比来测量得分变异性。

提出的解决方案

为了解决识别出的局限性，本文引入了：

Tool-Veritas： 一个采用“确定性优先”协议的可配置基准测试。它利用确定性状态门（deterministic state gates）来验证事实性结果（例如，文件创建、数据库更新），并将 LLM 评判限制在仅针对定性标准的评估上（即在确定性门通过之后）。它还包含一个有界修复窗口（bounded repair window）以衡量智能体的恢复能力。
分解指标（Decomposed Metrics）： 一个将评估分解为三个独立组件的框架：工具调用正确性、任务完成正确性和结果验证。

关键结果

评估器与人类的不一致性

在 496 次专家审查的任务中，审计识别出 92 起评估器与人类的分歧，对应的总计 不一致率为 18.5%。

BFCL v4： 错误率为 20.0%（40 起分歧）。失效主要由 instance_state_mismatch（实例状态不匹配，占 80%）引起，即评估器惩罚了无关的状态差异或标点符号，而非任务本身的成功与否。
τ 2-Bench Retail： 错误率为 9.8%（11 起分歧）。错误包括由于脆弱的子字符串检查导致的假阴性（例如，因为缺少特定的数字字符串而拒绝正确的答案），以及由于未改变的数据库状态被错误地判定为成功的假阳性。
MCP-Atlas： 错误率为 13.5%（12 起分歧）。
LiveMCPBench： 错误率为 30.5%（29 起分歧），在受审基准测试中最高。

LLM 评判的可复现性

对 LiveMCPBench 的审计揭示了显著的不稳定性。在对同一 95 任务设置进行的 23 次重复评估中，得分范围在 57.9% 到 76.8% 之间，差距达 18.9 个百分点。这种方差足以改变排行榜排名，表明单次运行的得分不足以进行精细的模型比较。

Tool-Veritas 性能

在对六个模型的 70 个任务进行评估时，Tool-Veritas 与专家级轨迹判断达到了 95.5% 的总一致性。

所有 19 起分歧均为假阴性（即基准测试比人类专家更严格）。
零假阳性（基准测试从未通过被人类评审员拒绝的执行过程）。
这表明，将确定性验证与定性评判分离，可以显著减少不支持的通过情况，同时保持与人类意图的高度一致。

意义与主张

本文主张，工具使用智能体的进展需要其评估器本身是可复现、可审计且与人类对任务成功的判断相一致的基准测试。

有效性胜过规模： 作者认为，如果评估逻辑存在缺陷，那么增加任务规模或覆盖范围是不够的。目前的得分往往反映的是评估器的人造产物（例如，API 不稳定性、评判偏差、僵化的状态匹配），而非智能体的实际能力。
失效分类学： 本研究提供了一个统一的评估失效分类法，区分了确定性问题（脆弱匹配、标注错误）和随机性问题（准则漂移、评判方差）。
调试基础设施： 通过发布 Harness Lab 和修正后的评估组件，本文倡导转向透明、可检查的基准测试，其中原始人工制品和人类裁定是可保留且可访问的。
设计原则： 作者提出，未来的基准测试应采用“确定性优先”的方法，仅将 LLM 评判用于无法用状态谓词（state predicates）表示的标准，从而防止流畅但错误的回答获得分数。

研究结果表明，该领域必须从将基准测试得分视为绝对真理，转向建立一种能够显式解释并减轻评估器误差的评估模型。