🔬 materials science

The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean

本文识别了 LLM 智能体基准测试中存在的“双重测量混淆”问题，即固定的脚手架和有缺陷的评分器掩盖了模型的真实能力，并提出了一种包含审计与修复协议的测量理论框架，旨在将执行控制权转移给模型、实现基准真相评分，并报告超越平均值的可靠性指标。

原作者： Yonghong Zhang, Shadi Motaali, Vu Phong Dinh, Avin Piroutiniya, Jorge E. López de Vergara, Luis de Pedro, Ricardo Correia, Isabel M. Parra, Yong Xie

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yonghong Zhang, Shadi Motaali, Vu Phong Dinh, Avin Piroutiniya, Jorge E. López de Vergara, Luis de Pedro, Ricardo Correia, Isabel M. Parra, Yong Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，研究人员依赖于被称为“基准测试”（benchmarks）的标准测试来衡量大型语言模型的表现。这些模型被设计为能够作为智能体（agents）运行，具备使用数字工具解决复杂问题的能力，从分析数据到预订航班。为了确定哪种模型最优秀，科学家们通过这些测试运行模型并比较得分。其背后的基本假设是：更高的分数意味着更聪明、更强大的机器。然而，这种信心建立在一个脆弱的前提之上：即测试本身是在衡量机器的智能，而不是测试的设计巧妙程度或运行该测试的软件。如果测试存在缺陷，排名就会产生误导，可能引导开发者和企业走向错误的工具。

一组研究人员发现了一个关于目前这些智能体基准测试构建方式的特定隐藏缺陷，他们称之为“双重测量混淆”（double measurement confound）。他们发现，在许多流行的测试中，运行实验的软件承担了几乎所有的繁重工作，而人工智能仅仅是在填补空白。此外，用于评分的系统通常只检查答案在表面上看起来是否正确，而不是验证答案是否真实。当这两个问题同时发生时，它们创造了一种完美的性能幻象，使得即使是一个没有任何智能的简单计算机脚本，也能获得与最先进的人工智能同样高的分数。

为了揭露这一点，研究人员专注于一个旨在测试模型处理混乱、现实世界数据能力的基准测试，具体涉及包含错误、重复项和缺失页面的贸易统计数据。在这一测试的标准版本中，围绕模型的软件包装器（software wrapper）会自动处理每一个困难的决策。如果数据源连接失败，软件会自动重试连接；如果数据中存在重复项，软件会自动将其删除；如果数据分布在许多页面中，软件会自动抓取所有页面。人工智能仅被要求决定要查找哪些特定数据以及何时停止。由于软件承担了所有关键工作，结果无论使用哪种模型都是完全相同的。在一个引人注目的案例中，两个世界上最强大的模型，连同使用没有任何人工智能的简单基于规则的脚本，都获得了几乎相同的完美分数。这项测试测量的不是模型，而是运行它们的软件。

问题的第二部分在于结果是如何评分的。这些测试中的标准评分系统观察的是提交内容的格式。它检查模型是否提供了操作日志，以及数据结构是否整洁。它并不将提交的数据与实际正确答案进行对比。研究人员证明，只要文件看起来组织有序且日志书写正确，一个模型就可以提交一套完全虚构的假记录，并获得与提交了完美、正确数据的模型同样高的分数。这意味着测试奖励的是工作的“外观”，而非工作本身。

研究人员意识到，仅仅修复其中一个问题是不够的。如果他们只改变评分系统以检查真实性，由于软件仍在承担所有工作，模型之间仍然会持平。如果他们只移除软件的帮助，有缺陷的评分系统仍会掩盖模型的失败。他们必须同时移除这两个问题。他们剥离了辅助软件，迫使人工智能对重试连接、删除重复项和抓取页面等每一项决策都做出判断。然后，他们用一个直接将模型输出与已知正确答案进行对比的系统，取代了原有的格式检查评分器。

当他们应用这种“双重修复”后，原本平淡、缺乏信息量的排行榜转化为了清晰的能力光谱。突然之间，模型之间可以被区分开来了。最强大的模型保持了高分，证明了在不受限制的情况下它们能够处理困难任务。然而，其他此前得分很高的模型得分降至零，揭示了它们完全依赖于辅助软件才能运行。一些看起来平均表现强劲的模型被发现极其不可靠，在特定情况下会完全失效；而一些规模较小、知名度较低的模型则被证明具有惊人的连贯性和稳健性。

这项研究还显示，这些模型的可靠性取决于测试的具体条件，且差异巨大。一个模型可能在平均水平上表现出色，但在最坏的情况下会彻底失败，而标准的测试往往会掩盖这一细节。通过观察这些最坏情况下的结果，研究人员发现模型的排名发生了彻底变化。一个基于平均分看起来是顶尖表现的模型，实际上是最脆弱的；而一个此前被忽视的小型模型，被证明是最可靠的。

这项工作的影响不仅限于单一测试。研究人员将他们的新审计方法应用于其他现有的基准测试，并发现了同样的问题。在某些情况下，评分系统针对特定测试是正确的，但运行测试的软件仍然承担了过多的工作，使得排名取决于所使用的软件版本。在其他情况下，评分系统本身存在缺陷，奖励了错误的东西。研究人员得出结论：要真正理解一个人工智能智能体，我们必须确切知道有多少工作是由智能体完成的，又有多少是由测试为其完成的，并且我们必须根据智能体回答的真实性而非仅仅是其呈现的整洁度来进行评分。如果没有这些改变，我们今天看到的得分可能是在衡量测试本身，而非它声称评估的智能。

技术摘要：智能体基准测试中的双重测量混淆

1. 问题陈述

本文指出当前大语言模型（LLM）智能体基准测试存在一个根本性缺陷：基准测试得分往往衡量的是评估流水线本身，而非模型的实际能力。 作者认为，报告的得分受到两个特定人工制品的混淆并相互掩盖，导致许多排行榜无法区分能力迥异的模型。

这种“双重测量混淆”由以下两部分组成：

脚手架所有权 (Artifact 1)： 执行关键决策（例如：失败重试、分页处理、去重、过滤汇总行以及最终提交）被硬编码在评估框架（即“脚手架”）中，而非由模型做出。因此，模型仅仅是在填充模板槽位，而脚手架才是在执行实际工作。
评分器有效性 (Artifact 2)： 评估者（评判员）通常仅根据输出的“形状”（格式、元数据一致性、自我报告的日志）进行评分，而不是将提交的数值与**地面真值（Ground Truth）**进行对比。这使得伪造或空的提交只要格式正确，就能获得高分，而正确的提交若存在微小的格式问题反而会被惩罚。

论文证明，在这些条件下，一个没有任何 LLM 的基于规则的脚本可以获得与前沿模型几乎相同的得分（例如 96.8 对比 97.5），且互不相关的开源模型也会产生字节完全一致的输出，从而使基准测试失去了区分模型能力的能力。

2. 方法论

作者提出了一个测量理论框架和一个名为 BenchAudit 的可执行审计与修复协议。

理论框架

论文将基准测试得分 $S(m, c, j)$ 公式化为模型 $m$ 、脚手架 $c$ （框架）和评分器 $j$ 的函数。

不可识别性 (Non-Identifiability)： 如果脚手架拥有所有执行关键决策，且评分器仅评估形状，那么当模型对模板填充效果等效时，得分对于模型选择是恒定的（即 $S(m_1) = S(m_2)$ ）。
识别 (Identification)： 为了恢复对模型能力的有效度量，必须同时满足两个条件：
1. 去脚手架化 (De-Scaffolding)： 将执行关键决策从框架转移到模型手中。
2. 地面真值评分 (Ground-Truth Scoring)： 评分器必须根据提交的工作产出与确定性的、基于种子的地面真值进行对比，而非仅仅评估其形状。

协议：BenchAudit

作者引入了 BenchAudit 协议，该协议：

转移控制权： 将决策（重试、去重、提交）从脚手架转移到模型，创建一个“去脚手架化”的智能体（L2 级）。
替换评分机制： 将基于形状的评判员替换为基于种子地面真值的 F1 评分。地面真值是可从种子中重新生成的，确保了评估的确定性。
报告可靠性： 超越平均分，报告最差情况性能、条件风险价值 (CV $\text{VaR}$ ) 以及跨多个种子的 可靠性@ $\tau$ (Reliability@ $\tau$ )。这捕捉了智能体的尾部风险和鲁棒性。
生成有效性卡片 (Validity Cards)： 生成每项基准测试的“有效性卡片”，用于分类该基准测试衡量的是模型能力、系统性能，还是仅仅是自我报告的合规性。

实验设置：ComtradeBench

作者在 ComtradeBench 上实例化了这一协议，这是一个针对对抗性、贸易数据形态工具使用的种子基准测试。

任务： 智能体必须从模拟 API 获取分页数据，处理故障（429/500 错误、重复数据、漂移）、去重记录并提交清洗后的数据集。
对抗性： 故障由环境注入而非提示词注入，使得这些故障无法通过“推理”来消除。
干预： 通过一个 $2 \times 2$ 实验，将原始生产设置（L0 脚手架 + 形状评分器）与修复后的设置（L2 脚手架 + 地面真值评分器）进行对比。

3. 关键结果

平坦的排行榜 vs. 可靠性光谱

原始配置 (L0 + 形状评分器)： 排行榜几乎是平坦的。前沿模型（Kimi, Claude）与基于规则的脚本之间的得分差距在 0.7 分以内。互不相关的开源模型（Qwen2.5-7B, Llama-3.3-70B）会产生字节完全一致的单种子奖励向量。
修复配置 (L2 + 地面真值)： “平坦”的排行榜转化为分级的可靠性光谱。
- 顶尖表现者： Claude-Fable-5 以 0.974 的平均 F1 和 0.824 的最差情况领先。
- 中层差异： GPT-5 和 GPT-4o 显示出高平均分（0.930, 0.805），但在最差情况下会崩塌至 0.00（呈现双峰失效特征）。
- 底层： Llama-3.3-70B 和 Qwen2.5-7B 在所有种子下的得分均为 0.000，原因是“编组失败”（尽管获取了数据，但提交了空负载）。

联合干预的必要性

一个 $2 \times 2$ 的干预实验证明，仅修复其中一个人工制品是不够的：

仅修复评分器 (L0 + 地面真值)： 脚手架仍执行所有工作；模型依然持平。
仅修复脚手架 (L2 + 形状评分器)： 基于形状的评判员压缩了差异，掩盖了真实的失败，并将空提交强制设为底值。
联合修复 (L2 + 地面真值)： 只有这种组合才能恢复完整的模型能力谱系。

外部有效性审计

$\tau$ -bench： 其官方评分器是基于结果的（有效的），但脚手架是一个不受控的轴。改变脚手架（例如，从 tool-calling 变为 ReAct）会使同一模型的奖励变化高达 0.267 并改变排名。
BFCL (Berkeley Function-Calling Leaderboard)： 使用基于规范的评分器（AST 匹配），这验证了规范合规性，但并未验证执行成功。其脚手架所有权未被探测。
自我审计： 作者自身预注册的压力测试（声明 B）显示，在原始基于形状的评分器下存在显著效应，但当使用地面真值进行评估时，该效应消失了，证实了结果对评分器的依赖性。

4. 核心贡献

识别双重混淆： 论文正式识别并证明了脚手架所有权和评分器有效性是一个联合识别问题。它证明了这些人工制品是如何相互掩盖的，使得单侧修复无效。
BenchAudit 协议： 引入了一个可执行的审计流水线，将执行决策转移给模型，针对地面真值进行评分，并报告尾部风险指标（CVaR, 最差情况）。
ComtradeBench 与有效性卡片： 发布了一个基于生成器的种子基准测试和“有效性卡片”框架，用于对基准测试进行分类（例如：模型能力 vs. 系统性能 vs. 自我报告合规性）。
经验证据： 通过实验证明，移除混淆后会重新排序模型排名，揭示了“高均值”模型可能存在灾难性的最差情况可靠性，而较小的模型可能更具鲁棒性。

5. 意义与主张

论文声称，除非基准测试通过了特定的有效性检查，否则不应将基准测试得分解释为模型能力的证据。

重构评估： 作者认为，当前的排行榜往往衡量的是脚手架的鲁棒性而非模型的。只有当模型拥有执行关键决策且评分器是准则有效的（基于地面真值）时，得分才能被解释为模型的属性。
可靠性高于平均值： 论文断言，最差情况可靠性是一个关键指标，它可以重塑前沿梯队。一个具有高平均值但在最差情况下为 0.00 的模型，其可靠性低于一个平均值略低但具有较高最差情况底线的模型。
实用框架： 所提出的协议旨在应用于现有基准测试之上，以诊断其有效性，而非完全取代它们。它为“去脚手架化”和修复现有评估提供了一条切实路径。
谦逊态度： 作者承认了局限性，指出 ComtradeBench 是一个程式化的领域（贸易数据提取），且“去脚手架化”干预对于所有基准测试类型（例如需要复杂环境交互的任务）来说可能并不容易实现。他们还指出，如果不存在地面真值，某些基准测试（如 BFCL）可能不适用于地面真值评分，这限制了“模型能力”这一主张的适用范围。

总之，本文提供了一个严密的测量理论论证，即如果不控制脚手架所有权和评分器有效性，智能体基准测试衡量的就是错误的对象，并提供了一个用于修复该问题的具体且可复现的协议。