🤖 machine learning

Benchmarked Yet Not Measured -- Generative AI Should be Evaluated Against Real-World Utility

本文认为，生成式人工智能在基准测试中表现强劲与其在现实世界中的效用有限之间的脱节源于有缺陷的评估实践，并提出 SCU-GenEval 框架，将评估重心转向衡量在特定部署情境下人类成果所取得的持续改进。

原作者： Ishani Mondal, Shweta Bhardwaj

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ishani Mondal, Shweta Bhardwaj

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《已基准测试但未被测量》的解释。

核心问题：“电子游戏分数”与现实生活

想象你在训练一个机器人开车。你在一个完美、空旷的电子游戏模拟环境中测试它，那里天气永远晴朗，道路笔直，没有其他车辆。机器人获得了 100/100 的完美分数。

你欣喜若狂！你买下了机器人，把它放到真实的高速公路上。撞车了。

这篇论文认为，生成式人工智能（就像我们今天使用的聊天机器人和代码编写器）恰恰就像那个机器人。它在标准测试（基准测试）中获得了完美分数，但当我们将其实际应用于现实生活（学校、医院、律师事务所）时，它往往无法帮助人们，甚至造成伤害。

作者审视了28 个真实世界的案例，在这些案例中，人工智能在纸面上表现优异，但在实践中却失败了。他们发现了导致这种情况发生的三个主要原因：

1. “虚假代理”问题（代理置换）

类比： 想象一位餐厅评委，只根据厨师上菜时鼓掌的响度来给食物打分。厨师学会了大声鼓掌，获得了 10/10 的评分。但食物其实已经烧焦了。
现实： 人工智能的评分往往基于易于测量的指标，如“流畅度”（句子听起来是否通顺）或“通过率”（代码是否能运行？）。但在现实世界中，我们关心的是难以测量的事情，如“这条医疗建议实际上安全吗？”或“学生是否真正掌握了概念？”

示例： 一个编程人工智能可能会写出通过所有测试（高分）的代码，但其中包含一个安全漏洞，让黑客得以入侵。测试并没有衡量安全性；它只衡量了代码是否能运行。

2. “快照”问题（时间坍缩）

类比： 想象一个学生使用计算器瞬间解决了一道数学题。他们在考试中得了 A。但如果你一个月后拿走计算器，他们连基本的数学都做不出来了。计算器在当下帮了他们的忙，但并没有帮助他们学习。
现实： 当前的人工智能测试是“快照”。它们问的是：“人工智能现在能完成这项任务吗？”它们不问：“使用这个人工智能是否有助于人类随时间变得更好，还是会让其变得懒惰和健忘？”

示例： 在教育领域，人工智能可能帮助学生快速完成作业，但学生后来可能会忘记如何自己写作或进行批判性思考。

3. “平均”问题（分布掩盖）

类比： 想象一位医生说：“这种新药效果很好！平均患者感觉好转了。”但他们没有告诉你，它对男性效果完美，却会让女性生病。“平均”掩盖了一半人受到伤害的事实。
现实： 当你查看“平均”分数时，人工智能系统往往看起来不错。但这个平均值掩盖了这样一个事实：人工智能在特定人群（如少数族裔、初学者或农村地区的人）中表现极差。

示例： 医疗人工智能可能对白人患者表现良好，但无法检测出黑人患者的疾病；或者法律人工智能对大型律师事务所很出色，但对普通人却给出糟糕的建议。

解决方案：衡量成功的新方式

作者表示，我们需要停止询问“人工智能的输出有多好？”，转而开始询问"人工智能在多大程度上改变了人类实现其目标的能力？"

他们称之为"效用"。这关乎人工智能的分数；而是关乎人类的进步。

为了衡量这一点，他们提出了一个名为SCU-GenEval的新框架。你可以将其视为在将人工智能释放到世界之前测试它的四步食谱：

谁和什么？（利益相关者 - 目标映射）
- 不要只说“开发者”。 要说“初级开发者”、“安全专家”和“最终用户”。对每个人来说，成功是什么样子的？
什么重要？（构念 - 指标规范）
- 不要只测量“速度”。 要测量“他们学会了吗？”、“代码安全吗？”、“病人好转了吗？”
它是如何变化的？（机制建模）
- 预测未来。 使用这个人工智能会让初级开发者变得懒惰吗？会让医生过度信任机器吗？
随时间衡量（纵向效用）
- 不要只测试一次。 今天测试，下周测试，下个月再测试。人类是变得更好了，还是变得更糟了？

实现这一目标的工具

作者知道这听起来既昂贵又难以做到。因此，他们建议了三种工具使其具有可操作性：

“飞行前检查表”（结构化协议）： 在推出人工智能之前，你必须确切地写下你在测试什么、你在谁身上测试它，以及你期望发生什么。这可以防止你在看到结果后更改规则。
“数字孪生”（用户模拟器）： 与其等待数月观察真实人类的反应，不如使用特定类型人群（例如“疲惫的初级程序员”）的计算机模拟来预测他们随时间的表现。
“专用尺子”（基于人设的指标）： 不要对所有人使用同一把尺子，而是对不同群体使用不同的尺子。将“初级开发者”与“资深专家”分开衡量。

核心结论

该论文的结论是，高基准测试分数是不够的。 仅仅因为人工智能在电子游戏中获胜，并不意味着它已准备好进入现实世界。

我们需要将重点从“机器有多聪明？”转移到“机器在多大程度上帮助人类变得更有能力？”如果我们不做出这种转变，我们可能会部署那些在纸面上看起来令人印象深刻，但无法提供帮助，甚至伤害最需要它们的人的人工智能系统。

技术摘要：已基准测试但未测量——生成式人工智能应基于现实世界效用进行评估

1. 问题陈述

本文指出了生成式人工智能（GenAI）系统在标准基准测试中表现优异与其在现实世界部署中无法提供可靠效用之间的关键脱节。尽管 ImageNet、GLUE、HumanEval 和 VBench 等基准测试推动了模型比较与进步，但它们日益无法预测教育、医疗、软件工程和法律等高利害领域的成功。

作者分析了 28 个已记录的部署案例，证明那些在基准测试中取得高分的系统往往无法随时间推移提升人类能力、决策质量或学习效果。相反，它们经常引入安全漏洞、遗漏关键临床病例，或削弱长期技能。本文认为，当前的评估流程存在根本性的构念效度缺失：它们测量的是可处理的代理指标（例如 BLEU、pass@k、流畅度），而这些指标并非其所假设代表的复杂现实世界构念的有效度量。

这种“基准测试—效用差距”由三个反复出现的结构性缺陷驱动：

代理置换：将可处理的指标视为复杂构念的有效度量，却缺乏构念效度的证据（例如，将流畅度等同于正确性，或将成本降低等同于患者需求）。
时间坍缩：将短期的、AI 辅助的性能误认为是持久的能力，忽视了技能衰退、过度依赖和知识转移缺失等长期影响。
分布性掩盖：允许总体得分掩盖特定人群、代表性不足群体或未见部署场景中的系统性失败。

这些缺陷因基准测试饱和、数据污染以及古德哈特定律式的优化而得到强化，即系统优化的是代理指标而非底层目标。

2. 方法论与框架：SCU-GenEval

为弥补这些差距，作者提出从静态的、以工件为中心的评估向**以利益相关者为中心的效用评估（SCU-GenEval）**的范式转变。该框架将效用定义为利益相关者在与 AI 系统交互后，随时间推移实现其目标的能力变化，而非输出工件的质量。

2.1 效用的形式化

效用（ $U$ ）被量化为特定部署情境（ $D$ ）和时间范围（ $t$ ）内，利益相关者在交互前状态与交互后状态之间能力向量（ $C$ ）的反事实变化：
$U(u, G, y, D, t) = C_{after}(u, G, y, D, t) - C_{before}(u, G, D, t)$
其中：

$u$ 是利益相关者。
$G$ 是目标。
$y$ 是 AI 系统。
$C$ 是可测量指标的向量（例如决策质量、留存率、安全性、协作能力）。

该公式化确保评估是以用户结果为中心（R1）、具有时间维度（R2）且可细分（R3）的，直接针对上述三个结构性缺陷。

2.2 四阶段评估流程

SCU-GenEval 通过四个顺序相连的阶段将效用具体化：

利益相关者—目标映射：明确识别受影响的用户（ $u$ ）及其目标（ $G$ ），以防止分布性掩盖，并确保评估针对正确的人类结果。
构念—指标规范：定义现实世界的能力构念，并选择有效的指标（ $I_k$ ）进行测量，以此作为抵御代理置换的防线。
机制建模：识别 AI 交互随时间改变能力的因果机制（例如技能衰退、自动化偏见、专家逆转），以解决时间坍缩问题。
纵向效用测量：使用特定协议估算 $U$ $U$ ：
- 条件比较：比较纯人类、纯 AI 以及人类+AI 的性能。
- 纵向追踪：测量跨时间范围的持久性。
- 子组细分：按 $(u, G, D)$ 元组报告结果。
- 机制验证：测试预测的机制是否在交互痕迹中显现。
- 可审计性：记录数据以供独立重放。

2.3 支持工具

为使该框架在大规模应用中具有可行性，作者提出了三种工具：

结构化部署数据收集协议（SDDCP）：一种预先注册的、机器可读的契约（类似于 CONSORT-AI），在部署前指定设置、构念、机制和细分密钥。
情境条件用户模拟器：基于特定人物画像和目标实例化的模拟器，根据 SDDCP 真实数据进行校准，用于估算长期效用影响（例如技能衰退），而无需数月的实地工作。
人物画像—目标条件代理指标（PGCPMs）：快速、低成本的指标，通过将评估集过滤以匹配特定的利益相关者人物画像和已验证构念来近似效用，并根据 SDDCP 数据进行校准。

3. 主要贡献

本文做出了四项主要贡献：

系统分析：对教育、医疗、软件工程和法律领域的 28 个部署案例进行分析，证明基准测试—效用差距是系统性、跨领域且反复出现的，而非偶发事件。
结构性诊断：识别了造成该差距的三个结构性原因：代理置换、时间坍缩和分布性掩盖。
SCU-GenEval 框架：一种衡量随时间推移的人类能力变化的新颖框架，将评估单位从工件质量转变为人類结果轨迹。
领域特定行动呼吁：为研究人员、行业和政策制定者提出了采用效用测量的具体建议，包括呼吁进行细分报告、纵向研究以及预先注册的部署协议。

4. 结果与证据

本文并未展示来自单一模型的新实验结果，而是综合了 28 个现有案例（详见表 1）的证据以验证其主张：

软件工程：具有高 pass@k 分数的代码生成系统在约 40% 的解决方案中引入了安全漏洞；AI 辅助编程工具与初级开发人员的元认知损害和技能衰退有关。
医疗：Epic 脓毒症模型尽管内部验证强劲，但在外部验证中漏掉了 67% 的脓毒症病例，并错误地警报了 18% 的患者。其他模型显示出针对特定种族群体的偏见，或未能跨医院站点泛化。
教育：提高短期任务完成率的系统往往无法改善长期留存或迁移，且 AI 摘要被证明可能会削弱学习所必需的“费力提取”。
法律：法律 AI 工具生成了流畅但伪造的引文和幻觉案例法，导致制裁，而风险评估工具（如 COMPAS）提供了无法质疑的不透明分数。

将 SCU-GenEval 框架应用于假设的"DevAssist"场景（图 2）说明了该框架如何揭示初级工程师和安全审查员面临的负面效用，而这些是标准基准测试所掩盖的。

5. 意义与主张

本文认为，对于具有重大人类后果的系统，基准测试性能是效用的必要但非充分证据。该工作的意义在于呼吁建立一种以利益相关者条件的效用透明度为中心的测量科学，而非仅关注基准测试性能。

作者将 SCU-GenEval 定位为基准测试的必要补充而非替代品，适用于高利害部署。他们强调：

构念效度是当前评估中缺失的锚点；指标必须针对其所声称代表的部署结果进行验证。
效用具有时间性和可细分性：评估必须追踪能力如何随时间变化以及在特定用户子组中变化，而不是依赖静态的总体得分。
可行性是可以实现的：通过所提出的工具（SDDCP、模拟器、PGCPMs），严格的效用评估可以变得可处理且可扩展，防止部署危害（例如患者受伤、安全漏洞）的“成本”超过部署前评估的成本。

本文结论指出，生成式人工智能的进步必须通过人类结果的可衡量改善来评估，并呼吁社区采用类似于 CONSORT 和 TRIPOD 的社会技术 AI 部署报告标准。