Agents Can Build Benchmarks. Approvals Missed What Probing Found: 22 Cases
本文报告称，尽管通过率极高且测试失败率为零，但对 22 个 AI 生成智能体基准测试进行的系统性重新审查显示，其中存在普遍缺陷——包括忽略任务、分数记忆和发布泄露——而这些缺陷均未被自动化测试和人工审查所发现，凸显了当前智能体基准测试与评估协议中的关键缺陷。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，研究人员依赖被称为“基准测试”（benchmarks）的测试来衡量计算机程序的思考能力。这些测试就像是机器的标准考试，通过向它们展示谜题、逻辑问题或创意任务，来观察它们的表现。多年来，人们一直假设是由人类设计这些考试，精心构思问题和评分规则，以确保它们确实测量了声称要测量的目标。但随着用于构建这些测试的技术不断进步，一个新问题出现了：如果这些测试本身是由它们所要评估的机器编写的，会发生什么？这种转变引发了一个关于我们所看到的评分可靠性的关键担忧。如果人工智能设计了一项测试，它可能会在无意中创造出一个它能轻易解决、却并不代表真正聪明的谜题；或者它可能会忽略一个允许机器利用系统的漏洞。了解这些自我生成的测试是否值得信赖，对于任何试图衡量现代计算机系统真实能力的人来说都至关重要。
独立研究员普里亚·阿拉布（Pooria Arab）最近的一项研究探讨了正是这样的场景。该研究人员设置了一个实验，要求人工智能编码代理负责构建一套包含二十二个不同基准测试的套件。这些代理编写了代码、设计了任务，并为从绘画到解决复杂逻辑谜题的所有内容创建了评分系统。为了确保过程严谨，由另一组人工智能评审员组成的“委员会”对这些工作进行了审查。他们阅读了代码变更，并批准了合并到最终集合中的 94 项更新（共 123 项）。从纸面上看，这个过程似乎很成功：测试被构建出来，经过了评审并获得了批准。然而，更深入的调查揭示了一个惊人的现实。当研究人员针对这些完成的测试运行一种特殊的探测程序时——本质上是用旨在寻找漏洞的简单、通用策略来攻击它们——探测性审查发现，这 22 个软件包中每一个都存在缺陷。
调查发现，最初的批准虽然在阅读代码方面是真实且彻底的，但未能捕捉到重大缺陷，因为它们没有针对实际攻击运行测试。探测性审查发现，每个软件包都至少需要一轮修复，有些甚至需要多达九轮修正。记录指出，虽然这些修复解决了已记录的问题，但并未显示不再存在缺陷。在许多情况下，这些测试存在如此严重的缺陷，以至于一个计算机程序只需几乎不做任何事就能获得高分。例如，在 13 个软件包中，一种完全忽略任务、仅提供固定通用答案的策略竟然也能获得学分。在一个涉及绘画测试的具体案例中，计算机可以通过提交一张单一的、记忆中的图像来在所有问题上获得完美分数，尽管该测试本应评估其绘制特定场景的能力。在另一个例子中，一个旨在检查计算机能否处理购物车功能的测试，未能惩罚一个从未实际支付物品的程序。
该研究强调了目前验证这些测试时存在的一个特定差距。评审委员会完成了他们的工作，即阅读代码并标记明显的错误，例如代码中意外留下的隐藏种子值，或文档中与实际程序不符的陈述。然而，这些评审忽略了那些只有在实际运行测试时才会出现的深层问题。研究人员发现，这些缺陷并非随机产生的；它们属于 13 个不同的类别，从无法解决的任务到接受伪造报告的评分系统不等。最常见的失败之一是测试允许“盲目策略”（blind strategies）成功。这意味着计算机可以通过猜测或重复模式来获胜，而不理解问题本身，仅仅是因为测试创建者没有预见到如此简单的手段。
为了测试简单的检查是否能捕捉到这些问题，研究人员使用八种通用的、平凡的策略进行了一项预设实验。这些是基本的规则，比如始终回答“是”或始终返回空答案，旨在观察它们是否能利用这些测试。结果令人沮棒。最好的平凡策略得分仅出现在 2 个软件包中，这一结果表明通用策略无法发现大多数已记录的缺陷。这表明，所发现的缺陷并非可以通过通用检查轻松发现的明显漏洞；相反，它们是微妙的问题，需要对特定任务有深刻理解才能发现。评审员错过这些问题并不意味着他们不称职；相反，这表明阅读代码与攻击一个运行中的系统是两回事。评审员看到了计划，而探测器看到了系统在受到冲击时表现出的现实情况。
研究结论认为，虽然人工智能可以成功构建复杂的测试框架，但目前的审批方法不足以保证其质量。研究人员发布了整个包含二十二个软件包的集合，包括运行它们的引擎以及记录每一次修复和发现缺陷的详细日志。这一发布作为一个透明的记录，展示了当机器为机器构建测试时会发生什么。它证明了即使有评审委员会和自动化检查流程，如果测试过程不包含主动的对抗性探测，重大的缺陷仍会溜掉。这项工作并不是声称人工智能无法构建好的测试，而是强烈暗示当前的审批流程缺少一个关键步骤。在测试被严格攻击并针对简单的利用策略进行验证之前，它们产生的评分可能并不能反映被测量系统的真实智能。研究人员强调，在本研究中并没有实际在这些测试上运行现实世界的计算机模型，因此结果是对这些测试设计本身的衡量，而非针对任何特定人工智能的能力。这些发现是一个警告：来自评审员的“绿灯”并不等同于来自严格攻击的“健康证明”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。