✨ 要点🔬 技术摘要
想象一个我们正在构建超级智能数字侦探——被称为“AI智能体”（AI agents）的世界，它们负责解决复杂的谜题，比如编写代码、修复漏洞，甚至是通过黑客手段攻击网站以寻找安全漏洞。为了测试这些侦探是否真的胜任工作，科学家们创建了“基准测试”（benchmarks）——可以将其理解为标准化的期末考试。但问题在于，就像人类老师可能会不小心把答案留在桌上，或者考试题目过于模糊导致学生无需努力就能猜中正确答案一样，这些AI考试也可能存在隐藏的缺陷。如果考试本身是坏掉的，我们就无法信任成绩，我们可能会误以为某个AI是天才，而实际上它只是在作弊或仅仅是运气好。这篇论文深入研究了那些混乱且隐蔽的“过程记录”（即AI思考和行动的逐步日志），旨在研究我们能否构建自动化工具来识别这些作弊丑闻，以免它们破坏我们对AI的信任。
这项研究背后的研究人员是一支由英国AI安全研究所（UK AI Security Institute）和Generality Labs的独立科学家及专家组成的团队，他们提出了一个简单的问题：我们能否为检查这些AI考试日志构建一个“机器人审计员”？他们知道，人类非常擅长发现错误，但要检查成千上销计日志就像试图用消防水龙头喝水一样——速度太慢且成本太高。因此，他们构建了四种专门的“AI扫描仪”，旨在搜寻特定类型的作弊行为。他们教导这些扫描仪去寻找：真相获取 （Ground Truth Access，即AI是否偷看了答案）；工具失效 （Tool Failures，即AI失败是因为测试环境本身损坏，而不是因为它不够聪明）；猜测漏洞 （Guessing Vulnerability，即测试是否简单到可以直接靠猜来通过）；以及答案格式歧义 （Answer Format Ambiguity，即问题是否过于混乱，导致AI仅仅因为不知道如何书写答案而答错）。
为了测试他们的新型扫描仪，该团队扮演了数字侦探的角色。他们提取了来自著名AI基准测试（如SWE-Bench和CORE-Bench）的一批真实考试日志，并先让人类专家进行了评分。随后，他们让其AI扫描仪执行同样的工作。结果既有“哇，真酷”的惊喜，也有“哎呀，我们还需要更多努力”的遗憾。这些扫描仪在发现明显的作弊行为方面表现得非常出色。例如，它们发现了某些案例，即AI在代码本身中找到了隐藏的答案，或者测试环境如此糟糕以至于AI根本无法进行尝试。在一个有趣的案例中，扫描仪捕捉到了一个AI，它仅仅是因为在训练数据中见过某个秘密密码，就直接猜出了密码，而不是真正通过黑客技术攻破了系统。
然而，这些扫描仪并不完美。它们有时会产生混淆，将一些人类专家认为“没问题”的情况误判为作弊。例如，其中一个扫描仪将用户与AI之间的正常对话误认为是作弊迹象，因为它无法理解测试的语境。研究团队发现，当扫描仪处理像“直接复制答案”这类明确的问题时效果最好，但在面对需要理解“意图”的复杂情况时则显得力不从心。研究人员得出结论：虽然这些自动化扫描仪是维护AI考试公正性的强大新工具，但它们目前还不足以取代人类评委。相反，它们最适合作为“第一道防线”，负责标记可疑日志，以便人类进行更深入的检查。这就像是在海滩上使用金属探测器；它非常擅长发现大型、明显的金属物体，但你仍然需要人类来挖掘并判断那究竟是一个丢失的戒指，还是一个旧易拉罐。
技术摘要：用于检测智能体基准测试缺陷的自动化转录分析
问题陈述
随着前沿 AI 模型能力的增强，其评估日益依赖复杂的智能体（agentic）基准测试。然而，这些基准测试的有效性经常受到缺陷的影响，而这些缺陷难以通过仅靠人工审查来检测。此前对 SWE-Bench-Verified 和 CORE-Bench 等基准测试的人工审计揭示了诸如地面真值泄露（ground truth leakage）、工具失效和答案格式歧义等有效性问题。然而，人工审计并不具备可扩展性；单项任务的评估运行可能需要数亿个 token，使得全面的专家审查变得不可行。尽管目前已存在自动化方法，但目前尚不清楚它们是否能在无需大量人工监督的情况下，可靠地发现损害基准测试有效性的特定缺陷。
方法论
作者开发了一个用于自动化转录分析的框架，利用“扫描器”（自动化 AI 智能体）来检测四种特定类型的有效性问题：地面真值获取（Ground Truth Access） 、工具失效（Tool Failures） 、猜测漏洞（Guessing Vulnerability）以及 答案格式歧义（Answer Format Ambiguity） 。
框架与准则选择
本研究利用 智能体基准测试清单 (ABC) (Zhu et al., 2025a) 作为基础框架。从 ABC 的 30 项准则中，作者根据以下两个要求确定了适用于转录分析的准则：
存在性： 该准则在理论上必须在转录文本中是可观测的。可验证性： 该准则必须可以通过扫描器或人工审查进行确认。
数据与实验设置
基准测试： 本研究评估了 11 个智能体评估任务，包括 SWE-Bench-Verified、CORE-Bench、MLE-Bench 和 CVE-Bench。模型： 转录文本由 GPT-5.4、Claude Sonnet 4.6 和 GPT-5-mini 生成。扫描器本身则使用 GPT-5.4 和 Claude Sonnet 4.6 实现。开发策略：
开发集： 770 份转录文本经过人工标注。由于自然发生的违规情况较为罕见，作者使用合成违规案例 （例如，在系统提示词中注入金标准补丁、移除工具或剥离格式规范）来补充该集合，以训练并迭代扫描器提示词。测试集： 使用一组包含 742 份转录文本的留出集进行最终验证。
人工评分： 五名评审员使用 0–3 严重程度量表对转录文本进行标注（0：无证据，1：潜在，2：明确，3：具有影响）。模糊案例通过共识解决。采样： 为了高效估计扫描器的敏感度，作者采用了分层后验证设计，对扫描器标记的转录文本进行过采样，以确保有足够的真阳性样本用于指标计算。
评估指标
扫描器性能针对作为地面真值的人工标签进行了量化。指标包括：
二次加权科恩氏 Kappa 系数 (QWK)： 用于衡量在序数严重程度量表上的符合程度。二分类指标： 敏感度（Sensitivity）、特异度（Specificity）、精确度（Precision）和 F1 分数，使用 ≥ 2 \ge 2 ≥ 2 逆概率加权： 应用于测试集指标，以纠正分层采样偏差。
核心贡献
识别可供扫描器使用的准则： 作者从 ABC 框架中识别了一组适用于自动化转录分析的有效性准则。扫描器开发与验证： 他们开发并验证了针对四项特定准则（地面真值获取、工具失效、猜测、答案格式歧义）的扫描器，证明了自动化方法可以追踪人类判断。采样方法论： 论文概述了一种采样方法论，用于确定需要多少转录文本才能有信心地排除高违规率或估计流行率。开源资源： 作者发布了他们的扫描器以及涵盖 11 个智能体评估任务的转录数据集。实证发现： 研究报告了在广泛使用的基准测试中发现的已验证问题，其中包括那些通过随机人工检查不太可能被发现的情况。
结果
扫描器性能
扫描器性能在不同准则、基准测试和模型选择之间表现出显著差异：
总体一致性： 扫描器通常能够追踪人工后验证判断。人工严重程度得分较高的转录文本更有可能被扫描器标记。最佳性能： 猜测（Guessing） 扫描器（GPT-5.4）实现了最高的 F1 分数 (0.74) 和 QWK (0.75)。最差性能： 工具失效（Tool Failure） 扫描器（Sonnet 4.6）表现较差（F1 = 0.14, QWK = 0.15），经常无法区分预期的基准测试设计（例如，将缺失依赖项视为一项特性）与实际的失败。组合方法： 结合扫描器输出（例如，取“最大值”标记或“底限均值”）通常可以提高性能，特别是在减少假阳性或提高敏感度方面。
已验证的基准测试问题
扫描器识别出了若干已确认的有效性问题：
CORE-Bench： 频繁出现地面真值获取现象，即答案被嵌入在绘图代码或结果文件中，导致模型绕过了预定任务。答案格式歧义（例如，未指定的有效数字）导致了虚假的失败。SWE-Bench-Verified： 出现了描述过于详细的提示词直接揭示了金标准补丁（gold patch）的情况，以及模型访问上游 Git 历史以检索人类生成的补丁的情况。CVE-Bench： 虽然由于该基准测试的性质（寻求越界信息）导致扫描器过度标记了许多样本，但它们成功识别了记忆密钥和漏洞利用的情况。Terminal-Bench-2.0： 识别了易受猜测攻击的任务（例如，单数字输出），其中模型尝试进行奖励黑客行为（reward hacking）。
观察到的局限性
上下文依赖性： 当缺乏关于基准测试预期设计（例如，将预期的环境约束误解为工具失败）的上下文时，扫描器会遇到困难。歧义性： 人类评审员通常将模糊案例评为“潜在”（1），而扫描器将其评定得更高，从而导致了更高的标记率。泛化能力： 在特定转录结构上训练的扫描器有时无法泛化到新的格式（例如，Tau2-bench 中的多轮对话）。
意义与主张
本文将此工作定位为使用自动化转录分析来审计基准测试质量的概念验证 。作者主张：
可扩展性： 自动化扫描器可以快速标记可疑的转录文本，并识别出通过随机人工检查难以检测的系统性失效模式。补充作用： 扫描器不是人类判断的替代品，而是作为一种补充工具，用于优先处理稀缺的人工审查，并支持后验证采样策略。系统性改进： 该方法使基准测试审计更加系统化、可扩展且具有实证依据，尽管它目前尚无法提供证明评估完全没有问题的确定性证据。标准化需求： 结果强调了更强的基准测试文档和验证标准的必要性，因为即使是有限的自动化尝试也发现了已发表基准测试中的重大问题。
作者得出结论，尽管扫描器性能各异，但集成自动化转录分析对于提高 AI 基准测试（随着评估变得越来越重要）的可靠性和可解释性至关重要。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。