From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo
本文介绍了 AgentDojo Trace Audit，这是一个可复现的 Python 层，它通过成功重建所有 11,624 条记录、在修复后测试中实现对突变的完美检测与分类，并确保在良性转换上零误报，从而验证了一个固定的 AgentDojo v1.2.1 快照，进而建立了一个用于审计交互式智能体基准测试声明的稳健框架。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，研究人员不断测试计算机程序自主行动的能力。这些被称为“智能体”（agents）的程序旨在利用工具、做出决策并与数字环境交互以完成任务。为了了解这些智能体是真正具备能力，还是容易被欺骗，科学家们会对它们进行严格的基准测试（benchmarks），这就像是标准化考试。其中一个名为 AgentDojo 的测试，专门观察这些智能体在处理棘手情况（例如有人试图用隐藏指令欺骗它们）时的表现。然而，一个主要问题出现了：虽然这些测试会产生一个最终得分，但通往该得分的过程往往是一个“黑箱”。人们很难精确验证哪些尝试被计入其中，如何计算最终数值，或者研究论文中报告的结果是否真的与计算机生成的原始数据相符。如果没有清晰的痕迹，很难判断高分代表的是真正的技能，还是仅仅因为统计结果的方式出现了错误。
这种不确定性正是独立研究员 Abdullah Alharbi 开发的一款新软件工具关注的焦点。他的工作题为“AgentDojo Trace Audit”（AgentDojo 追踪审计）。该工具并非创造一个新的测试或一个更好的智能体，而是构建了一个透明的验证层，位于 AgentDojo 测试的原始数据与研究人员提出的最终主张之间。其目标是将一份静态报告转变为一个可审计的故事。该工具采用一个特定的、冻结版本的 AgentDojo 测试，并检查过程中的每一个步骤。它验证所使用的文件是否完全符合预期，是否完美遵循了包含或排除数据的规则，以及报告中的最终数字是否与底层记录相匹配。它扮演着实验中严谨会计的角色，确保数据能够对得上账，并确保数据讲述的故事从头到尾保持一致。
为了实现这一点，该软件首先要求用户拥有官方 AgentDojo 源代码的正当副本。它并不重新分发测试数据本身，这使得整个过程专注于验证而非数据收集，从而保证了合法性。一旦确认了正确的源代码，该工具便通过检查每个文件的“数字指纹”开始工作。它根据文件内容计算出一个唯一的代码，确保即使是微小的变化（如修改了一个字母或更改了文件名）也会被立即发现。这一步确认了研究人员正在使用与原始研究完全相同的数字材料，从而防止了对源材料进行任何意外或蓄意的篡改。
在验证完源代码后，软件便进入了审计的核心部分：计数与分类。原始测试产生了数千条记录，但并非所有记录都应纳入最终分析。该工具应用了一套严格的规则来决定保留哪些记录以及丢弃哪些记录。例如，它发现从近 11,800 个候选文件中，有 140 个属于不符合主组别的辅助案例，还有一个文件因为缺失关键数据字段而不完整。通过应用这些规则，软件重建了原始研究声称分析的 11,624 条记录的确切群体。随后，它检查了这些记录在不同类别中的分布（例如攻击是成功还是失败）是否与官方报告完全匹配。在这次特定的测试中，该工具确认了所有 11,624 条记录都正确地链接到了其来源，并且关于成功、失败和攻击结果的最终计数都是准确的。
然而，该工具真正的力量在于它不仅能确认正确，还能发现错误。为了测试其可靠性，研究人员设计了一系列挑战，在数据中故意引入错误，例如交换文件、删除记录间的链接或改变结果的含义。在涉及 408 个不同场景的一组测试中，该工具成功检测并分类了每一个错误。然而，它仅能在其中 336 个案例中精准定位问题的具体位置。剩下的 72 个失败案例并非因为工具漏掉了错误，而是因为它描述错误位置的方式不够详细。研究人员随后修复了软件设计中的这一特定问题。
完成修复后，他们运行了一次更严格的测试，其中包含 360 个全新的场景。这一次，该工具表现得完美无缺。它检测、分类并定位了所有 360 个错误，未出现任何遗漏。为了确保工具不会过于敏感，且不会将无害的变化标记为错误，他们还针对 120 个良性案例（例如仅仅是重命名或进行了不同压缩的文件）运行了测试。该工具正确地忽略了所有这些情况，产生了零误报。这一系列测试证明，该软件能够可靠地分辨出文件存储方式的无害变化与科学内容的真实变化。
这项工作的意义在于，它提供了一种将复杂、不透明的实验转化为可以逐行检查的对象的方法。在此工具出现之前，如果研究人员声称达到了某种成功率，其他人只能听凭其言，或者尝试手动重新运行整个实验，而这通常是不可能的。现在，任何拥有原始源代码数据的人都可以运行此审计，以了解这些数字是如何得出的。它并不能告诉我们智能体在现实世界中是否安全，也不能证明原始测试的设计是完美的；它仅仅保证了论文中报告的数字与其所依据的数据是一致的。它确保了数据所讲述的故事，确实是数据本身所支持的故事。
研究人员谨慎地指出其工作的局限性。该工具是为特定版本的 AgentDojo 设计的，如果不进行重大重构，则无法自动应用于其他基准测试或未来的版本。它也无法检测原始数据是否在事实上有误，或测试本身是否存在缺陷；它只检查一致性和内部逻辑。此外，由于该工具是由创建测试及验证逻辑的同一团队开发的，因此它并非独立的外部审查，而是一种经过严格压力测试的自我检查。尽管存在这些界限，这项工作仍为科学透明度提供了一条清晰的路径。它表明，我们可以建立这样一个系统：研究中所做的声明不再仅仅是陈述，而是可以追溯到其源头的、可验证的事实——一个字节接一个字节地可追溯。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。