HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

在现代物理学那广袤而寂静的长廊中，科学家们不再仅仅是在寻找新的粒子，他们也在寻找寻找这些粒子的新方法。几十年来，高能物理领域一直依赖人类研究人员将抽象理论转化为具体的计算，编写复杂的计算机代码来模拟粒子在巨型探测器中可能表现出的行为，或预测碰撞的结果。今天，一种新型的劳动者进入了实验室：人工智能智能体（AI agent）。它们并非遵循僵化指令列表的简单程序，而是能够规划多步任务、编写自身代码、运行模拟并在出错时自我纠正的复杂系统。它们有望加速发现的步伐，但也引入了一个新的问题：我们能否信任它们去从事那些细腻且精密科学工作？为了回答这个问题，研究人员必须超越简单的测试，创建一个受控的环境，以便精确观察这些数字助手如何表现、它们需要哪些工具以及它们可能在哪里失败。

一个由物理学家和计算机科学家组成的团队构建了这样一个环境，一个被称为 HEPTABench 的框架，旨在让这些 AI 智能体在特定的高能物理世界中接受磨练。他们的目标不仅是看 AI 能否解决问题，而是要理解它所使用的工具如何改变结果。他们设置了一系列实验，将相同的科学任务交给不同的 AI 系统，但改变了一个关键变量：在某些试验中，AI 必须从零开始构建自己的数学工具；而在另一些试验中，它则获得了一套预先制作并经过验证的专业仪器工具包。结果清晰且一致。当 AI 智能体被允许使用这些专门的、领域特定的工具时，它们的工作变得显著更加准确且更加可靠。它们产生的结果更接近已知的真相，而且它们给出的答案在一次尝试与下一次尝试之间也具有很高的连贯性。

研究人员通过两种截然不同的物理问题测试了这一想法。第一个是涉及一种在衰变前长时间存在的假设粒子的复杂计算。这类计算是该领域的常态，需要一系列步骤，包括预测粒子的产生方式、它如何在探测器中穿行以及被观测到的可能性。团队要求四种不同的先进 AI 系统执行这项计算。在第一轮中，系统仅被给予基本的物理定律和实验设置，迫使它们编写模拟粒子旅程所需的每一段代码。在第二轮中，同样的系统执行同样的任务，但同时也获得了提供的一套专门工具，这些工具可以处理计算中的特定部分，例如生成粒子流或计算衰减概率。差异是惊人的。无论其底层架构如何，每一个系统在拥有这些专门工具的使用权时，都产生了更好的结果。它们计算出的数值更接近正确值，且同一系统不同尝试之间的偏差大幅下降。AI 智能体编写的代码也少得多，它们依靠这些受信任的工具来完成繁重的工作，而不是在每次试验中都重新发明轮子。

第二个实验侧重于另一种挑战：符号数学。在这里，任务是推导粒子衰变的公式，这一过程需要操纵复杂的代数表达式，而非仅仅是进行数值计算。研究人员在一个包含八种不同衰变场景的模型上测试了一个特定的 AI 模型。在没有专门工具的情况下，该模型表现得极其挣扎，仅在极小比例的尝试中取得成功。它经常产生不完整的答案或与物理规律不符的公式。然而，当同一个模型获得了一个专为符号物理计算设计的工具包时，其表现大幅飙升。成功的尝试比例从仅仅 8% 跳升到了近 80%。这表明，提供正确的工具可以将一个几乎无法运作的系统转化为一个高效的系统。有趣的是，另一个更强大的 AI 模型仅凭其内置能力就能完美解决这些问题，这表明虽然工具对某些系统至关重要，但最先进的模型最终可能能够独立处理这些任务。

这项研究不仅仅展示了工具的作用，它还建立了一种证明这种作用的方法。通过保持所有其他因素——任务、AI 模型和计算机环境——保持不变，研究人员可以分离出工具本身的影响。他们发现，改进不仅仅是获得一次正确答案的问题，更在于一致性。AI 智能体变得更加可靠，在每次运行实验时都能产生接近真相的结果。这种可靠性对于科学至关重要，因为在科学领域，一次幸运的猜测是不够的；研究人员需要知道一个结果在接受审查时是否依然成立。他们构建的框架允许进行这种详细的检查，记录 AI 采取的每一步、创建的每个文件以及做出的每个决定。这种透明度意味着，如果一个结果受到质疑，科学家可以追溯 AI 达成该结果的具体路径，而不是仅仅接受一个最终数字。

这项工作的意义超出了所测试的具体粒子或计算。它提出了一种关于如何将人工智能应用于科学的新思维方式。与其期待一个全知全能的 AI 来做所有事情，未来的方向可能在于将这些智能系统与专门的、经人类验证的工具包相结合。正如人类物理学家依赖既定的公式库和软件包开展工作一样，AI 智能体也可以通过获得获取相同资源的机会而变得更强大、更值得信赖。研究人员证明，这种方法在不同类型的 AI 和不同种类的物理问题（从模拟粒子碰撞到推导数学公式）中都是有效的。它提供了一条前进的路径，即让 AI 的速度和适应性与人类工程工具的精确性和可靠性相结合。

最终，这篇论文所呈现的工作是为了建立信任。随着人工智能日益融入科学进程，学术界需要一种方法，能以对待任何其他科学仪器般的严谨态度来衡量其能力和局限性。HEPTABench 提供了这种衡量标准。它表明，通过正确的设置，AI 智能体可以被引导去产生高质量、可重复的科学工作。研究结果表明，未来部署这些系统的最有效方式不是让它们自由漫游，而是为它们配备实现成功所需的特定、经过验证的工具。这种方法确保了它们产生的结果不仅是聪明的猜测，更是对我们理解宇宙的可靠贡献。