AI Agents Can Already Autonomously Perform Experimental High Energy Physics

技术摘要：AI 智能体已能自主执行高能物理实验分析

问题陈述
实验高能物理（HEP）分析传统上是一种劳动密集型的算法过程，消耗了研究生或博士后的大部分时间。其工作流程包括确定测量通道、研究文献、设计事件选择、量化系统不确定性、进行统计推断以及起草报告。很大一部分精力致力于编写数以千行计的结构相似的代码，用于处理数据并应用标准技术，而这些过程往往缺乏深层的物理推理。由于缺乏针对核心软件基础设施的集中且最新的文档，这一过程经常受到阻碍，导致工作流易出错且繁琐，并在初始学习阶段之后，其教育回报递减。虽然大语言模型（LLMs）在代码生成方面已展现出潜力，但现有的高能物理领域智能体系统通常局限于僵化、预定义的分析结构，或者需要持续的人机协同监督，从而无法实现真正的自主性。

方法论：“仅提供上下文”（JFC）框架
作者引入了“仅提供上下文”（Just Furnish Context, JFC）框架，这是一个旨在实现高能物理分析流水线全自主执行的概念验证框架。该框架的核心原则是：AI 智能体应仅接收高层级的物理目标（例如，“测量 Z 玻色子谱线形状”），并自主确定完整的策略，包括事件选择、背景估计和统计方法，而无需被提供模板或骨架代码。

JFC 架构的关键组件包括：

• 编排器与子智能体： 一个中央编排器将任务委派给专门的子智能体（执行器、评审员、笔记撰写者、排版员、仲裁者），使用 Claude Code 环境（Opus 4.8 模型）。编排器从不直接编写代码或读取完整的数据文件；它通过书面产物来管理工作流。
• 带有门控的顺序阶段： 分析被分解为若干顺序阶段（策略、探索、处理、推断、文档）。每个阶段都由书面产物（如 STRATEGY.md、SELECTION.md）进行把关，并且必须通过独立的评审才能进入下一阶段。
• 多智能体评审系统： 为了取代传统合作中分布式的人类评审过程，JFC 采用了由专门的 AI 评审员组成的专家组：
  • 物理评审员： 在不接触框架内部方法论的情况下，评估物理合理性（信号建模、背景估计），充当外部裁判。
  • 批判性评审员： 检查是否符合方法论规范和约定。
  • 建设性评审员： 提出改进建议和替代方案。
  • 图表校验员： 对图表进行程序化检查（产量、单位、一致性），并检测异常情况（例如，负产量、拟合未收敛）。
  • 仲裁者： 将评审结果综合为 PASS（通过）、ITERATE（迭代）或 ESCALATE（升级）判定。
• 知识检索： 该框架集成了 SciTreeRAG，用于从已发表论文的语料库（如 ALEPH、DELPHI、CMS）中检索特定领域的知识。这使得智能体能够基于既定的实验实践而非仅仅依赖预训练数据，来调整选择标准和系统不确定性评估。
• 盲分析协议： 框架强制执行严格的盲分析协议。分析使用 Asimov 数据集（预期结果）进行，直到进入“部分解盲”阶段（10% 的信号数据）并经过人类门控的明确批准。只有在人类批准后，智能体才会对完整数据集进行“完全解盲”。
• 软件栈： 系统强制使用纯 Python 栈（uproot, awkward-array, hist, pyhf, mplhep），以确保可重复性并避免对遗留 C++ 宏的依赖。

核心贡献

1. 自主端到端执行： 论文证明了 AI 智能体可以根据简短的自然语言提示并利用开放数据，自主完成从计划、执行到文档记录的完整高能物理分析——涵盖事件选择、背景估计到统计推断及论文起草。
2. 新颖测量： 该框架首次利用 ALEPH 数据测量了强子 Z 衰变中的主要 Lund jet 平面密度。据作者所知，这是首次在 $e^+e^-$ 碰撞中测量该观测物理量，也是首次完全由 AI 智能体自主产生的新高能物理测量结果。
3. 复现既有结果： 系统成功复现了 CMS Higgs 玻色子信号强度测量（$H \to \tau^+\tau^-$ 通道，$\mu\tau_h$ 通道）使用 CMS 开放数据的结果。测量值（$\hat{\mu} = 1.20 \pm 1.13$）与已发表的 CMS 值（$\mu = 1.01 \pm 0.41$）在 0.16$\sigma$ 内一致，验证了该框架复现复杂统计模型的能力。
4. 多智能体评审验证： 论文确立了多智能体评审系统可以有效捕捉错误（例如，错误的背景先验、夸大的显著性）并执行严苛的标准，其效果可比拟人类协作中的评审过程，从而减少了在编码和调试阶段对持续人工干预的需求。

结果
作者将 JFC 应用于涉及 ALEPH、DELPHI 和 CMS 开放数据的六个不同分析：

• 标量观测量： 智能体生成了 Z 谱线形状参数（$M_Z, \Gamma_Z, \sigma_{had}^0$）、重味观测量（$R_b, A_{FB}^b$）和事件形状（$\alpha_s$）的测量结果。九个标量对比中有八个落在与已发表参考值的 $|pull| < 2$范围内。一个离群值（$\Gamma_Z$）显示出$-3.4\sigma$ 的偏差，经溯源为偏离峰值扫描点处的残余效率问题。
• 不确定性量化： 虽然中心值总体一致，但智能体得出的不确定性通常大于已发表结果（例如，CMS $\mu\tau_h$ 的不确定性几乎是已发表值的近三倍），这反映了使用部分开放数据集而非完整协作组数据集的局限性。
• 定性评估： 智能体始终能选择标准的分析策略（如迭代贝叶斯去卷积、HistFactory 似然函数）并识别正确的系统不确定性来源。生成的分析笔记和图表具有出版质量，尽管部分内容需要评审智能体进行迭代优化以修正格式或逻辑错误。
• 效率： 单个分析的完整流水线耗时约为 10 个墙钟小时（包括等待速率限制的空闲时间），实际计算时间明显更短。

意义与主张
论文指出，高能物理界低估了当前智能体 AI 系统的能力。作者主张：

• 当前能力： AI 智能体已经可以处理分析代码开发中的“重复性技术负担”，从而让研究人员能够专注于物理洞察、新方法开发和严格验证。
• 非替代，而是分担： 作者明确表示，其目的并非调用 AI 取代物理学家。任何 AI 辅助分析的最终输出必须经过领域专家的彻底检查和验证。物理学家的角色正从“执行者”转变为“架构师”和“批判者”。
• 范式转移： 该框架表明，我们需要重新思考如何培养学生、如何组织分析工作以及如何分配人类专业知识。如果实现过程可以从数年压缩至数月（甚至数天），那么高能物理的瓶颈将从编码能力转向物理构思和人类评审带宽。
• 遗留数据再分析： 该框架为系统性地利用现代软件和技术重新分析庞大的遗留数据档案（如 LEP、Tevatron）提供了途径，而由于遗留代码库（如 FORTHTRAN、PAW）中专业知识的流失，这类任务此前是难以实现的。

论文总结道，虽然目前的智能体并不完美且需要人类监督以进行验证和解盲，但执行研究生水平自主分析的技术已经问世，这值得立即开展实验，并开发负责任的工作流和基准测试。