\textsc{RooAgent}: An LLM Agent for \textsc{Root}-Based High Energy Physics Analysis

本文介绍了\textsc{RooAgent}，这是一种自然语言接口，它赋能大语言模型利用\textsc{PyRoot}工具在多个大语言模型后端执行复杂的高能物理数据分析任务，并通过多种信号 - 背景工作流及在ATLAS开放数据上的应用进行了验证。

要点

想象一下，你拥有一座庞大且极其复杂的科学数据图书馆。在粒子物理学领域，这座图书馆被称为Root，它包含了数十亿次粒子碰撞的“收据”。要查找特定信息——例如某种特定类型的粒子或数据中的某种模式——你通常必须是一位精通一种非常困难、技术性语言（编程代码）的图书管理员。如果你不知道确切的代码，就无法“借阅”这本书。

RooAgent 就像是一位聘请来的超级聪明、精通多语的图书管理员助手，它说你的语言（普通英语），并完美掌握图书馆的“秘密代码”。

以下是其工作原理，分解为简单的概念：

1. 问题：“外语”障碍

高能物理学家使用一种名为PyRoot的工具来分析数据。它功能强大，但就像试图在一家菜单用你不懂的语言书写的餐厅里点一份复杂的菜肴。你必须知道确切的语法，才能要求“绘制电子动量的直方图”或“统计喷注质量较大的事件数量”。如果你打错了一个字或用错了词，计算机只会回复“错误”。

2. 解决方案：“翻译”代理

RooAgent 充当翻译的角色。你无需学习代码。你只需用普通英语告诉代理你想要什么，例如：

• “展示底夸克质量的图表。”
• “统计如果我只查看速度超过 50 GeV 的粒子，会发生多少起事件。”
• “找出将信号与背景噪声分离的最佳截断条件。”

该代理（由大型语言模型，即 LLM 驱动）会倾听你的请求，将其翻译成正确的技术命令，运行分析，并将结果交还给你——通常是一张图表、一张数字表格或一份摘要。

3. 工作原理：“工具箱”

将代理想象成一位拥有特定工具箱的建筑工人。论文描述了雇佣这位工人的两种方式：

• LangGraph 模式：工人使用一位“工头”（LangGraph）来管理一个 AI 模型团队（如 GPT-4.1 或 DeepSeek-V3）。工头将你的大请求分解为小步骤，让 AI 挑选正确的工具，然后执行它。
• MCP 模式：工人使用标准协议（模型上下文协议，Model Context Protocol）直接与另一位 AI 老板（Anthropic 的 Claude）对话。

在这两种情况下，工具箱中的“工具”都是预先编写好的计算机函数，负责承担繁重的工作：

• 检查：查看数据文件内部，了解其中包含的内容。
• 计数：统计有多少事件符合特定规则。
• 绘图：绘制图表和图形。
• 拟合：在数据点之间绘制平滑曲线以观察形状。
• 计算：进行数学运算，以判断发现是否具有统计显著性。

4. “试驾”

作者通过几种场景测试了这位助手，以观察它是否能胜任工作：

• "ZH"模拟：他们模拟了一种特定的粒子碰撞（Z 玻色子和希格斯玻色子）。代理成功找到了文件，绘制了图表，统计了事件数量，甚至找到了将信号与背景噪声分离的“最佳点”（最佳截断条件）。
• “多任务”挑战：他们给代理下达了一条长长的复杂指令，要求同时完成六项不同的任务（拟合曲线、制作比较图表、运行截断流程、优化截断条件、扫描质量窗口以及排名结果）。代理连续完成了所有六个步骤，无需人工干预。
• “玩具”统计测试：他们创建了一个包含隐藏信号的伪造数据集。代理成功扫描了不同的质量值，在正确的位置（250 GeV）找到了隐藏信号，并计算了该信号并非偶然出现的概率。
• “现实世界”测试：他们使用了来自 CERN（大型强子对撞机）ATLAS 实验的真实公开数据。代理成功分析了希格斯玻色子衰变为四个轻子的数据，生成了与人类专家所绘制的堆叠图相匹配的图表。

5. 结果

论文声称 RooAgent 是有效的。它成功将普通的英语问题转化为复杂的物理答案。

• 它在 20 项单任务测试 中正确完成了 19 项。
• 它完成了一个 6 步多任务工作流 而未中断。
• 无论使用 OpenAI 的 GPT-4.1 还是 Anthropic 的 Sonnet 4.6，它都产生了相同的数值结果。

不足之处：
代理并非完美无缺。在一次测试中，由于用户将文件名中的"Events"（大写 E）误输入为"events"（小写 e），代理感到困惑。代理停止了操作并请求澄清，而不是进行猜测。此外，有时不同的 AI 模型可能会为图表选择不同的范围（例如显示 0–100 GeV 对比 0–200 GeV），但核心数学结果保持不变。

总结

RooAgent 是一座桥梁。它让物理学家（以及潜在的学生或新研究人员）能够用人类语言与数据对话，而计算机则负责处理实际进行分析所需的复杂、技术性语言。它并没有取代物理学家对物理原理的理解，但它消除了为了完成任务而必须死记硬背复杂代码语法的障碍。

技术摘要

"RooAgent：一种基于 ROOT 的高能物理分析 LLM 代理”的技术摘要

问题陈述
高能物理（HEP）数据分析严重依赖 ROOT 框架及其 Python 接口 PyROOT，用于从事件选择和直方图绘制到统计推断的各项任务。然而，使用这些工具需要高度熟悉特定的 API 约定、数据结构（如 TTree 分支）以及输入样本的内部组织。这种入门门槛可能阻碍新用户，并使常规任务效率低下。虽然大语言模型（LLM）已通过“工具调用”在自动化多步工作流方面展现出潜力，但仍需要一个专门的接口，将自然语言目标直接映射到基于 ROOT 的分析所需的具体函数调用。

方法论
作者提出了RooAgent，这是一个作为基于 ROOT 分析的自然语言接口的 Python 包。该系统将 PyROOT 函数封装为 LLM 代理可执行的工具。该架构支持两种不同的运行模式，两者均利用相同的底层 PyROOT 实现：

1. LangGraph 代理模式：兼容 OpenAI 的 GPT-4.1（通过 GitHub Copilot）和 DeepSeek-V3（通过 Ollama）。在此模式下，LLM 对用户提示进行推理，选择工具，构建参数，并迭代调用 PyROOT 函数，直到满足用户目标。
2. 模型上下文协议（MCP）模式：专为与 Anthropic Claude CLI 集成而设计（特别针对 Sonnet 4.6 进行了测试）。此模式作为 MCP 服务器运行，其中 Claude CLI 同时充当 LLM 和编排层，无需 LangChain 或 LangGraph 依赖。

工具集是模块化的，涵盖了基于 ROOT 分析的常见任务全谱，包括：

• 检查：列出文件内容、TTree 结构及分支数据类型。
• 计数与选择：应用布尔切割，生成切割流（cutflows），并计算事件产额。
• 直方图与统计：从 TTree 分支填充直方图，计算积分、均值和均方根（RMS），并计算显著性（$S/\sqrt{S+B}$）。
• 可视化：生成一维和二维图，叠加分布，并应用对数刻度。
• 拟合：对分布执行高斯、指数或多项式拟合。
• 优化：扫描切割阈值以最大化显著性。
• 导出：将 TTree 分支转换为 CSV 文件。

该系统专为迭代推理而设计，允许代理多次调用工具以细化结果或纠正错误（例如，澄清树名称或调整绘图范围）。

主要贡献

• 统一接口：RooAgent 提供了一组一致的分析工具，可通过自然语言在不同的 LLM 后端（OpenAI、Ollama、Anthropic）访问，而无需更改底层分析代码。
• 工具注册表：该包公开了一个全面的 PyROOT 封装函数库，专门针对 HEP 工作流定制，包括显著性计算、切割流生成和参数拟合。
• 双模式架构：通过同时支持基于 LangGraph 的代理和 MCP 服务器，该包为偏好不同 LLM 生态系统和部署方式（本地与云端）的用户提供了灵活性。

结果
作者使用 $pp \to ZH$（$Z \to \ell^+\ell^-, H \to b\bar{b}$）及背景过程的蒙特卡洛模拟，以及 $H \to ZZ^* \to 4\ell$ 通道的 ATLAS 开放数据对 RooAgent 进行了评估。

• 基准性能：在一系列 20 项单任务测试中，代理成功为 19 项任务生成了结果。任务包括文件检查、直方图绘制、事件计数、变量定义、高斯拟合和显著性扫描。一次失败是由于树名称查找中的大小写敏感问题，代理正确识别并标记以寻求澄清，而非产生错误结果。
• 多任务工作流：一个需要六个顺序任务（拟合、运动学比较、切割流生成、切割优化、质量窗口扫描和切割排名）的复杂提示，在约 225 秒内无需人工干预即成功执行。
• 统计分析：在涉及质量假设网格的玩具统计分析中，代理正确匹配了直方图，计算了观测和期望显著性、p 值及 $CL_s$ 值，并识别出注入的信号质量（250 GeV）为最强候选者。
• 开放数据应用：应用于 ATLAS 开放数据时，代理成功处理了多个 ROOT 文件，应用了顺序轻子选择切割，生成了切割流，并产生了叠加了数据的信号与背景堆叠图。结果在 GPT-4.1 和 Sonnet 4.6 之间保持一致。
• 模型差异：论文指出，虽然核心逻辑保持一致，但不同的 LLM（例如 GPT-4.1 与 DeepSeek-V3）在未明确约束的情况下，可能会在绘图范围或归一化方面做出不同选择，突显了提示具体性的重要性。

意义
该论文声称，RooAgent 成功弥合了纯语言提示与基于 ROOT 的 HEP 分析技术要求之间的鸿沟。通过自动化工具和参数的选择，该系统简化了常规任务，并降低了不熟悉 ROOT API 复杂性的用户的入门门槛。作者将这项工作定位为迈向更易访问的 HEP 数据分析的一步，证明了 LLM 代理可以有效编排涉及文件检查、统计推断和可视化的复杂多步工作流。该包具有模块化特性，允许未来的扩展，例如将机器学习算法集成可调用的工具，或识别最佳的事件选择变量。