HepScript: A Dual-Use DSL for Human-AI Collaborative Data Analysis Workflows in High-Energy Physics

本文介绍了 HepScript，这是一种面向高能物理的双用途领域特定语言，它作为抽象复杂分析逻辑的形式化接口，既使人类专家能够编写简洁的代码，又允许人工智能代理从文献中可靠地生成可执行规范，从而显著减少人工投入并解决以往难以自动化的挑战。

要点

以下是论文《HepScript：一种用于高能物理中人机协作数据分析工作流的双用途领域特定语言》的解释，使用通俗易懂的语言和类比进行翻译。

大局观：“翻译”难题

想象高能物理（HEP）是一场规模宏大、 stakes 极高的烹饪比赛。每年，北京谱仪 III（BESIII）实验中的厨师们（物理学家）都会产生堆积如山的食材（PB 级数据）。为了获胜，他们需要烹制特定的菜肴（分析数据），以发现新的风味（科学发现）。

然而，存在一个问题：

1. 食谱极其复杂：“厨房”（计算机软件）异常复杂。它混合了老式工具和现代小 gadget。要在这个厨房里写出一套行之有效的食谱，需要只有主厨才掌握的深层秘密知识。
2. AI 助手聪明但懵懂：我们拥有一个新的 AI 助手（大语言模型），它能阅读任何食谱书并写出食谱。但如果你让它在这个特定的厨房里烹饪，它往往会失败。它不知道那些秘密工具，会被复杂的机器搞糊涂，而且如果它犯了一个微小的错误，整道菜就会烧焦。

这篇论文提出了HepScript，作为解决这一问题的方案。

解决方案：HepScript（“通用翻译器”）

作者们创造了一种名为HepScript的新语言。把它想象成一个通用翻译器，或者一个专用菜单，它位于人类厨师和 AI 助手之间。

与其直接要求 AI 用复杂的厨房语言编写代码（这就像要求它同时流利地说法语和德语，还要玩杂耍），不如让它编写 HepScript 指令。

它是如何工作的：

1. 对人类而言：HepScript 看起来像一份简单清晰的指令清单。“挑选红苹果”、“与糖混合”、“在 350 度下烘烤”。它隐藏了底下所有令人恐惧的复杂机器。
2. 对 AI 而言：由于 HepScript 是一种严格、受限的语言（即“领域特定语言”或 DSL），它为 AI 提供了一个狭小、安全的游乐场。AI 不必猜测如何使用厨房；它只需要在菜单上填空即可。
3. 魔法步骤：一旦 HepScript 菜单编写完成，一个特殊的“处理器”（翻译机器人）会读取它，并自动生成在真实厨房中实际运行实验所需的复杂技术代码。

“双用途”超能力

论文称 HepScript 为“双用途”，因为它完美地服务于两类不同的人：

• 人类专家：他们可以阅读 HepScript 并立即理解物理逻辑，而不会被技术细节所拖累。
• AI 代理：由于该语言严格且受限，AI 能够以极高的准确度生成它。对于 AI 来说，填写一份严格的表格比写一本小说要容易得多。

结果：实验室里发生了什么？

团队使用来自 BESIII 实验的真实物理论文测试了该系统。以下是他们的发现：

• 人类工作量减少：通过使用 HepScript，人类需要编写的代码量减少了93%。这就像从编写一本 100 页的手册变成了只需填写一份 7 页的检查清单。
• AI 表现大幅提升：当他们要求 AI 模型阅读已发表的物理论文并为其编写 HepScript 指令时：
  • 在第一次尝试中，AI 的准确率约为47%。
  • 但这里有个窍门：如果 AI 犯错，他们允许它重试（使用“代理循环”）。AI 会看到错误，进行修正，然后再次尝试。
  • 仅仅经过三次尝试，AI 的成功率就达到了95%。
• 证明其有效性：他们拿 AI 生成的指令，通过系统运行，计算机成功复现了原始物理论文中的确切图表和结果。

“护栏”类比

为什么这如此有效？
想象 AI 是一辆汽车。

• 没有 HepScript：AI 在一条没有车道、没有标志、没有速度限制的开放高速公路上行驶。很容易发生车祸或迷路。
• 有了 HepScript：AI 行驶在单轨铁路上。轨道（HepScript 的语法）迫使汽车保持在正确的路径上。它无法驶离轨道，无法撞向风景。它只需沿着轨道向前移动。这使得旅程安全且可预测。

总结

该论文证明，通过创建一种简单、严格的“中间语言”（HepScript），我们可以教会 AI 完成它以前无法处理的复杂科学工作。它将一个混乱、开放式的编码问题转变为一个结构化、可解决的谜题。这使得人类和 AI 能够协同工作：人类提供科学意图，AI 负责编写代码的重任，这一切都在 HepScript 安全、结构化的规则指导下进行。

技术摘要

以下是论文《HepScript：一种用于高能物理人机协作数据分析工作流的双用途领域特定语言》的详细技术总结。

1. 问题陈述

高能物理（HEP）因数据量呈指数级增长（从 PB 级到 EB 级），在数据分析效率方面面临关键瓶颈。虽然大语言模型（LLM）为自动化提供了潜力，但由于以下三个主要原因，它们难以自主管理复杂的科学工作流：

• 领域知识鸿沟：LLM 缺乏构建复杂、多步骤物理工作流（例如粒子重建、运动学拟合）所需的深层隐性知识。
• 语义鸿沟：高层分析目标（例如“测量分支比”）与执行这些目标所需的底层、特定框架代码（例如用于 BOSS 的 C++、ROOT 脚本）之间存在脱节。
• 无界动作空间：LLM 的开放式代码生成往往导致幻觉、逻辑不连贯，或在生产环境中无法编译的代码，因为可能的代码变化空间过于庞大。

2. 方法论：HepScript

作者提出了HepScript，这是一种双用途领域特定语言（DSL），旨在作为人类专家与 AI 智能体之间的共享形式化接口。

• 核心概念：HepScript 将 HEP 分析逻辑抽象为一种受限的高层语法。它充当一种“接地机制”，将开放式代码生成转化为可处理的序列预测任务。
• 架构：
  • 嵌入式 DSL：实现为 Ruby 嵌入式 DSL，以利用 Ruby 的可读性、元编程能力和流畅接口。
  • 代码生成流水线：HepScript 不直接执行。专用的DSL 处理器将 HepScript 规范转换为 BESIII 软件栈的目标代码：
    • BOSS (C++)：用于模拟、重建和基本选择。
    • ROOT (C++/Python)：用于高级选择、可视化和统计推断。
    • 辅助脚本：Bash/Python 用于作业配置。
  • 混合翻译策略：处理器使用三种方法：
    1. 模板生成：用于静态结构。
    2. 基于翻译器的生成：通过自定义 Ruby 类处理复杂语法。
    3. LLM 辅助生成：专门用于模糊任务，如级联衰变逻辑（将粒子映射到共振态）和生成特定的 ROOT 脚本。
• 设计原则：
  • 可读性：对物理学家直观易懂。
  • 模块化：为分析阶段（数据集准备、基础选择、高级选择、可视化、统计分析）提供离散模块。
  • 受限语法：限制 LLM 的动作空间，确保生成的代码逻辑连贯且可执行。

3. 主要贡献

1. 理论洞察：证明设计良好的 DSL 可以压缩特定框架代码的无界动作空间，使 LLM 生成变得可靠且可验证。
2. HepScript 实例化：一个具体的 Ruby 嵌入式 DSL，在 LLM 辅助下共同设计，专门针对**BESIII（北京谱仪 III）**实验定制。
3. 实证验证：
   • 人类效率：通过消除样板代码和重复例程，将人工编写的代码量减少了93%。
   • AI 自主性：使 LLM 能够从已发表文献中自主生成正确、可执行的 HepScript 规范，经过迭代智能体重试后，成功率达到95%。
4. 可推广框架：提供了一种 DSL 设计、实施和评估的方法论，可适应其他数据密集型科学领域。

4. 评估结果

该系统在45 篇 BESIII 论文（从 arXiv 前 50 篇中筛选）上进行了评估，涵盖数据集准备和基础选择。

• LLM 性能：
  • LLM 生成规范的初始成功率在**43% 到 47%**之间（取决于模型，例如 GLM-4.7 与 DeepSeek-R1）。
  • 失败主要归因于语法错误（76%）和物理误解（24%）。
  • 智能体循环：通过实施迭代循环，让 LLM 接收来自编译器/处理器的错误反馈，经过三次重试后，成功率跃升至约 95%。
• 代码执行：
  • 在所有人手编写的案例中，生成的 BOSS 代码均无错误地编译通过。
  • 在案例研究中，生成的 ROOT 脚本成功复现了原始论文中的图表（例如不变质量分布），验证了端到端流水线。
• 效率：该抽象将所需代码的字符数平均减少了 93%，显著降低了人类原型设计和 AI 任务定义的门槛。

5. 意义与未来工作

• 范式转变：HepScript 将自动化瓶颈从“如何执行分析”（编码）转移到“指定什么”（意图），从而实现了可扩展的人机协作系统。
• 信任与安全：DSL 充当护栏，确保 AI 智能体在已验证的受限环境中运行，这对科学严谨性至关重要。
• 未来方向：
  • 自进化机制：开发一种系统，使 DSL 语法能够根据新的领域文献和使用差距自主扩展。
  • 结构感知检索：超越语义文本相似度（RAG），转向基于粒子衰变链形式拓扑的检索，以改善 LLM 的接地效果。
  • 智能体记忆：创建一个动态知识库，将成功的工作流存储为“技能”供未来智能体使用。

结论：
该论文确立了一种双用途 DSL 是自动化复杂科学工作流的可行且强大的策略。通过弥合人类专业知识、AI 生成和生产软件之间的差距，HepScript 证明了高能物理分析可以有效地实现自动化，为 AI 成为自主研究合作者铺平了道路。