FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

在大型强子对撞机等机器内部发生的宏大而寂静的粒子碰撞中，科学家们正在寻找支配我们宇宙的基本规则。为了找到这些规则，他们必须从海量数据中筛选出隐藏在数十亿个事件中的稀有模式。这一过程并非单一的实验，而是一场可以持续数十年的长期科学旅程，其长度往往超过了用于创建该实验的具体计算机程序和软件工具的寿命。挑战不仅在于运行一次分析，而在于确保在数年后，即使在底层技术发生变化、参与人员离职以及数据格式演进的情况下，同一个科学问题仍能被提出并得到解答。如果处理数据的指令丢失或变得过于混乱而无法理解，科学结果就会变成一个黑盒，变得无法验证或重建。

为了解决这个关于长期科学生存的问题，由布里斯托大学的 Luke Kreczko 开发了一个名为 FAST-HEP 的系统，其核心是一个名为 Flow 的工作流引擎。该系统将科学分析视为一种清晰的、书面的“目标描述”，而非一套僵化的计算机指令，从而将其与实现目标的具体代码分离开来。通过将“做什么”与“怎么做”分离，研究人员创造了一种方法，可以将这些描述编译成一个通用的计划，该计划可以在不同的计算机和不同的软件工具上运行，而无需重写。这种方法确保了科学意图的透明度和可重复性，使得高能物理的复杂机制能够在不破坏依赖于它的实验的情况下进行演进。

几十年来，物理学家一直以命令式代码（imperative code）的形式编写数据分析，这是一种告诉计算机如何一步步移动数据的风格，即检查一个接一个的事件。虽然这种方式在当下运行良好，但它将科学构想与当时使用的特定编程语言和库紧密耦合在一起。当这些库发生变化或编写代码的研究人员离去时，分析往往会变得难以理解或无法重新运行。新的 Flow 系统通过引入声明式语言（declarative language）改变了这一动态。在这种模型中，科学家只需描述他们需要的数据、想要执行的操作以及预期的结果，而无需担心底层的机械细节。这就像是写一份食谱，列出了食材和最终的菜肴，而将具体的烹饪工具和技巧留给稍后由厨师决定。

该系统的核心是一个充当科学家描述与计算机执行之间“翻译官”的角色。当科学家提交他们的工作流时，系统并不会立即运行它。相反，它首先会对描述进行归一化处理，将所有零散的信息——例如数据存储在哪里、需要应用哪些修正以及如何处理不同场景——汇总成一个单一且完整的文档。随后，它会构建一个逻辑图（logical graph），即一张展示每项数据如何从源头流向最终结果的地图，通过清晰的依赖线将输入与输出连接起来。这张地图允许系统在任何繁重的计算开始之前进行错误检查，确保所需数据存在且各步骤逻辑自洽。

一旦地图构建并验证完毕，系统就会创建一个与后端无关的执行计划。该计划是一套详细的指令，描述了要完成的工作，但不指定由哪台计算机或哪个软件库来执行。这种分离至关重要，因为这意味着同一个科学计划既可以在笔记本电脑上运行，也可以在本地集群或大规模分布式网络上运行，而无需更改核心逻辑。系统还可以处理变体，例如测试如果某个测量值发生轻微变化，结果会如何变化，它只需扩展受影响的部分，而不是重写整个计划。这使得探索不同的科学场景并理解不确定性如何影响最终答案变得更加容易。

该系统还非常注重溯源性（provenance），即记录结果是如何产生的。每次工作流运行时，它都会生成一份详细的摘要，将最终输出链接回特定的软件版本、使用的确切数据文件以及运行时的计算机环境。这为每一个科学结果创建了永久且可追溯的历史。如果科学家需要在数年后验证一项发现，他们可以通过查看这份记录来精确了解发生了什么，而不是试图从记忆或零散的笔记中重建过程。这种细致程度将工作流从一个黑盒转变为一个透明的过程，其中每一步都是可见且负责的。

Flow 的开发是由现实世界的经验驱动的，在这些经验中，旧系统在适应新技术方面表现挣扎。研究人员发现，仅仅改变编写代码的风格是不够的；底层软件架构必须设计成能够轻松更换各个部分。过去，更改单个库往往需要重写框架的大部分内容，因为不同的部分结合得过于紧密。Flow 通过将每个组件（从数据源到输出格式）视为通过清晰、定义的契约进行连接的可替换模块，解决了这个问题。这意味着随着更快速、更高效工具的出现，它们可以被插入系统，而不会干扰科学分析本身。

这种方法已经在包括 CMS 检测器和 LUX-ZEPLIN 实验在内的重大实验中进行了实际分析测试。结果表明，简洁的声明式描述可以成功引导复杂的计算，跨越不同的数据结构和实验。系统成功地将科学意图与实现过程分离，使得分析在软件生态系统演进的同时保持稳定。通过使工作流显式化和可检查化，该系统减轻了科学家记忆代码细节的负担，并为长期保存提供了坚实的基础。

这项工作的终极目标是确保科学分析在时间长河中具有可持续性。在一个数据量不断增长且计算资源变得日益多样化的领域，保留和复现结果的能力至关重要。Flow 通过将工作流作为一个可以独立于创建它的工具进行编译、分析和执行的一等公民（first-class object），提供了一种实现这一目标的方法。这使得科学界可以在不丢失理解或重复过去工作的能力的前提下，演进其软件和硬件。该系统不仅仅是在运行分析，它还在记录整个过程，确保从原始数据到科学发现的路径对后代而言始终清晰且可访问。

这一项目的成功依赖于科学软件构建方式的转变。研究人员不再将工作流视为运行一次后便会被遗忘的临时脚本，而是将其视为可以被编译和验证的程序。这种视角允许实现一种此前难以实现的透明度和灵活性。系统记录了每一个决策、每一项依赖和每一个变体，从而构建了科学过程的完整图景。这不仅有助于即时的调试和验证，还建立了一个持久的记录，可以在最初的研究人员离开后很久仍被用于验证结果。

最后，本文所呈现的工作提供了一种思考科学计算的新方式。它不再将代码视为分析中最重要的部分，而是将重点放在科学描述的清晰度上。通过将科学描述与运行它的机械装置分离，该系统确保了科学本身始终是首要任务。这使得工具和技术可以不断变化和改进，而不会威胁到研究的完整性。其结果是一种更稳健、更透明且更具可持续性的科学发现方法，它能够在尊重过去工作的同时，积极应对未来。