CELEBI: Design and Realization of a Reproducible Physics Analysis Framework

在宏大且高风险的粒子物理学世界中，科学家们并不只是通过显微镜寻找答案。相反，他们建造巨大的机器来碰撞粒子，产生大量的信号流，这些信号必须被转化为知识。这种转化并非单一的发现时刻，而是一个漫长且曲折的计算旅程。探测器捕捉原始数据，随后数据通过中心化系统进行处理，以创建更干净的数据集。只有在那之后，研究人员才开始各自的工作：编写代码以筛选特定事件、调整数学参数，并运行复杂的统计测试，以观察是否发现了新粒子或某个理论是否成立。整个过程是一条决策链，最终结果取决于软件、设置和数据输入的特定组合。

科学界面临的挑战在于，这条链条是不断变动的。随着研究人员改进方法，他们会更改代码、微调数值并更换数据集。今天发表的一个结果，可能依赖于明天就被修改过的程序版本。如果五年前的科学家想要核查一个结果，或者一个新的团队想要在旧有的发现基础上进行研究，他们会面临一个难题：如何重建工作完成时的确切状态。仅仅保存最终的数字或源代码是不够的；人们必须保留产生这些数字的完整上下文。否则，科学发现的历史将变成一系列脱节的快照，从问题到答案的路径将会丢失。

为了解决这个问题，由北京大学的赵明睿开发了一个名为 Celebi 的框架。该系统旨在管理物理分析的生命周期，将其视为一个活生生的、不断演进的材料集合，而非一个静态文件。研究人员意识到，科学家目前组织工作的方式往往将用于计算的指令与计算产生的海量数据混在一起。这使得很难追踪哪个版本的程序导致了哪个结果，尤其是在工作随时间发生变化时。Celebi 将这两个世界分离开来。它将轻量级的指令（代码、设置和逻辑）保存在一处，而将沉重的生成数据保存在另一处。这种分离使得指令可以在不被其产生的数以太字节计的数据所拖累的情况下，得到清晰、有序的保存。

Celebi 的核心是对构建分析过程的一种全新思考方式。研究人员引入了一个被称为“物化工作流”（materialized workflow）的概念。在传统计算中，工作流通常只是一个告诉计算机下一步该做什么的步骤列表。而在 Celebi 中，工作流是由代表分析部分的实际、有形的物体构建而成的。该系统区分了“算法”（algorithm）和“任务”（task）：算法是计算的一般配方，而任务则是该配方在特定数据集上结合特定设置的具体应用。想象一位厨师拥有一份制作汤的标准食谱（算法），但为不同的顾客制作不同的批次，加入不同量的盐或使用不同的蔬菜（任务）。在这个系统中，主食谱保持不变，但每个特定的批次都被记录为一个独特的任务，并链接回该食谱及所使用的特定食材。这种结构允许同一段代码在分析的许多不同部分中被重复使用，而无需复制粘贴代码，从而减少了错误并使工作的历史更加清晰。

为了让这种结构易于人类阅读和理解，研究人员按照分析的逻辑结构组织了数字文件。该系统没有将一切隐藏在复杂的隐藏文件夹中，而是使用了一个由项目、目录、算法和任务组成的清晰层级结构。其中的每个对象都带有自己的注释和描述，因此任何查看文件系统的人都能立即理解一段代码的功能及其如何与其余工作相连。这种组织方式确保了分析具有自描述性；上下文被直接构建在文件本身之中。此外，系统根据数据的来源以不同的方式处理输入数据。如果数据是由分析中的前一个步骤生成的，系统会追踪任务之间的链接。如果数据来自外部，系统则会创建一个特定的对象来标记该外部数据进入工作流的位置。这创建了一张关于每件信息源头的连贯地图，无论其来源为何。

Celebi 最关键的创新是一个被称为“印象”（impressions）的机制。由于正在进行的分析总是在变化，研究人员需要一种方法，能够在不停止工作的情况下冻结特定的时刻。印象就像是分析在某一特定时刻的快照，捕捉了代码、参数和依赖关系的精确状态。一旦创建了印象，它就是不可变的；它不能被更改。如果科学家稍后修改了代码或设置，他们会创建一个新的工作状态，但旧的印象将保持原样。这使得他们能够保留产生特定结果时的条件记录。如果产生了一个结果，它会直接与创建该结果的印象相绑定。这意味着即使在多年后，科学家也可以查看一个结果，并精确地知道是哪个版本的代码和哪些特定的设置创建了它，因为该结果与那个不可改变的快照永久链接在一起。

该系统还将保存分析的行为与运行分析的行为分离开来。被保存的指令存储在一个仓库中，但当需要进行实际计算时，由一个名为“生产工厂”（Production Factory）的独立系统接管。一个名为 Yuki 的中间件层充当两者之间的桥梁。当需要运行一个被保存的状态时，Yuki 会将存储的指令转换为计算机可以执行的格式，并将其发送给工作流运行器。这种设计意味着分析的存储方式并不依赖于用于运行它的特定计算机或软件。研究人员可以更改计算环境或执行工具，而无需重写分析本身。这种灵活性确保了分析可以长期保存，即使用于运行它的技术在不断演进。

通过结合这些元素，Celebi 提供了一个管理物理分析生命周期的完整框架。它提供了一种将计算指令与其产生的海量数据分离的方法，将这些指令组织成人类可读的结构，并为特定状态创建永久、不可更改的记录。这种方法解决了现代科学中的一个根本问题：当底层工作不断变化时，难以复现结果的问题。研究人员证明，通过将分析视为一组结构化的、相互关联的对象，并利用“印象”来锁定特定状态，实现从最初的问题到最终答案的清晰且不间断的证据链是可能的。这项工作为未来奠定了基础，即科学结果不仅是被发表，而且是能够被完整保存、可追溯，并随时随地供任何人进行回顾和验证的。