Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab

本文介绍了 AiiDAlab，这是一个基于 Jupyter 的 Web 平台，构建于 AiiDA 基础设施之上，旨在赋能跨学科科学家以完全可重现的方式自动化、管理和分析复杂计算工作流，同时重点阐述其近期向电子实验记录本、大型设施及教育场景的拓展。

要点

想象你是一位科学家，正试图解决一个复杂的谜题。在过去，要做到这一点，你需要同时成为一位精通机械的大师、一位数据管理员和一位计算机程序员。你不得不自己构建工具、整理自己的文件柜，并编写自己的指令，仅仅为了运行一次实验。如果在设置中出现微小的错误，整个系统就会崩溃，你将失去所有进展。

AiiDAlab 就像一个“智能、一体化的工作室”，改变了这种体验。它不再强迫科学家自行构建工具，而是提供了一个预先配备齐全、用户友好的界面，科学家只需点击按钮即可运行复杂的模拟。

以下是该论文内容的简要解析，使用了简单的类比：

1. 问题：“自己动手”（DIY）的噩梦

多年来，运行计算机模拟（例如模拟新电池的工作原理或污染物在空气中的传播）需要深厚的技术专长。科学家们必须：

• 编写复杂的代码来指示计算机执行操作。
• 手动管理成千上万个文件。
• 准确记录每一次测试所使用的具体设置（以便日后证明其结果）。

这就像试图烤蛋糕，却不得不先发明烤箱、自己磨面粉，并且每次都要从头开始撰写食谱。

2. 解决方案：AiiDAlab（“智能工作室”）

作者构建了 AiiDAlab，它运行在一个名为 AiiDA 的强大引擎之上。

• 引擎（AiiDA）： 将其想象为背景中那个隐形、超级有条理的机器人管家。它自动记住你使用的每一种原料、采取的每一个步骤以及获得的每一个结果。它确保如果你重做实验，会得到完全相同的结果（可重复性）。
• 工作室（AiiDAlab）： 这是机器人管家的友好面孔。它是一个你可以在浏览器中打开的网站。你无需编写代码，而是使用简单的菜单、滑块和图片来设置实验。它隐藏了令人畏惧的技术细节，让科学家能够专注于科学本身，而不是软件。

3. 它在不同领域如何运作

该论文表明，这个“工作室”不仅仅适用于一种类型的科学；它就像一个通用适配器，可以插入不同的领域：

• 大气科学（追踪污染）： 想象一下试图通过观察风向来确定污染的来源。这需要运行数百万次微小的模拟。为此开发的 AiiDAlab 应用程序（称为 FLEXPART）允许科学家点击地图选择位置，系统会自动运行追踪污染源头所需的数千次计算。
• 化学（预测颜色）： 科学家希望了解新分子如何吸收光（这决定了它们的颜色）。通常这需要量子物理学博士学位才能完成。而 AtmoSpec 应用程序允许用户输入化学名称，系统会自动运行复杂的数学计算以预测颜色光谱，并以简单的图表展示结果。
• 电池研究（测试新电池）： 制造和测试电池既缓慢又重复。Aurora 应用程序连接到一个制造和测试电池的机器人。科学家可以在屏幕上设计测试计划，机器人随即执行，而 AiiDAlab 会自动记录每一个电压和温度读数，生成完美的实验数字日志。

4. 连接实验室与计算机

历史上，科学家将他们的“实验记录本”（纸质或数字）与计算机模拟分开保存。

• 集成： 该论文描述了一种将 AiiDAlab 与 电子实验记录本（ELNs） 链接的方法。这就像在你的物理实验室和计算机之间有一扇魔法门。你可以将分子从实验记录本发送到计算机，运行模拟，然后让结果自动弹回你的记录本中，并附带所有关于计算过程的证明。

5. 助力大型设施与学生

• 对于大型科学中心： 在像保罗·谢勒研究所（Paul Scherrer Institute，使用巨型中子机器）这样的地方，研究人员往往在短暂的实验前难以在笔记本电脑上安装正确的软件。AiiDAlab 就像一个“预加载的 USB 驱动器”，可以立即投入使用。研究人员登录后，无需安装任何内容，即可立即访问所需的工具和数据。
• 对于学生： 在课堂上，教师可以向学生提供一个 AiiDAlab 的链接。学生可以在几分钟内运行高级模拟，而无需在自己的计算机上安装复杂的软件。这从第一天起就教导他们如何以“正确的方式”进行科学（即跟踪数据）。

6. 让起步变得简单

作者承认，过去设置该系统非常困难。为了解决这个问题，他们创建了类似“一键安装程序”的工具。

• 演示服务器： 他们构建了一个任何人都可以免费尝试的公共版本工作室。这就像一次“试驾”，你可以在一分钟内运行一个小型模拟，看看它是如何工作的。
• 本地安装： 对于那些希望在自己的计算机上运行的人来说，他们创建了一个工具，可以自动设置一切，因此你无需成为计算机专家即可开始使用。

总结

简而言之，AiiDAlab 将管理复杂计算机模拟的繁重工作从科学家手中接管过来。它将一个混乱、充满代码的过程转变为一个干净、有序且可视化的体验。它确保每一步都被自动记录，使科学更加可靠、更易于重复，并让更广泛的人群（无论是在大学教室还是在高科技研究设施中）都能参与其中。

技术摘要

技术摘要：通过 AiiDAlab 的可复现工作流加速跨科学学科发现

问题陈述
尽管科学研究可用的计算能力日益增强，但稳健且自动化的工作流仍难以编排。虽然像 AiiDA 这样的工作流管理系统（WFMS）已确立了可复现性、溯源追踪和高通量执行的核心原则，但这些工作流的实际执行通常仍需大量的技术专长。研究人员仍须配置执行环境、定义计算输入、解读复杂输出，并管理远程高性能计算（HPC）资源上并行代码执行的复杂性。这一技术壁垒限制了先进计算工具的采用，尤其是对于那些希望专注于研究问题而非基础设施管理的实验科学家而言。此外，计算工作流与电子实验记录本（ELN）的集成，以及在设施中处理大规模实验数据仍具挑战性，往往需要手动数据传输和分散的软件栈。

方法论
为解决这些挑战，作者开发了AiiDAlab，这是一个由 AiiDA 计算基础设施驱动的基于 Jupyter 的 Web 平台。该平台旨在通过运行在用户 Web 浏览器中的图形用户界面（GUI）来抽象底层系统的复杂性，从而降低操作复杂软件系统所需的认知负荷。

技术架构依赖于以下几个关键组件：

• 容器化与部署：AiiDAlab 作为容器化应用进行部署，通常使用 JupyterHub 和 Kubernetes（或用于单节点设置的 MicroK8s）。这支持基于云和本地的部署，确保环境的一致性和可复现性。
• 模块化应用生态系统：该平台采用基于插件的架构，特定的科学应用（apps）构建为模块化扩展。这些应用利用 aiidalab-widget-base 库，提供用于工作流配置、作业提交、监控和数据可视化的可重用 UI 组件。
• 溯源与自动化：在底层，AiiDA 管理工作流的执行，自动捕获输入、输出和元数据，以确保无需人工干预即可实现完整的溯源追踪。
• 集成策略：该平台通过特定连接器与外部系统集成。这包括用于链接 ELN 的 aiidalab-eln 包（以 openBIS 为例演示），以及用于硬件控制（例如用于电池循环器的 tomato 包）和数据解析（例如用于实验数据的 yadg）的自定义插件。
• 数据处理：为了管理大型数据集（例如气候建模中的 TB 级数据或中子散射中的 GB 级数据），系统采用 AiiDA 的“暂存”（stashing）机制，将数据在临时暂存空间与长期存储之间传输，并使用 cubehandler 等工具高效可视化体数据。

主要贡献与应用
本文详细阐述了 AiiDAlab 从材料科学工具演变为跨学科平台的历程，通过以下具体实施案例：

1. 超越材料科学的扩展：

   • 大气科学（FLEXPART 应用）：专为 ExAiRIM 项目开发，该应用自动化了温室气体排放的逆建模。它利用 FLEXPART 代码管理浓度足迹的生成，并与 Empa 拉格朗日区域反演系统（ELRIS）接口以量化国家排放。它通过实施专用的数据传输工作流来处理大型气象数据集。
   • 大气化学（AtmoSpec 应用）：该应用利用核系综方法（NEA）和 ORCA 代码，实现挥发性有机化合物紫外/可见光谱的从头算（ab-initio）预测。它引导用户从 SMILES 字符串输入到生成玻尔兹曼加权光谱，这项任务此前仅限于理论专家。
   • 电池研究（Aurora 应用）：与用于电池组装的 Aurora 机器人平台集成，该应用统筹充放电循环实验。它允许用户设计协议、管理多达 36 个电芯的批量提交，并使用 yadg 解析器将实验数据自动解析为符合 FAIR 原则的格式。

2. 与 ELN 和 LIMS 的集成：
   作者展示了 AiiDAlab 与 openBIS ELN/LIMS 之间的“往返”集成。用户可以从 ELN 中提取分子库存数据，通过 AiiDAlab 提交模拟，并将结果（图像和溯源档案）返回至 ELN。本文提出使用语义注释（RDF/JSON-LD）以将这种互操作性推广到不同的 ELN 和 WFMS，这一概念正在 PREMISE 和 MADICES 项目中探索。

3. 大型设施中的实验数据分析：
   在保罗·谢勒研究所（PSI），AiiDAlab 被部署以支持 CAMEA 中子谱仪和 ICON 束线。LNS 应用封装了 MJOLNIR 分析代码，允许用户在安全、容器化的环境中通过共享 NFS 挂载“实时”访问实验数据。这消除了本地软件安装和手动数据传输的需求，将每位用户的设置时间减少了 1–2 小时。

4. 教育应用：
   AiiDAlab 作为计算材料科学的教学平台。通过提供预配置环境（例如内置教程的 Quantum ESPRESSO 应用），它使学生能够在不安装编译器或管理 HPC 连接的情况下进行第一性原理模拟。这种方法在 PSI 的一次混合学校中得到了成功测试，参与者中几乎没有 DFT 经验的人也能在几分钟内启动模拟。

5. 部署与可用性改进：
   本文概述了降低采用门槛的工具，包括用于本地 Docker 部署的 aiidalab-launch 以及用于机构多用户设置的标准 Kubernetes Helm 图表。提供了一个公共演示服务器（demo.aiidalab.io）供即时探索。“底层”改进包括自动化测试、通过 aiidalab-mfa-cscs 应用支持 HPC 资源的多因素认证（MFA），以及用于提高响应速度的现代前端技术（延迟加载）。

结果
AiiDAlab 的实施带来了以下成果：

• 降低技术门槛：实验人员和学生现在可以通过直观的 GUI 执行复杂工作流（例如 DFT、逆建模、电池循环），而无需深入了解底层代码的领域知识。
• 运营效率：在 PSI，部署显著减少了软件设置和数据传输时间，使得在束线运行期间能够立即进行数据分析。
• 可复现性：该平台确保所有输入、过程和输出均被追踪，从而允许共享模拟状态和分析工具。
• 跨学科采用：该平台已成功适应大气科学、电池研究和中子散射领域，证明了其领域无关的特性。
• 教育影响：在最近的一次学校活动中，超过 60% 没有 DFT 经验的参与者成功运行了模拟，满意度评分很高（8.5/10）。

意义
本文将 AiiDAlab 定位为不仅仅是 AiiDA 的图形界面，而是一个加速跨学科科学发现的综合平台。其意义在于能够普及对高性能计算资源和复杂工作流的访问，将常规任务从专门的计算团队转移给更广泛的实验研究人员群体。通过与 ELN 和大型设施集成，AiiDAlab 弥合了实验科学与计算科学之间的鸿沟，促进了可查找、可访问、可互操作、可重用（FAIR）的研究环境。作者强调，虽然该平台起源于材料科学，但其模块化架构和对用户体验的关注使其成为 diverse 科学领域的可扩展解决方案，最终旨在促进全球开放、可复现和协作的研究。