The IAEA Fusion Data Lake Project -- Accelerating AI and Big Data Applications through Open Science and FAIR Data

本文介绍了国际原子能机构（IAEA）启动的“聚变数据湖”项目，该项目旨在通过构建符合 FAIR 原则的现代数据基础设施（包括国际数据目录、集中式存储和数据联邦），支持人工智能在聚变领域的开发与应用，并展示了其概念验证成果及未来扩展计划。

要点

这篇论文介绍了一个由国际原子能机构（IAEA）发起的宏大项目，名叫**“聚变数据湖”（Fusion Data Lake, FDL）**。

为了让你轻松理解，我们可以把这项工程想象成在建造一个**“全球核聚变科学界的超级图书馆和中央厨房”**。

以下是用大白话和生动的比喻对这篇论文的解读：

1. 为什么要建这个“数据湖”？（背景与需求）

现状： 现在的核聚变研究（也就是人造太阳）正在尝试用人工智能（AI）来加速。AI 就像是一个超级聪明的学徒，它需要大量的“教材”才能学会如何控制等离子体、设计实验。
问题： 目前，这些“教材”（实验数据）散落在世界各地的实验室里，像是一本本被锁在不同国家、不同保险柜里的孤本。有的实验室数据格式是 A 语言，有的是 B 语言，AI 很难一次性读懂所有书，导致学习速度很慢。
解决方案： IAEA 决定建一个“数据湖”。这就好比把全世界散落的“孤本”收集起来，统一翻译、整理，放在一个巨大的、谁都能访问的图书馆里。这样，AI 就能一次性读到所有数据，迅速进化成“大师”。

2. 这个“图书馆”长什么样？（平台架构）

这个项目不仅仅是存数据，它有三个核心功能，我们可以把它比作一个现代化的物流中心：

• 数据目录（Data Catalogue）： 就像图书馆的检索系统。不管数据来自哪里，你都能在这里搜到“哦，原来英国 MAST 装置在 2020 年做过这个实验”。
• 数据联邦（Data Federation）： 这是最厉害的地方。它不需要把所有数据都搬到一个大仓库里（那样太慢太贵）。它像是一个**“万能快递中转站”**。你在这个平台点一下，系统会自动去英国的、日本的、美国的实验室把数据“借”过来给你看，数据其实还留在原主人那里，但你能无缝访问。
• 中央存储（Centralised Storage）： 对于那些还没准备好“联网”的数据，这里提供一个临时中转站，先把它们存好，等以后再接入网络。

技术装备： 他们用了像 Snowflake（云计算）、微软 Azure（存储）这样的顶级“卡车和仓库”技术，确保这个系统既快又稳。

3. 他们是怎么一步步建成的？（三个阶段）

这个项目不是一口气吃成胖子，而是分三步走的“试吃”过程：

• 第一阶段（Phase I）：打通第一条路。
  他们先试着把**英国（MAST）**的数据连进来。就像先修通了从“英国分店”到“总店”的一条高速公路，证明了数据可以跨洋传输，不用物理搬运。
• 第二阶段（Phase II）：扩大规模，测试承载力。
  他们又拉进了**日本（LHD）和美国（MIT）**的数据。这就像是在高速公路上同时跑起了三辆不同型号的大卡车。系统证明了自己能处理不同来源、不同格式的数据，而且还能把它们整理成统一的格式（就像把不同国家的书都编上统一的索引号）。
• 第三阶段（Phase III）：全面开放，准备正式营业。
  接下来要加入**中国（HL-2A）**的数据，并且要把“图书馆”的界面做得更友好，让科学家和 AI 程序都能轻松使用，准备正式向全球科学家开放。

4. 怎么保证大家不乱拿东西？（数据治理）

既然是全球共享，肯定有人担心：“我的数据会不会被乱用？”或者“谁有权看我的绝密数据？”
为此，他们制定了一套**“图书馆借阅规则”**：

• 使用条款（ToS）： 就像进图书馆要遵守规定。
  • 上传者必须保证自己有权利分享这些数据。
  • 下载者必须承诺按规矩使用，并且要注明出处（就像写论文要引用参考文献一样），不能偷偷把数据据为己有。
• 隐私分级（像图书馆的借阅权限）：
  1. 公共区（Public）： 谁都能看，不用登录（像公开杂志）。
  2. 内部区（Internal）： 只要注册了 IAEA 账号就能看（像会员制书店）。
  3. 限制区（Restricted）： 只有特定国家的特定机构人员能看（像内部资料室）。
  4. 封闭区（Closed）： 只有经过数据主人亲自点头同意的人才能看（像绝密档案）。

5. 总结与未来

核心意义： 这个“聚变数据湖”项目，利用 IAEA 作为国际协调者的独特身份，把全球核聚变的数据孤岛连成了一片大陆。它不仅让人类科学家能更方便地交流，更重要的是，它为AI 和大数据提供了一个完美的“训练场”。

未来展望： 随着这个平台越来越成熟，它将帮助人类更快地掌握“人造太阳”的奥秘，加速清洁能源的实现。这不仅仅是一个数据库，它是通往未来无限清洁能源的**“数据高速公路”**。

---

一句话总结：
这就是 IAEA 在帮全世界的核聚变科学家建一个**“全球通用的数据共享云平台”**，让 AI 能像吃自助餐一样，轻松吃到全球最好的实验数据，从而加速人类实现“人造太阳”的梦想。

技术摘要

国际原子能机构（IAEA）聚变数据湖项目技术总结

1. 研究背景与问题 (Problem)

随着人工智能（AI）和大数据技术在聚变能源领域的快速发展，利用神经网络作为代理模型、数字孪生以及大语言模型进行实验日志分析和数据建模，已成为加速聚变场景设计、等离子体控制和物理洞察的关键。然而，当前大规模扩展 AI/ML 活动面临的主要瓶颈是缺乏现代化的数据平台和富含元数据的多机数据集。

尽管英国原子能管理局（UKAEA）和日本国家聚变科学研究所（NIFS）等机构正在努力建设基础设施，但全球范围内的数据共享仍存在障碍。现有的数据分散在不同机构的异构系统中，缺乏统一的标准和访问接口，导致难以开发能够泛化到未来聚变装置的“机器无关”（machine-agnostic）模型。因此，亟需一个符合 FAIR（可发现、可访问、可互操作、可重用）原则的全球性数据基础设施。

2. 方法论与平台架构 (Methodology & Architecture)

IAEA 通过其“聚变 AI 协调研究项目”（AI for Fusion CRP），启动了**聚变数据湖（Fusion Data Lake, FDL）**项目。该项目旨在利用 IAEA 的全球协调地位，构建一个现代化的数据基础设施。

2.1 核心服务目标

平台设计旨在实现三大目标：

1. 数据目录（Data Catalogue）：建立可查询的中央目录，汇总全球实验装置和诊断信号。
2. 数据联邦（Data Federation）：降低访问门槛，通过单一接入点连接去中心化的实验和模拟存储库。
3. 集中式存储（Centralised Storage）：为尚未联邦化的数据提供中短期的集中存储。

2.2 技术栈与架构

FDL 基于 IAEA 的企业级技术栈构建，采用现代化的数据解决方案：

• 计算与数据库：使用 Snowflake 进行 Python 数据管道计算和 SQL 数据库管理。
• 存储与 DevOps：利用 Microsoft Azure 进行存储，Azure DevOps 管理 CI/CD 流程。
• 应用开发：使用 C# 和 .Net 开发 Web 应用程序。
• 数据管道：采用 ETL（提取、转换、加载） 流程，结合**数据中台（Medallion）**架构（青铜、白银、黄金层）。
• 元数据驱动：开发了基于配置文件的元数据驱动摄取管道，支持自动化的数据集转换、数据模型映射及目标数据库定义，显著降低了新数据源集成的维护成本。

2.3 数据模型

• 最小元数据模型（Minimal Metadata Model）：定义了涵盖“核心”、“惯性约束聚变（ICF）”和“磁约束聚变（MCF）”三个表的高层级目录模型。
• 本体对齐：该模型的本体正在与 ITER IMAS 数据字典 对齐，以促进 FDL 的广泛采用。

3. 关键贡献与实施阶段 (Key Contributions & Results)

项目通过三个概念验证（PoC）阶段逐步推进，目前已完成第二阶段，正在准备第三阶段。

• 第一阶段（PoC I）：验证数据联邦概念

  • 成果：在 Snowflake 上构建了初始数据平台和 Web 应用。
  • 数据源：集成了英国 UKAEA 的 MAST（兆安球形托卡马克）实验日志数据。
  • 机制：通过 REST API 实现联邦，允许 FDL 用户直接下载 MAST 数据，而无需数据物理迁移至 FDL 基础设施，验证了去中心化访问的可行性。

• 第二阶段（PoC II）：验证平台可扩展性

  • 成果：成功集成三个不同来源、不同摄取模式的数据集，证明平台能处理异构数据。
  • 新增数据源：
    • 日本 NIFS 的 大型螺旋装置（LHD）：通过 IAEA Azure Blob 存储同步至 Snowflake。
    • 美国 MIT PSFC 的 Alcator C-Mod：结合 PSFC 工具（disruption-py）、MDS Plus 及 IAEA 多云平台进行摄取。
  • 意义：展示了单一 FDL 数据模型能够统一处理来自不同机构、不同格式的数据。

• 第三阶段（PoC III，进行中/准备中）：扩展与成熟化

  • 计划：纳入中国西南物理研究院的 HL-2A 装置数据。
  • 目标：完善前端接口（API 和 Web 应用），使其达到可发布水平，支持早期用户根据服务条款进行测试。

4. 数据治理策略 (Data Governance)

为确保项目的可扩展性和合规性，项目制定了临时的数据治理策略，包括：

• 服务条款（ToS）：涵盖数据上传（需声明授权和许可）、下载（需遵守许可协议）和归属/引用（强制要求引用数据来源及 FDL 平台）。
• 分级访问权限：
  1. 公开（Public）：无需登录即可访问。
  2. 内部（Internal）：需 IAEA NUCLEUS 账户（自助注册）。
  3. 受限（Restricted）：仅限数据所有者预先批准机构（可能通过 OpenAthens 认证）的 NUCLEUS 用户。
  4. 封闭（Closed）：仅限数据所有者 individually 批准的 NUCLEUS 用户。
• 未来将建立详细的权限矩阵，覆盖查看、下载和编辑权限。

5. 意义与展望 (Significance & Future)

• 全球包容性：FDL 项目利用 IAEA 的独特地位，打破了机构壁垒，为全球聚变科学界、工业界和学术界提供了一个包容性的数据共享平台。
• AI 赋能的基础设施：通过提供符合 FAIR 原则的、富含元数据的多机数据集，以及人类友好和可编程（API）的接口，FDL 为开发机器无关的 AI/ML 模型奠定了坚实基础，直接支持未来聚变装置的设计与控制。
• 技术验证：三个阶段的 PoC 成功证明了该平台在技术架构（Snowflake/Azure 集成）和治理模式上具备整合多样化数据集和机构的能力。

结论：聚变数据湖项目正在从概念验证向预发布版本过渡，未来将继续与"AI for Fusion CRP"内外的合作伙伴紧密合作，扩展数据覆盖范围，提升平台能力，加速聚变能源的 AI 驱动发展。