⚛️ high-energy experiments

Data Preservation in High Energy Physics: Global Report 2026

《2026年高能物理数据保存全球报告》强调了在遗产数据复兴和人工智能驱动自动化集成方面的显著进展，同时强调了需要持续的资金投入和机构支持，以确保开放科学和FAIR数据原则的长期可持续性。

原作者： Matthew Bellis, Jamie Boyd, Daniel Britzger, Andy Buckley, Chris Burr, Micheal Buchar, Gang Chen, Andrew Chisholm, Jiri Chudoba, Michael Davis, Cristinel Diaconu, David Dobrigkeit Chinellato, Marcus E

发布于 2026-07-09

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Matthew Bellis, Jamie Boyd, Daniel Britzger, Andy Buckley, Chris Burr, Micheal Buchar, Gang Chen, Andrew Chisholm, Jiri Chudoba, Michael Davis, Cristinel Diaconu, David Dobrigkeit Chinellato, Marcus Ebert, Apranik Fatehi, Dillon S. Fitzgerald, Jose Benito Gonzalez Lopez, Richard William Gran, Giovanni Guerrieri, Martin Habedank, Hao Hu, David Horvat, Luka Lambrecht, Clemens Lange, Kati Lassila-Perini, Jerome Lauret, Jean-Yves Le Meur, Dietrich Liko, Panna Liptak, Zach Marshall, Thomas McCauley, Cameron Duncan McClymont, Wesley Middelbos, Micha Moskovic, Piet Nogga, Ryunosuke O'Neil, Stefano Piano, Alan Price, Tomasz Procter, Fazhi Qi, Diana Rand, Hossein Rashidi, Emily Rensch, Pablo Saiz, Ulrich Schwickerath, Tibor Šimko, Andrii Verbytskyi, Dirk Zerwas, Zhengde Zhang, Graham Wilson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，高能物理学的世界就像一座巨大的全球图书馆，旨在研究宇宙的基本构建模块。几十年来，科学家们一直在运行着大型实验（如 LEP、LHC 等），这些实验产生了堆积如山的数据——数以万亿计的数字“页面”，描述了粒子如何碰撞和行为。

这份题为**《高能物理中的数据保存：2026年全球报告》**的报告，是对这座图书馆维护情况的一次现状检查。这不仅仅是关于如何把书放在书架上；而是要确保在 20 年或 50 年后，一位新的科学家走进这里时，能够读懂一本用被遗忘语言编写的书，理解其中描述的实验过程，甚至能基于旧的故事谱写新的篇章。

以下是使用日常类比对该论文核心观点的拆解：

1. “时间胶囊”问题：让旧数据重获新生

报告强调，科学家们正成功地挖掘出几十年前实验（如 1990 年代的 LEP 对撞机）的数据。

类比： 想象你发现了一本来自 1990 年的尘封已久的、手写的食谱书。书中的食材是用一种没人再使用的语言记录的，而且烹饪工具也已经过时了。
成就： 论文显示，科学家们已成功“翻译”了这些旧食谱。他们将数据转换为现代格式（例如将手写笔记转换为数字 PDF），并使用现代“烹饪工具”（人工智能和机器学习）来重新分析这些旧数据。
结果： 他们发现，利用现代技术处理这些旧数据，实际上能使结果比实验最初运行时更加出色。例如，他们利用旧数据识别特定类型粒子喷注（jets）的准确度比以前更高。

2. “图书馆”与“仓库”（开放数据）

欧洲核子研究中心（CERN，位于欧洲的巨型实验室）有一项政策，即在几年后向公众发布数据。

类比： 把实验室想象成一座图书馆。有些书是“热”的（放在前台，容易取用），而有些书是“冷”的（储存在深层的、恒温恒湿的地下室，因为它们很少被借阅，但必须妥善保存）。
创新： 报告描述了一种使用磁带（类似于巨大的、高科技的 VHS 录像带）的新型“冷存储”系统。这使他们能够以低廉的成本存储海量数据（超过 5 PB，相当于 500 万张 DVD）。
代价： 如果你想借阅一本“冷”书，你必须提出申请，而且可能需要几天时间才能从地下室取出并送到前台。但这节省了资金，并确保了数据不会丢失。

3. “机器中的幽灵”（软件保存）

没有产生数据的软件，数据本身是毫无意义的。

类比： 想象你有一个视频文件，但播放它所需的软件只能在一部 1995 年的电脑上运行，而那台电脑早已不复存在。
解决方案： 报告详细介绍了他们是如何让这些“幽灵”计算机保持活跃的。他们使用“虚拟机”（数字时间机器）来模拟旧的操作系统。这使得科学家能够在现代笔记本电脑上运行 20 年前的完全相同的软件，从而确保数据能按照原定方式被精确读取和分析。

4. “AI 图书管理员”（新技术）

报告对使用人工智能（AI）来管理这座图书馆感到非常兴奋。

类比： 与其让一名人类图书管理员手动阅读每一本书以了解其内容，不如构建一位 AI 图书管理员，她可以在几秒钟内阅读数千篇科学论文。
应用场景：
- 寻找数据： AI 可以阅读一篇已发表的论文，并自动告诉你：“这位作者使用了 2017 年运行期间的 500 GB 数据。”这有助于追踪数据的实际使用情况。
- 编写代码： AI 正被教授如何帮助编写新实验的“食谱”（分析工作流），从而减少人为错误。
- 与历史对话： 他们正在构建“聊天机器人”（类似于专门版的 Siri 或 Alexa），这些机器人可以通过搜索数十年的技术笔记和手册，回答有关旧实验的问题，帮助新科学家快速上手。

5. “人的因素”（知识流失的风险）

报告警告说，虽然我们擅长保存“数据”，但我们面临着失去如何使用这些数据的“知识”的风险。

类比： 你可以将一辆车在车库里保存 50 年，但如果知道如何修理引擎的原型技师退休并去世了，且说明书也丢了，那么这辆车就只是一个沉重的金属箱。
挑战： 许多建造了这些实验的专家正在退休。报告强调，我们需要在他们离开之前，捕捉他们的“隐性知识”（那些他们知道但没有写下来的东西）。他们正在利用 AI 来协助采访这些专家，并将他们的记忆转化为可搜索的数据库。

6. “全球协作”

这不仅仅发生在一个实验室里。

类比： 这就像是一个全球性的图书馆联盟在共同努力，以确保如果其中一座图书馆失火，书籍在另一座图书馆中依然安全。
行动： 不同国家和实验室（在欧洲、美国、中国等地）正在不同地点创建数据的备份副本。他们还商定了通用的“语言”（标准），以便来自美国图书馆的书籍可以被中国的图书管理员阅读，而不会出现翻译问题。

总结

论文声称，数据保存工作正在进行，但这是一场与时间的赛跑。

成功之处： 我们能够成功复活旧数据，利用现代 AI 进行分析，并为未来进行廉价存储。
挑战： 我们必须在专家退休之前迅速行动，以保存使用这些数据的“人类知识”，并且我们需要确保有足够的资金和存储空间来让这座“图书馆”永远开放。

最终目标是确保这些大规模实验产生的独特数据能成为后代持续利用的生命资源，而不是仅仅成为一座数字坟墓。

技术摘要：DPHEP-2026-01 – 高能物理中的数据保存：2026年全球报告

问题陈述
高能物理（HEP）领域正面临着一个关键挑战：随着遗留实验结束运行以及新设施产生前所未有的数据量，如何维持实验数据的长期科学可用性。核心问题不仅在于简单的位级（bit-level）存储，还涉及保存完整的“分析链”，包括软件环境、定标条件、文档以及隐性知识，以确保可重复性并实现未来的重新解释。识别出的关键问题包括：遗留软件栈（如 FORTRAN77、ZEBRA、X11）的快速过时；维护陈旧实验活跃计算资源的成本高昂；由于遗留系统硬件故障导致数据丢失的风险；以及将现代 AI/ML 技术与存档数据集相结合的难度。此外，需要在开放数据政策与存储可持续性之间取得平衡，特别是在数据量超过 5 PB 的情况下，需要在不损害可访问性的前提下采用具有成本效益的冷存储解决方案。

方法论
本报告综合了第五届 DPHEP 工作坊（2026 年 3 月）的贡献，涵盖了广泛的实验和技术方法：

遗留数据复兴与现代化： 多个实验（ALEPH、DELPHI、OPAL、BABAR、H1）正在采用桥接遗留框架与现代框架的策略。这包括将遗留数据格式（如 ZEBRA banks）转换为现代标准（如 EDM4HEP 和 Key4hep），并利用容器化环境（CVMFS、虚拟机）在当代操作系统上运行遗留软件栈。
开放数据与再分析流水线： 实验正在实施分层的数据发布策略。ATLAS 和 CMS 利用轻量级格式（PHYSLITE）和事件生成器（HEPMC）进行教育和研究。LHCb 开发了“Ntupling 服务”，允许从海量内部档案中按需生产分析就绪的数据集，从而避免了发布数 PB 原始数据的需求。MINERvA 发布了扁平 ROOT 树和软件框架供社区使用。
基础设施与存储： CERN Open Data 门户网站实现了使用 CERN 磁带归档（CTA）和文件传输服务（FTS）的冷存储架构，以管理超过 5 PB 的数据，在磁盘性能与磁带成本之间取得平衡。CERN Preserve 平台利用符合 OAIS 标准的流水线（Archivematica）来摄取并保存来自各种仓库的各类数字内容（论文、文档、代码）。
AI 与自动化： 报告详细介绍了 AI 在数据策展和分析中的集成。这包括使用大语言模型（LLM）从期刊文章中提取数据集元数据，使用 AI 智能体（DORA）实现数据生命周期管理和元数据补全的自动化，以及使用 AI 辅助工作流编写（REANA）来减少可重复分析中的错误。
知识保存： 诸如布鲁克海文国家实验室（BNL）的“SciBot”等方法利用检索增强生成（RAG）技术，使碎片化的机构知识（日志、技术笔记）能够通过自然语言进行搜索，同时保持数据主权。

主要贡献

证明了遗留数据的科学价值：
- ALEPH： 使用基于深度学习的喷注味标定器（ParticleTransformer）对 1994 年数据进行重新分析，与遗留算法相比，在 b-jet 标定方面的背景抑制能力实现了数量级的提升。
- OPAL： 利用现代工具（CVMFS、GEANT3）成功对 26 年前的旧数据进行了重新处理，从而改善了辐射中微子计数中的系统不确定性。
- 泡室（Bubble Chamber）： 一项可行性研究表明，仅基于存档的技术文档，即可利用 1960 年代 CERN 2 米泡室的数字化摄影胶片来重建粒子轨迹和不变质量（例如 $K^0_S$ ），并获得有用的精度。
技术转型：
- 格式转换： “Amphitrite”项目正在将 DELPHI 遗留数据转换为 EDM4HEP，从而能够使用现代 ROOT RDataFrame 和 Python 工具。
- 工具演进： BABAR 分析师成功地从遗留的 Tcl/ROOT 工作流过渡到现代 Python 工具（Awkward、Uproot、Scikit-learn），用于分析扁平 ntuples，使得本科生也能参与遗留物理搜索（如重子数破坏）。
- 生成器基准测试： k4GeneratorsConfig 包提供了一种统一且自动化的方法，用于配置和基准测试面向未来电子-正电子对撞机的蒙特卡洛生成器，确保了可重复性。
基础设施与政策进展：
- 冷存储： CERN Open Data 门户网站成功将约 1.8 PB 的数据迁移到基于磁带的冷存储中，处理了来自公众的 140 多个阶段请求，证明了自动化磁带阶段化技术的可行性。
- 数据保存政策： ATLAS 和 CMS 细化了发布特定数据格式（PHYSLITE）和分析对象的政策；同时，LHCb 的 Ntupling 服务为提供 Run 2 数据的开放访问提供了一个可扩展的模型，而无需发布完整的原始数据集。
- 整体性保存： 布鲁克海文国家实验室（BNL）的 DAPP 项目概述了一个两阶段策略（密集重新处理后进行功能性保存），并集成了 AI（SciBot）进行知识转移，解决了“人类专业知识”缺失的问题。
标准与框架：
- EOSC EDEN： 定义了核心保存过程（CPPs）和共享服务，以使不同数字保存实践在多样化的科学学科间保持一致。
- REANA： 增强了对 Dask 工作流和 AI 辅助分析编写的支持，促进了被保存数据的重新解释利用。

结果

出版物增长： 引用 LEP 开放数据的出版物显著增加，DELPHI 和 OPAL 在 2025–2026 年间发布了新的数据访问政策和数据集。
性能提升： 将现代 AI 技术应用于 ALEPH 数据，在保持相同背景率的情况下，使 b-tagging 的信号效率翻倍。
系统稳定性： 尽管硬件老化，BABAR LTDA 系统通过冗余仍保持运行，但认为有必要向永久性公共档案进行过渡。
采用指标： ATLAS Open Data 门户的使用覆盖了六大洲，教育材料满意度极高（4.9/5）。CERN Open Data 门户托管超过 5 PB 的数据，其中 1.8 PB 已成功迁移至冷存储。
AI 集成： 基于 LLM 的论文数据集使用情况提取实现了高精度和低成本（15 篇论文仅需 10 美元），且 DORA 框架展示了生成符合 FAIR 标准且 AI 就绪的 PB 级数据集的能力。

意义
本文断言，数据保存是一个动态过程，对于新发现、教育和跨学科创新至关重要。其意义在于证明了：

遗留数据仍是宝贵的资源： 现代分析技术可以大幅提高数十年前实验（如 LEP、泡室）测量结果的精度。
可持续性需要创新： 超越简单的存储，转向“功能性保存”（保存分析能力）至关重要。这包括采用现代格式（EDM4HEP）、自动化工作流（REANA、DORA）以及利用冷存储来管理成本。
开放科学正在成熟： 向 FAIR 原则、开放数据政策以及发布分析框架（而非仅仅是数据）的转变，正在推动更广泛的社区参与，包括非专家和学生。
AI 是变革性的工具： AI 不仅用于分析，而且正成为数据策展、元数据提取和知识保存的重要组成部分，有助于弥合遗留系统与未来需求之间的鸿沟。

报告总结指出，尽管在资金、机构支持以及遗留软件复杂性方面仍存在挑战，但 DPHEP 协作组的多实验、多站点方法为确保高能物理独特数据集的持久可访问性和实用性提供了稳健的框架。LEP 数据的成功复兴以及可扩展开放数据服务的实施，为高能物理数据保存的长期可行性提供了概念验证。