HS3: A Descriptive, Interoperable Serialization Standard for Statistical Models in High-Energy Physics

本文介绍了 HS3，这是一种全新的、与实现无关、人类可读且可扩展的序列化标准，旨在为高能物理学中统计模型的表示与交换提供一种通用的、符合 FAIR 原则的格式，从而克服现有特定软件格式的局限性。

要点

想象一下，高能物理学（研究像大型强子对撞机中那样微小粒子的学科）就像一场规模宏大的全球烹饪大赛。几十年来，厨师们（科学家们）一直在创造令人惊叹的食谱（统计模型）来解释宇宙是如何运作的。然而，这里有一个重大问题：每位厨师都在用一种不同的、秘密的语言编写他们的食谱。

有些人用的是“ROOT”，这是一种只有特定计算机才能读取的复杂代码。另一些人使用“pyhf”，这是一种人类易于阅读但无法处理所有类型菜肴的更简单的格式。如果你想把两个食谱组合成一顿大餐，或者如果你想在新的电脑上阅读十年前的食谱，这往往是不可能的。这些食谱就像是写在餐巾纸上的手写笔记，如果墨水褪色或纸张弄湿，它们就会腐烂。

迎来 HS3：通用的食谱指南

这篇论文介绍了 HS3（高能物理统计序列化标准）。你可以将 HS3 视为一种全新的、通用的食谱语言，它解决了所有这些问题。

以下是它的工作原理，使用简单的类比：

1. “描述性”语言（是菜单，而非厨师）

以前，某些食谱格式就像是给机器人一份严格的、分步骤的指令（例如：“左转，然后搅拌3秒钟”）。如果机器人坏了，食谱也就没用了。
HS3 则不同。它是描述性的。它不告诉计算机如何烹饪，它只是描述这道菜是什么。它会说：“这是一碗高斯汤，”或者“这是一锅泊松炖菜。”

• 类比： 想象一份菜单，上面列出了食材和风味，但并不关心你在法国厨房、日本厨房还是微波炉中进行烹饪。因为它只是描述了这道菜，所以任何厨师（任何计算机程序）都可以阅读它并以自己的方式进行烹饪。

2. “乐高”结构（构建模块）

论文解释说，HS3 构建模型的方式就像是一个计算图，这只是一个高级说法，意思就是“乐高积木的地图”。

• 你有代表食材的积木（数据）。
• 你有代表规则的积木（函数）。
• 你有代表最终成品菜肴的积木（似然函数）。
• 神奇之处： 你可以将这些积木以清晰、逻辑化的方式拼凑在一起。如果你想更换一种食材，你只需更换那一个积木。你不需要重建整个塔楼。这使得即使是面对庞大且复杂的结构，也能轻松看清整个模型的组成方式。

3. “时空旅行”功能（长期保存）

科学界最大的担忧之一是：“我们在 50 年后还能读懂我们的数据吗？”

• 旧方式： 如果你以某个特定程序版本的格式保存文件，而那个程序在 10 年后消失了，你的文件就会变成“数字化石”——无法读取。
• HS3 方式： 因为 HS3 是用一种简单的、人类可读的格式（如 JSON，看起来就像纯文本）编写的，它不依赖于任何特定的软件。即使所有的当前计算机都损坏了，人类理论上仍然可以阅读 HS3 文件并理解其中的食谱。这就像是用英语而不是秘密代码来写食谱；它能在所使用的工具消亡后依然得以生存。

4. “翻译官”（互操作性）

论文展示了 HS3 如何作为一个通用的翻译官。

• 它可以将用旧有的“ROOT”语言编写的食谱翻译成 HS3。
• 它可以将来自“pyhf”的食谱翻译成 HS3。
• 它甚至可以翻译回去。
• 结果： 使用 Python 计算机的科学家现在可以与使用 C++ 计算机的科学家共享模型，并且双方都能完美理解。他们甚至可以检查自己是否得到了相同的结果，就像两位厨师品尝同一碗汤以确保食谱的一致性一样。

5. 为什么这在当下至关重要

论文指出，物理学领域正在从仅仅是“发现新粒子”转向“以极高的精度测量它们”。这需要结合许多不同的实验和模型。

• 问题： 如果食谱是用不同的语言编写的，你就无法将它们结合起来。
• 解决方案： HS3 允许科学家轻松地组合这些模型，检查其中的错误，并发布它们，以便任何人（甚至是原始团队之外的人）都可以使用它们来测试新的理论。

总结

简而言之，HS3 是一种用于记录粒子物理学“数学食谱”的新标准。它是：

• 人类可读的： 你可以用眼睛阅读，而不只是依靠机器。
• 通用的： 它适用于不同的计算机语言和软件。
• 面向未来的： 它确保了今天的科学发现可以被后代理解和重复利用，无论他们使用什么样的技术。

该论文声称，这一标准已经用于发布数据、检查不同计算机程序之间的结果，甚至帮助学生学习统计学。这是让“物理学图书馆”真正向所有人开放并实现无障碍访问的第一步。

技术摘要

技术摘要：HS3 —— 一种用于高能物理统计模型的描述性、可互操作序列化标准

问题陈述
高能物理（HEP）中的统计模型是编码观测数据、物理参数与不确定性之间关系的初级科学人工制品。虽然基于似然性的推断在精密测量、有效场论（EFT）拟合及跨分析组合中至关重要，但目前用于表示这些模型的生态系统是碎片化的。现有的格式，如 ROOT 工作空间、pyhf JSON 文件和 CMS DataCards，都与特定的软件栈（如 C++/ROOT、Python）绑定。这为互操作性、验证和长期保存造成了显著障碍。ROOT 工作空间是二进制且依赖于版本的；pyhf JSON 虽然具有人类可读性，但与 RooFit 相比在范围上受到限制；而 CMS DataCards 则依赖于特定的 C++ 实现。因此，在不同格式之间进行转换是脆弱的，跨框架验证非常困难，且模型的长期可用性受到软件过时的威胁。

方法论与设计原则
作者引入了 HS3（高能物理统计序列化标准），这是一种与实现无关、人类可读且可扩展的序列化格式。其设计遵循以下核心原则：

• 描述性领域特定语言 (DSL)： HS3 是数学结构（分布、函数、参数、数据集）的声明式规范，而非执行逻辑的编码。它将数学语义与算法实现分离，允许不同的推断引擎解释相同的模型。
• 计算图表示： 模型被表示为有向无环图 (DAG)，其中节点是命名的分布、函数或数据，边代表依赖关系。该标准支持混合粒度，允许同时使用高层复合节点（例如用于模板化模型的 histfactory_dist）和底层基本运算。这在保留语义结构的同时，实现了后端优化。
• 互操作性与完整性： HS3 的设计旨在对 RooFit（目前最具表达能力的框架）保持语义完整性，同时保留 pyhf JSON 的可读性。它旨在支持有箱（binned）和无箱（unbinned）似然函数、层次化复合模型以及扩展分布。
• 人类与机器可读性： 其规范格式为 JSON，因其成熟的工具链和显式结构而被选中。所有对象均经过唯一命名以确保引用无歧义，从而促进版本控制和增量修改。
• FAIR 原则： 该标准符合可发现（Findable）、可访问（Accessible）、可互操作（Interoperable）和可重用（Reusable）原则，利用持久标识符和开放格式，确保模型在软件环境演进时仍能保持可用性。

标准结构
一个 HS3 文档由包含索引对象的顶层部分组成：

• 分布 (Distributions)： 基础分布（如高斯、泊松）和复合分布。
• 函数 (Functions)： 确定性数学变换（基本运算或用户定义）。
• 数据 (Data)： 观测或模拟的数据集（有箱或无箱）。
• 似然函数 (Likelihoods)： 结合分布与数据的对象。
• 定义域 (Domains)： 参数范围、类型（连续/离散）及约束的定义。
• 参数点 (Parameter Points)： 用于基准测试或起始点的命名数值集合。
• 分析 (Analyses)： 定义感兴趣参数 (POI)、干扰参数和检验统计量的顶层规约。
• 元数据 (Metadata)： 溯源、版本控制和作者信息。
• 杂项 (Misc)： 用于可视化或配置的非规范性提示。

主要贡献与实现
论文详细介绍了 HS3 的开发及其与现有框架的集成：

1. ROOT/RooFit 集成： ROOT 6.36 中的内置库实现了 RooWorkspace 对象与 HS3 JSON 之间的双向转换，并保留了名称、参数和归一化。这作为参考实现。
2. CMS Combine 与 DataCards： DataCards 可以被解析为 RooWorkspaces，随后导出为 HS3。HS3 的模块化特性允许未来纳入自定义的 CMS 特定建模构造。
3. pyhf 兼容性： pyhf JSON 模型可以通过将通道提升为 histfactory_dist 节点来转换为 HS3。反之，简单的 HS3 模型也可以转换回 pyhf JSON。
4. 跨语言实现：
   • pyhs3： 一个纯 Python 包，提供解析器、验证器和构建 HS3 模型的工具，确保与 ROOT 的一致性。
   • HS3.jl： 一个 Julia 实现，提供高性能解析和原生数据结构，促进与 JuliaHEP 工具及基于梯度的推断的集成。

结果与早期应用
论文展示了该标准的早期验证与应用：

• 交叉验证： 图 1 展示了由 C++ ROOT 实现生成的剖面似然曲线与 Python pyhs3 实现生成的曲线之间具有良好的一致性（针对 ATLAS V H 测量），验证了跨框架的数值一致性。
• HEPData 集成： HEPData 现在通过“徽章”系统支持 HS3。数个 ATLAS 分析（希格斯测量、新物理搜索、SM 分析）已通过基于 HS3 的似然函数进行发布，允许外部用户在无需特定软件栈的情况下重建模型。
• 组合分析： 概念验证研究表明，多个公开的似然函数可以在无需手动重写的情况下合并为一个单一模型，这得益于 HS3 对参数名称和约束的显式编码。
• DEMOS 项目： HS3 已被选为 DEMOS 项目的参考格式，该项目旨在统一粒子物理、天体粒子物理及核物理领域的统计建模。
• 教育： HS3 的人类可读特性使其适用于统计推断教学，成为连接概念材料与完整科学分析的桥梁。

意义与主张
作者认为，HS3 为大型强子对撞机（LHC）及未来的 FAIR、长寿命统计模型奠定了基础。通过将模型定义与特定的推断引擎及编程语言解耦，HS3 解决了在系统误差和复杂全局拟合占主导地位的时代，对于复现性、重新解释和长期保存的迫切需求。论文声称，HS3 提供了一个稳定、可扩展且与框架无关的语言，能够随之演进以满足更广泛科学界的需求，其潜力在于成为统计模型的“.root 文件”——即一种持久、便携且通用的交换表示形式。该标准并非被呈现为一个最终的、不可更改的解决方案，而是一个受社区共识和版本控制管理的动态框架，以确保向后兼容性和持续改进。