An AI-ready, Polarized Electron-Positron Collision Dataset

本文发布了一个现代化的、面向人工智能的约66万个重建SLD电子-正电子碰撞事件以及新数字化的内部文档版本，这些内容已从遗留格式转换而来，旨在促进粒子物理学和机器学习领域的研究。

要点

想象一座拥有 20 世纪 90 年代风格、充满高科技感的宏大图书馆，里面保存着一项非常特殊的实验蓝图和日志。这项名为 SLD 的实验就像是一个“Z 玻色子工厂”，通过碰撞电子和正电子来产生 Z 玻色子。这个工厂之所以独特，是因为它的电子束是“极化的”——想象一下，所有的电子都像陀螺一样朝着同一个方向旋转。这使得科学家能够进行其他对撞机无法实现的极高精度测量。

然而，几十年来，这个工厂的数据一直被锁在一个数字保险库中。这些文件的编写语言是一种古老且晦涩的语言（一种由旧的 Fortran 代码和二进制格式组成的混合体），现代计算机无法读取它们，而打开这些文件的“钥匙”（原始软件和文档）也已丢失或散落在各处。

这篇论文讲述了一个团队如何利用现代人工智能（AI）破译那个保险库、翻译那门古老的语言，并为所有人打开大门的传奇故事。

以下是他们所做工作的详细分解，使用了简单的类比：

1. “时间胶囊”数据

该团队发布了大约 66 万个重建事件（粒子碰撞的快照），时间跨度从 1996 年到 1998 年。

• 问题： 这些文件就像是一盘没人能听懂其语言的磁带。读取它们的原始软件已经消失，而文档则成了档案中堆积如山的纸张。
• AI 解决方案： 他们使用 AI 智能体（具体来说是一个名为“Claude”的工具）充当数字考古学家。AI 查看原始二进制数据（即 1 和 0），并将其与已知的物理定律进行对比（就像侦探根据犯罪现场检查嫌疑人的不在场证明一样）。
  • 类比： 想象你发现了一个没有钥匙的锁着的盒子。你不是去砸开它，而是观察盒子的痕划，根据重量猜测里面装了什么，然后使用一个聪明的助手来破解密码锁。AI 帮助他们逆向工程了代码，从而能够读取数据。
• 结果： 他们构建了一个新的开源工具，名为 jazelle，它可以将这些古老的文件转换为现代、易于使用的格式（如 Parquet），现在任何数据科学家都可以使用它。

2. “失落的图书馆”文档

随数据一起，他们还使约 1,190 份内部文档实现了数字化。

• 问题： 这些是纸质文件，许多是复印件的复印件，上面混合着手写笔记、凌乱的图表以及打字文本。标准的扫描仪在处理这种“杂乱”的纸张时经常会失败。
• AI 解决方案： 他们测试了四种不同的 AI 工具来阅读这些文档。
  • 类比： 这就像试图阅读一张带有咖啡渍和涂鸦的手写食谱卡。有些 AI 工具试图将手写体转化为文本，但会被纸上的网格线搞混；另一些工具擅长读取表格，但在处理数学方程时却表现不佳。
  • 他们发现，通过结合这些工具的长处，可以将这些杂乱的页面转化为可搜索的文本。他们甚至构建了一个 AI“图书管理员”（一个问答系统），它可以阅读这些文档并回答特定问题，例如：“1995 年使用的微处理器的时钟频率是多少？”

3. 证明其有效性（“试驾”）

在移交钥匙之前，团队必须证明数据的准确性。他们并没有仅仅靠猜测；他们进行了一次“试驾”。

• 测试： 他们采用了新翻译的数据，并运行了与 20 年前原科学家完全相同的物理计算。
• 结果： 数字完全吻合。他们成功地利用新数据重新测量了著名的“弱混合角”（宇宙的一个基本属性）。这证明了 AI 翻译并没有破坏任何东西，它只是让数据变得可读了。

4. 这对 AI 研究为何重要

论文强调，该数据集是现代人工智能的一个独特的训练场。

• 差距： 大多数用于物理学的 AI 模型都是基于质子-质子碰撞（如大型强子对撞机中的碰撞）进行训练的，这类碰撞是混乱且无序的。
• SLD 的不同之处： SLD 数据是“干净”的，且初始条件是完全已知的。
• “新领域”： 研究人员在一个现代 AI 模型（称为 OmniLearned）上测试了该数据集。他们发现，与其他数据集相比，SLD 数据在 AI 的大脑（潜空间）中占据了一个完全不同的“邻域”。
  • 类比： 如果你训练一只狗在公园里捡球，当你突然要求它去游泳池里捡球时，它可能会感到困惑。这个数据集就是那个“游泳池”，是目前的 AI 模型从未见过的环境。通过发布这个数据集，该团队为 AI 研究人员提供了一个全新的、独特的学习环境，这有助于他们构建更强大、更通用的模型。

总结

简而言之，这篇论文关于的是复活一份失落的科学珍宝。该团队利用 AI 将古老、无法读取的数据和杂乱的纸质笔记转化为现代、可用的格式。他们通过重跑旧的物理实验证明了翻译的准确性，并展示了这些独特的数据如何为训练下一代粒子物理 AI 模型提供一个新鲜、洁净的游乐场。

技术摘要

技术摘要：一个面向 AI 的极化电子-正电子碰撞数据集

问题陈述
尽管 SLD 实验及其在 SLAC 直线加速器（SLC）上的物理影响深远，但其 1996–1998 年运行期间重建的数据（约 660,000 个事件）对于现代分析工具而言仍处于不可访问状态。这些数据以过时的“Jazelle”二进制格式存在，由不再能在现代系统上运行的 Mortran（一种 Fortran 扩展）编写的软件进行解码。此外，由于其专有且缺乏文档支持的生态系统，关键的数据结构（例如每事件电子束极化库 PHBM）实际上已经丢失。这种不可访问性构成了机器学习（ML）在粒子物理领域的一个瓶颈，因为目前的 ML 研究过度依赖于质子-质子碰撞数据（LHC），而缺乏来自 $e^+e^-$ 领域、尤其是具有已知初始态极化特征的高质量多样化数据集。此外，解释这些遗留数据集所需的机构知识存在于从未数字化的物理内部笔记中。

方法论
作者执行了一项涉及数据重建和文档数字化的双管齐下的现代化工作：

1. 数据重建与转换：

   • 逆向工程： 团队利用 AI 辅助（具体使用了 Anthropic 的 Claude）对二进制 Jazelle 格式进行了逆向工程。他们结合了部分遗留文档与“基于物理的地面真值”（例如 $Z \to q\bar{q}$ 衰变的运动学约束），以识别二进制库中的候选字段位置和数据类型。
   • jazelle 工具包： 开发了一个开源 Python 包，用于读取遗留二进制文件并生成 Awkward 记录数组。这些数组被序列化为现代的列式格式（Parquet、HDF5、Feather）。
   • 范围： 该发布版本涵盖了 1996–1998 年的运行数据。它包括事件头信息、束流信息（包括极化）、带电径迹、量热簇、粒子识别子系统以及关系表。它应用了标准的质量控制要求，但未进行特定的通道选择。

2. 文档数字化与 AI 就绪化：

   • 语料库： 大约 1,190 份 SLD/SLC 内部笔记（主要来自 1980–1988 年）已从物理档案中完成扫描。
   • 提取流水线： 对四种文本提取工具进行了评估：Marker、Docling、Nougat（开源权重模型）以及 Azure AI Document Intelligence API。该流水线能够处理异构输入，包括打字笔记、复印件、手绘图表和复杂的表格。
   • 智能体工作流： 提取的文本通过混合检索（稠密嵌入 + 关键词搜索）进行索引。构建了一个智能体问答系统以展示该语料库的效用，该系统利用模型上下文协议（MCP）服务器进行迭代检索和推理。

关键结果

• 物理验证： 作者在翻译后的数据集上重现了经典的 SLD 测量，以验证内部一致性：
  • 运动学分布： 重建的可视质量谱和事件形状变量 ($\tau$) 符合预期的 $Z$ 峰物理特性（例如背靠背的双喷注拓扑结构）。
  • 不对称性测量： 通过事件计数提取了左-右截面不对称性 ($A_{LR}$) 和轻子耦合不对称性 ($A_\ell$)。推导出的有效弱混合角 ($\sin^2 \theta_{eff}^W = 0.23144 \pm 0.00044$ 来自 $A_{LR}$) 与已发表的值一致，证实了该数据集保留了对极化敏感的内容。
  • 局限性： 作者指出，由于发布的数据集缺少原始分析中使用的特定电弱修正软件 (ZFITTER)，因此原始 $A_{LR}$ 值与已发表的结果略有不同。同样，由于无法获得原始的选择软件，轻子通道计数也显示出微小的差异。
• ML 演示： 使用 OmniLearned 基础模型，作者将 SLD 喷注与来自 ALEPH ($e^+e^-$)、H1 ($ep$) 和 JetClass ($pp$) 的喷注进行了嵌入对比。t-SNE 投影显示，SLD 数据在潜在空间中占据一个独特的区域，与初始态和能量标度相分离。至关重要的是，作为对比中唯一的重建探测器数据，它代表了一个当前公共蒙特卡洛（MC）模拟未能捕捉到的机制（$Z$ 峰处的极化 $e^+e^-$）。
• 文档性能： 智能体问答系统通过迭代重新构建查询，在自生成的基准测试中实现了接近饱和的任务完成率（60/61 个问题）。这表明数字化的语料库支持复杂的、多步骤的科学探索，其表现优于单次传递的 RAG 基准。

意义与主张
论文声称此发布版本具有三个主要目的：

1. 保护： 它挽救了一个独特的、拥有极化束流的高能线性 $e^+e^-$ 碰撞器数据集，这种配置在未来的碰撞器中并未得到复制。
2. ML 基准测试： 它提供了一个清晰、易理解且已知初始态和极化的环境，以补充目前在 ML 研究中占主导地位的强子对撞机数据集。SLD 数据的独特潜在空间为迁移学习和领域偏移基准测试提供了新的试验场。
3. 新物理潜力： 该数据集使得能够利用现代 ML 和理论进展进行新的分析，而这些分析在原 SLD 运行期间是无法实现的。

作者强调，该数据集是一个“忠实的起点”，用于进行提供缺失的辐射修正和系统处理的分析，而非对最终发表结果的重新推导。这项工作也说明了一个更广泛的模式：通过结合幸存的文档、物理约束和现代 AI 工具，可以恢复那些由于软件丢失而难以解读的遗留数据集。