Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

本文提出了一种用于大型强子对撞机的创新无监督异常检测方法，该方法利用基于掩码标记预测训练的轻量级、类编码器结构的类大语言模型网络，通过在无需预先知晓信号特征的情况下，通过检测背景事件重建中的偏差来识别如四顶夸克产生等新物理信号。

要点

想象一下，大型强子对撞机（LHC）就像一个巨大的、高速的汽车碰撞模拟器。每一秒钟，它都会将粒子撞在一起，产生一场混乱的碎片爆炸。物理学家们正在寻找一种非常特定、极其罕见的碰撞——就像是在寻找一种特殊的、不寻常的划痕，而这种划痕只有在某种秘密的、看不见的力作用时才会出现。这就是所谓的“信号”。

问题在于，大多数碰撞看起来都非常相似。它们是“背景噪声”。在这篇论文中，作者们试图在没有预先知道“针”长什么样的情况下，在草堆中寻找这根针。

以下是他们是如何实现的，他们借鉴了计算机学习阅读和写作的一种巧妙技巧。

1. 将物理学转化为一种语言

作者们意识到，这些粒子碰撞的数据可以被视为语言中的一个句子。

• “单词”： 不同于字母，“单词”（或标记/tokens）是碰撞中飞出的粒子。有些是能量喷流，有些是电子，有些是缪子。
• “句子”： 单个碰撞事件是一个由大约18个这样的“单词”组成的句子，外加一些描述总缺失能量（就像拼图中的缺失部分）的额外数字。

为了让这项工作对计算机可行，他们必须将这些物理粒子转化为机器能理解的代码。他们创建了一个系统，为每种粒子类型及其速度/方向分配一个特定的数字，从而将复杂的物理事件转化为一个简单的数字列表，例如 [3, 1, 5, 2, ...]。

2. “填空”游戏

该团队使用了一种被称为“大语言模型”（LLM）的人工智能——也就是驱动聊天机器人的那种技术。然而，他们并没有教它写故事。相反，他们教它利用仅有的“背景”碰撞（即那些常见的、平庸的碰撞）来玩一场“填空”游戏。

• 训练： 他们向人工智能展示了数千个正常的碰撞，但在每个句子的中隐藏了一个“单词”（粒子）。人工智能必须根据句子的其余部分来猜测这个缺失的粒子是什么。
• 目标： 人工智能学习了正常粒子碰撞的“语法”。它学会了例如：“如果我在这里看到一个重喷流，我通常会预期在那个位置看到特定类型的电子。”

3. 识别异常

一旦人工智能成为了预测“正常”碰撞的专家，他们就在新数据（包括他们正在寻找的稀有“信号”碰撞）上对其进行了测试。

• 测试： 他们在一个碰撞事件中隐藏了一个粒子，并要求人工智能猜出它。
• 结果： 当人工智能观察一个正常的碰撞时，它在大多数情况下都能猜对。但当它观察那个罕见的、“四顶夸克”碰撞时，它感到困惑了。因为这种罕见的事件并不遵循正常背景的“语法”，所以人工智能的猜测是错误的。
• 警报： 人工智能出错的程度越高，就越有可能表明该事件是一个异常值（即他们想要寻找的信号）。

4. 效果如何？

作者们通过搜索“四顶夸克”产生过程（这是一个非常罕见的事件，其中四个重粒子同时被创造出来）来测试这种方法。

• 得分： 他们测量了人工智能区分“正常”碰撞与“稀有”碰撞的效果。他们得到了一个分数（称为 ROC-AUC），为 0.67。
• 对比： 他们将这种方法与现有的其他寻找异常的方法进行了比较。
  • 它没有击败目前最优秀的方法（称为 DDD）。
  • 然而，它比另外两种常见的方法（DeepSVDD 和 DROCC）表现得更好。

核心结论

论文声称，将粒子物理数据视为一种语言并使用“填空式”人工智能，是寻找罕见、未知物理事件的一种极具前景的新方法。虽然它目前还不是完美的解决方案，但它成功识别出了其他方法未能发现的数据中的细微差异，这表明这种“基于语言”的方法可以成为未来 LHC 发现过程中一个有价值的工具。

技术摘要

技术摘要：用于大型强子对撞机异常检测的事件标记化与掩码标记预测

问题陈述
本文旨在解决在缺乏先验信号特征知识的情况下，识别高能物理数据中罕见超越标准模型（BSM）信号的挑战。具体而言，作者专注于搜索大型强子对撞机（LHC）中的同时四顶夸克（$t\bar{t}t\bar{t}$）产生过程。由于该过程的末态（0–4 个轻子，4–12 个喷注，包括四个 $b$-喷注）与复杂的标准模型（SM）背景过程（如 $t\bar{t}WW, t\bar{t}W, t\bar{t}Z$ 和 $t\bar{t}H$）高度相似，因此难以分离。作者提出使用大语言模型（LLM）作为无监督异常检测器，通过学习背景事件的分布来标记可能指示新物理的偏差。

方法论
所提出的方法利用了一个轻量级的、基于编码器的 Transformer 网络，该网络通过掩码标记预测（masked-token prediction）进行训练，这一技术改编自自然语言处理领域（特别是 BERT）。

1. 数据集与预处理：

   • 研究使用了来自 Dark Machines 挑战赛的 $\sqrt{s} = 13$ TeV 质心能量下的模拟 $pp$ 碰撞数据，这些数据由 MG5_aMC@NLO 生成，经由 Pythia 8 进行强子化，并使用 Delphes 3 进行处理。
   • 事件被表示为最多包含 18 个粒子对象（喷注、轻子、光子）以及缺失横向能量（$E_T^{\text{miss}}$）及其方位角（$\phi_{E_T^{\text{miss}}}$）的序列。
   • 背景过程（$t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$）构成训练集，而 $t\bar{t}t\bar{t}$ 作为评估用的信号。

2. 标记化策略（Tokenization Strategy）：

   • 该方法的关键组成部分是将连续的运动学变量转换为离散标记。
   • 粒子类型被映射到 7 个预定义的类别。
   • 运动学变量（$p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$）被进行分箱处理。最优配置将 $p_T, \eta$ 和 $E_T^{\text{miss}}$ 分为 4 个箱（每个箱包含 25% 的背景数据），并将 $\phi$ 和 $\phi_{E_T^{\text{miss}}}$ 分为宽度为 $\pi/4$ 的 4 个箱。
   • 这些箱体被组合成每个粒子唯一的整数标记（$token_{part} \in [1, 448]$）以及缺失能量成分的标记（$token_{E_T^{\text{miss}}} \in [449, 452], token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$）。
   • 事件被填充（padding）至固定的序列长度，即 18 个粒子加上能量标记。

3. 模型架构与训练：

   • 该模型由两个 Transformer 层组成，每层包含四个自注意力头，随后是一个线性投影层和一个 Softmax 层。
   • 训练： 模型仅使用背景事件进行训练，采用掩码标记预测目标。每个事件中随机掩盖一个标记，模型通过稀疏分类交叉熵（Sparse Categorical Cross-Entropy）损失函数学习重建该标记。
   • 推理： 在测试期间，事件中的所有标记都会被掩盖并逐一进行重建。针对每个事件，计算平均重建得分（损失值）。

核心贡献

• 新颖应用： 本文引入了将类 LLM 架构用于对撞机物理中的无监督异常检测，将粒子事件视为标记序列。
• 标记化方案： 提出了一种特定的分箱与编码策略，将连续的粒子物理数据转化为适用于基于 Transformer 模型的格式。
• 模型无关搜索： 该方法在无需已知信号的情况下运行，仅依赖于背景事件的重建性能来识别异常。

结果

• 四顶夸克搜索性能： 在应用于 $t\bar{t}t\bar{t}$ 信号时，该模型的受试者工作特征曲线下面积（ROC-AUC）达到了 0.67。
• 分布重叠： 背景事件与信号事件的重建得分分布显示出 70.85% 的共同区域，这表明两者存在一定程度的重叠，但也表明模型在一定程度上具备区分这两类事件的能力。
• 对比： 将所提方法与 Dark Machines 挑战赛中已有的无监督方法（DDD, DeepSVDD 和 DROCC）进行了比较。结果表明，虽然基于 LLM 的方法并未超越基于 DDD 的技术，但其表现优于 DeepSVDD 和 DROCC，使其成为一种具有竞争力的无监督异常检测技术。

意义与主张
作者将这些结果定性为初步的且具有前景的。他们声称，该方法成功捕捉了对撞机数据中细微的差异，并为模型无关搜索提供了一种灵活的、基于标记的表示形式。论文指出，通过进一步优化标记化方案和模型架构，该方法有望成为提高未来高能物理分析中对罕见标准模型过程及新物理特征敏感度的有效候选方案。这项工作并不声称已经超越了所有现有方法，而是强调了将 Transformer 架构适配到粒子物理数据特定结构化挑战中的潜力。