⚛️ 高能实验

SuperJEPA: Pretraining with a Supervision-Augmented Joint-Embedding Predictive Architecture for High Energy Physics

该论文介绍了 SuperJEPA，这是一种通过监督目标增强的联合嵌入预测架构，它在各种模型规模和数据集规模下均展示了改进后的下游喷注标记（jet-tagging）性能，即使是在已经拥有大规模标记模拟数据集的高能物理背景下也是如此。

原作者： Dylan Sheldon Rankin, Ho Fung Tsoi

发布于 2026-10-28

📖 1 分钟阅读🧠 深度阅读

原作者： Dylan Sheldon Rankin, Ho Fung Tsoi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在高能物理学的粒子对撞机研究中，科学家们观察的并不是粒子碰撞的实时过程，而是其后的余波。当质子以接近光速的速度碰撞时，它们会破碎成被称为“喷注”（jets）的新粒子喷流。这些喷注是原始碰撞的指纹，携带了创造它们的各种基本力与粒子的线索。为了理解碰撞中发生了什么，研究人员必须将这些喷注分类，这一过程被称为“喷注标记”（jet tagging）。几十年来，教计算机进行此类分类的标准方法是向其展示数百万个已知答案的模拟示例。由于物理学家可以生成具有完美准确性的这类带标签模拟数据，他们传统上认为，训练人工智能最强大的方式就是简单地向其喂入尽可能多的这类带标签示例，让计算机通过死记硬背来学习规则。

然而，一种新的方法挑战了“带标签数据是通往智能唯一路径”的观点。在最近的一项研究中，宾夕法尼亚大学的研究人员探索了另一种类型的学习——即计算机尝试根据可见部分来预测图像缺失部分的方法——是否能在存在大量带标签数据的情况下仍能提高性能。他们开发了一种名为 SuperJEPA 的方法，该方法将传统的带标签训练与预测任务相结合。研究人员发现，这种混合方法使他们的模型能够更好地学习粒子喷注的表征，从而在各种测试中实现更准确的分类。结果表明，即使在一个拥有完美标签的领域，要求计算机去猜测拼图缺失的部分，也能帮助它更深入地理解整体图景。

研究人员首先提取了一个包含来自十种不同粒子相互作用的数百万个示例的巨量模拟粒子喷注数据集。他们构建了一个计算机模型，旨在观察一个喷注并识别出产生它的粒子类型。为了测试他们的新方法，他们将训练过程分为两个部分。首先，他们使用了一种技术，让模型观察一个被遮蔽了很大一部分粒子的喷注。模型必须通过可见的粒子来预测隐藏部分的属性。这迫使模型去学习喷注的底层结构，理解粒子之间是如何相互关联的，而不仅仅是死记硬背最终答案。其次，他们将这种预测任务与向模型展示完整喷注并告知其正确标签的传统方法相结合。

他们将这种结合后的方法（命名为 SuperJEPA）与仅在带标签数据上训练的标准模型进行了对比测试。他们在不同规模的计算机模型和不同数量的训练数据（从数十万个喷注到两千万个喷注不等）上运行了这些测试。在每种情况下，SuperJEPA 模型都优于标准模型。这种改进在模型被要求识别其在初始训练期间未曾见过的粒子类型时最为显著。例如，当模型在特定的四种粒子类型上进行训练，随后被要求识别十种不同的类型时，SuperJEPA 模型在识别这些新的、未见的类别方面表现得明显更好。这表明预测任务帮助模型学习到了一种更具灵活性的粒子喷注理解能力，使其能够比简单的记忆更容易地适应新情况。

研究还观察了当模型的内部设置被锁定与在最终测试阶段允许其发生变化时，模型的表现如何。在这两种情况下，使用预测方法训练的模型表现都更好。研究人员观察到，该模型学会了以一种方式组织粒子信息，使得不同类型的喷注更容易被区分。标准模型往往会对不同的喷注产生相似的内部表征，而 SuperJEPA 模型则为每种类型创建了独特的模式，即使这些喷注在表面上看起来非常相似。这种寻找细微差异的能力，在模型被测试于与训练数据具有不同能量水平或粒子计数的数据集时，显得至关重要。

一个最有趣的发现是，带标签数据的量如何影响模型训练的最佳方式。当研究人员在与训练数据非常不同的数据集上测试模型时，他们发现预测任务与带标签任务之间的平衡效果最好。然而，当训练数据与测试数据非常相似时，强调带标签数据则会产生更好的结果。这表明，理想的训练策略取决于模型需要向新情况泛化的程度。研究人员还注意到，即使在训练数据较少的情况下，该方法也表现良好，这表明预测任务有助于模型更高效地从较少的示例中学习。

这项工作并不声称已经解决了粒子物理学中的所有问题，也不意味着带标签数据不再有用。相反，它为一个已经拥有强大方法的领域提供了一个精炼的工具。研究表明，在训练过程中加入一层预测性推理，可以榨取额外的性能，使模型更加稳健且多才多艺。随着粒子对撞机实验持续产生比以往更多的数据，这一点变得尤为重要。通过改进计算机对这些复杂粒子喷流的分拣方式，科学家们有望在高速碰撞产生的噪声中，发现更罕见、更微妙的新物理信号。这些发现为开发下一代高能物理人工智能工具提供了清晰的路径，证明了即使在拥有完美标签的世界里，预测的行为依然是一种强大的教学方式。

技术摘要：用于高能物理的 SuperJEPA

问题陈述
自然语言和计算机视觉领域的基座模型已经证明，诸如下一标记预测（next-token prediction）之类的自监督学习（SSL）目标可以从海量的无标签数据中提取强大的表示。然而，高能物理（HEP），特别是碰撞物理学，具有显著不同：它拥有大量高保真、有标签的模拟数据。因此，该领域在历史上一直依赖于监督式预训练来进行诸如喷注标记（jet tagging）之类的任务。先前的研究在存在大量准确的有标签数据集时，难以证明自监督学习能带来显著的性能提升。本研究旨在解决的核心问题是：在已有充足标签数据的情况下，自监督目标是否能优于单纯的监督式预训练。

方法论：SuperJEPA
作者引入了 SuperJEPA（监督增强型联合嵌入预测架构），这是一种将联合嵌入预测架构（JEPA）与监督目标相结合的方法。该架构由四个主要部分组成：

编码器（Encoder）： 一个基于 Transformer 的编码器处理喷注组分（jet constituents）。与以往使用指数移动平均（EMA）教师网络或梯度停止（stop-gradients）的 HEP JEPA 实现不同，SuperJEP 采用单一且完全可训练的编码器来处理上下文视图（context view）和目标视图（target view）。为了处理具有不同特征集的数据集（例如 JetClass 与 JetNet），编码器使用了特征组嵌入方案，其中特定的特征组可以在训练期间被遮掩，以确保鲁棒性。
预处理与遮掩（Preprocessing and Masking）： 使用 Cambridge/Aachen 算法将喷注组分重新聚类为子喷注（subjets）。对于每个喷注，会遮掩一个“目标”区域（子喷注的一个子集），并将剩余的“上下文”作为输入。目标部分的比例被设定为包含喷注特定比例的横向动量（transverse momentum）。
预测器（Predictor）： 一个 Transformer 解码器仅利用上下文表示来预测被遮掩的目标组分的表示。至关重要的是，预测器不接收关于目标组分的任何位置、特征或数量的信息；它必须仅从上下文中推断出隐藏的结构。其输出是一个无序的预测向量集合。
损失函数（Loss Functions）： 总预训练损失 ( $\mathcal{L}_{total}$ $L_{t o t a l}$ ) 是三个组成部分的加权和：
- 预测损失 ( $\mathcal{L}_{pred}$ )： 将预测的目标表示与实际的目标表示（通过 Token 投影器进行投影）进行匹配，使用最优传输（Sinkhorn 匹配）来处理数据的无序性质。
- SIGReg 损失 ( $\mathcal{L}_{SIGReg}$ )： 应用于投影 Token 残差的正则化项，用于防止表示崩溃，从而取代了对 EMA 教师网络的需求。
- 分类损失 ( $\mathcal{L}_{CE}$ )： 应用于 [CLS] token 的标准交叉熵损失，用以实施监督学习。该项的权重由超参数 $\alpha$ 控制。

模型在 JetClass 数据集（总计 1.25 亿个喷注，使用其子集进行训练）上进行预训练。预训练完成后，丢弃预测器、投影器和分类头。随后，在下游任务（JetClass、JetNet、Top Tagging）上对编码器进行评估，评估方式包括冻结权重或进行微调。

核心贡献

新颖架构： 这是首次将无教师（teacher-free）LeJEPA 公式应用于 HEP。它利用单一编码器和 SIGReg 来保证稳定性，避免了 EMA 教师网络的复杂性。
监督增强： 论文提出并验证了一种混合训练目标，即通过监督分类来增强预测式自监督，而不是将两者视为互斥。
特征鲁棒性： 该实现包含了特定的机制（特征组 Dropout），使得在处理高维数据集（JetClass）时训练的模型能够泛化到低维数据集（JetNet、Top Tagging）。

结果
作者评估了不同模型规模（Small：3 个 block，128 维；Medium：4 个 block，256 维）以及不同预训练数据集规模（40 万、400 万和 2000 万个喷注）下的 SuperJEPA 表现。

性能增益： 在各种喷注标记任务中，SuperJEPA 一致地优于同等规模的仅监督基准模型。这种增益在冻结和微调编码器的情况下均有观察到。
超参数敏感性： 监督损失的权重 ( $\alpha$ $α$ ) 对性能有显著影响。
- 在 JetClass 数据集上（预训练与下游任务匹配），最强的监督（ $\alpha=1.0$ ）取得了最佳结果。
- 在 JetNet 数据集上（动量标度与特征与 JetClass 显著不同），较弱的监督（ $\alpha=0.1$ ）通常表现更好，这表明最优平衡取决于预训练领域与下游任务之间的领域偏移（domain shift）。
泛化能力： 与监督模型相比，SuperJEPA 模型在区分预训练期间未见过的类别（例如轻子顶夸克）方面表现出更强的能力，特别是在使用粒子嵌入的注意力池化机制时。
表示分析： 对粒子嵌入 ( $z_i$ ) 的分析显示，与倾向于产生较少结构化嵌入的监督模型相比，SuperJEPA 模型保留了更多结构化的、与类别相关的粒子 token 变化。然而，全局 [CLS] 嵌入在两种方法中都展现出了相似的类别分离能力。

意义与主张
论文声称，即使在拥有大量有标签模拟样本的情况下，预测式自监督仍然是有益的，前提是将其作为监督目标的“补充”而非“替代”。结果表明，“下一标记预测”风格的目标有助于编码器学习纯分类可能会忽略的喷注内部结构关系。

作者也谦虚地指出，虽然其结果在高达 2000 万个喷注的数据集上成立，但仍需进一步研究以确定这些结论是否能扩展到数亿甚至数十亿规模的数据集。他们也承认，自监督与监督之间的最佳平衡取决于具体数据集，并且目前的工作重点是喷注标记，粒子识别和事件分类属于未来的研究方向。这项工作为未来大规模粒子物理基座模型的引入提供了动力。

类似论文