⚛️ high-energy experiments

Predict before you train: Scaling Laws for particle physics foundation models

本文证明了在小型 Transformer 模型上拟合的模型与数据联合缩放法则，可以准确预测规模大得多的粒子物理基础模型在训练前的性能，从而实现将计算预算转化为预期的物理结果，并针对最先进的基准测试验证了该方法。

原作者： Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

发布于 2026-07-28

📖 1 分钟阅读🧠 深度阅读

原作者： Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图烤出一个完美的蛋糕，但你不知道需要多少面粉、糖或热量。在粒子物理学的世界里，科学家们不断构建“数字大脑”（机器学习模型），来分析粒子碰撞产生的混乱碎片，希望能从中发现隐藏的模式，从而揭示新的自然法则。这些数字大脑就像巨大的烤箱：烤箱越大（模型越大），喂给它的食材越多（数据越多），做出来的蛋糕通常就越好吃。然而，烘焙这些蛋糕的代价极其高昂；它需要海量的电力和超级计算机。多年来，科学家们在开始烘焙之前，必须猜测自己的烤箱应该有多大。他们可能会花费数百万美元买一个巨大的烤箱，结果后来才发现，一个中等规模的烤箱其实就能胜任；或者他们可能需要一个大得多的烤箱才能达到预期的效果。核心问题在于：我们能否在还没打开烤箱之前，就预知蛋糕的味道？

这篇题为《在训练前进行预测》（Predict before you train）的论文，正是为了解决这个难题。研究人员想要观察他们是否可以找到一种“配方规则”（称为缩放法则/scaling law），这种规则能告诉他们需要多少计算能力才能达到特定的结果，而无需先实际构建那个巨大的模型。他们专注于一种被称为“Transformer”的特定类型的数字大脑——这种模型通常用于阅读文本，但在本文中，他们教会了它去“阅读”对撞机中飞出的粒子。通过先训练一系列小型、廉ся的模型，他们试图在图表上画出一条线，以此预测如果构建一个规模大一百倍的模型将会发生什么。他们还想知道，更好的“预训练”（学习通用模式）是否真的能在随后的特定物理任务中（例如识别顶夸克或区分夸克与胶子）帮助模型表现得更好。

粒子物理学的“水晶球”

由斯坦福大学和SLAC的研究人员领导的团队决定测试一个大胆的想法：仅通过观察微型、廉价模型的运行结果，能否预测一个大规模机器学习模型的性能？为此，他们使用了一个名为“OmniLearned”的数据集，其中包含大约十亿个模拟粒子喷流（particle jets）。他们构建了一系列被称为 ParticleViT 的模型。把这些模型想象成一群数字侦探：最小的一个是新手侦探，而最大的则是一个拥有庞大记忆力的超级侦探。

研究人员首先在较小的计算量（小于 $10^{19}$ FLOPs，即一个计算单位）下训练这些新手侦探。他们观察这些小侦探的学习效果如何。然后，他们使用一个数学公式（“缩放法则”）在图表上画出一条线，预测如果训练一个记忆力大一百倍的侦探会发生什么。

预测成真
结果就像拥有了水晶球一样。当他们实际训练那些巨大的模型（使用了高达 $3.4 \times 10^{20}$ FLOPs 的计算量）时，结果几乎完全落在预测的位置。实际表现与预测值的误差在 1% 以内。这是一个巨大的突破，因为直到现在，还没有人在粒子物理领域成功预测过尚未训练的模型性能。这意味着科学家现在可以通过进行小规模、低成本的模型“试运行”，来确定在投入昂贵的、大规模训练之前需要购买多少计算资源。

“信息密度”带来的惊喜

关于到底需要多少“脑力”（模型大小），研究中有一个非常有趣的发现。在语言模型（如那些写文章或与你聊天的模型）的世界里，经验法则是你需要一个巨大的模型来处理大量数据。但在粒子物理学领域，研究人员发现了不同的情况。

他们发现，喷流中的单个粒子携带的“信息量”远低于句子中的单个单词。一个单词可以根据语境表达千变万化的含义，但一个粒子只是一个带有几个特定数值的粒子。由于数据中的信息密度较低，对于这个十亿级粒子的数据集，最优的模型大小实际上比语言专家所预想的要 小得多。论文指出，对于这项特定的工作，你不需要一个巨大的大脑，你只需要给大脑喂尽可能多的例子。研究发现，该模型的“甜点位”（最佳尺寸）远小于标准语言模型的规则，这表明在粒子物理领域，把预算花在更多的数据上比花在一个更大的模型上更有效。

更好的“通用知识”是否有帮助？

团队还检查了在通用预训练任务（学习所有粒子的通用规律）中表现出色，是否真的有助于模型随后完成特定的物理任务。他们测试了两个常见任务：

顶夸克标记（Top Tagging）： 识别一组粒子喷流是否来自沉重的“顶夸克”。
夸克/胶子标记（Quark/Gluon Tagging）： 区分由夸克产生的喷流和由胶子产生的喷流。

他们发现了一条清晰的直线关系：那些在预训练阶段具有较低“损失值”（loss，意味着它们更好地学习了通用模式）的模型，在经过微调后，在这些特定任务上的表现也更好。换句话说，如果你的数字侦探是一个通用的粒子物理天才，那么它也会是一个识别顶夸克的专家。这证实了“计算预算”可以直接转化为预期的物理性能。如果你知道自己拥有多少计算能力，你现在就可以预测你的模型在寻找新物理现象方面的表现会如何。

最终对决

最后，研究人员将他们全新的、通用的“ParticleViT”模型与 OmniLearned 进行了对比。后者是一个著名的、高度专业化的模型，其设计中内置了特定的物理规则（例如了解相对论定律）。结果令人惊讶。这些没有任何内置物理规则的通用型 ParticleViT 模型，在大多数指标上表现得与专门化的 OmniLearned 模型一样出色。

唯一让专门化模型略占优势的地方，是在极难、极端的“顶夸克标记”情况（即“高纯度尾部”）下，它在拒绝背景噪声方面比前者高出约 5%。但在几乎所有其他方面，这种从头开始学习的简单通用模型都表现得同样优秀。这表明，对于许多物理任务而言，你不一定需要构建复杂的、针对特定物理设计的架构；一个经过良好缩放、基于大量数据训练的标准 Transformer 就能有效地完成工作。

这对未来意味着什么

论文最后发布了五个模型（从小型到特大型）以及完整的代码，以便其他科学家使用。核心结论是：“猜测并期待”的时代已经结束了。科学家现在可以通过一次小型、低成本的实验，来预测一次大规模、高成本实验的结果。他们可以精确计算出达到特定目标所需的计算量，从而节省时间和资源。虽然这篇论文并不声称已经解决了所有的物理问题，但它为在昂贵的机器学习模型训练领域航行提供了一张可靠的地图，证明了有时，看到未来的最好方式就是从小处着手。

技术摘要：先预测，后训练：粒子物理基础模型的缩放法则

问题陈述
在粒子物理学领域，规模最大的机器学习模型也是计算成本最高的模型。该领域存在一个关键差距：虽然针对喷注（jet）数据拟合了缩放法则，但尚未证明这些法则能够预测其未曾拟合过的模型性能。因此，在投入计算资源之前，无法估算特定架构进行缩放的投资回报率。此外，目前尚无研究成功地将预训练损失缩放法则与下游物理指标（如背景抑制）联系起来，这使得从业者无法提前将计算预算转化为预期的物理性能。

方法论
作者引入了 ParticleViT，这是一种应用于喷注组分（jet constituents）的通用 Transformer 架构，具有极少的物理特定归纳偏置（省略了洛伦兹协变性或成对相互作用特征）。该研究采用了“拟合并预测”（fit-then-forecast）协议：

数据与目标： 模型在 OmniLearned 语料库上进行预训练，该语料库包含约 $1.06 \times 10^9$ 个喷注。预训练目标是一个 210 类分类任务（涉及喷注过程、味/flavor 以及数据集类别）。
缩放扫描： 作者在 IsoFLOP 网格上训练了一系列几何阶梯状的 ParticleViT 模型，在保持训练计算量恒定的情况下，改变模型大小 ( $N$ ) 和数据集大小 ( $D$ )。该扫描覆盖了从低到高达 $3 \times 10^{18}$ FLOPs 的十个计算预算等级。
缩放法则拟合： 作者对训练计算量低于 $10^{19}$ FLOPs 的模型进行了联合模型与数据缩放法则（Chinchilla 式）的拟合。其函数形式为：
$L(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_\infty$
留出外推： 仅利用小规模模型的数据，作者预测了五个更大规模模型的损失，这些模型的计算量比拟合模型高出达 $113\times$ （最高达 $3.4 \times 10^{20}$ FLOPs）。
下游验证： 预训练模型在两个标准基准测试上进行微调：顶夸克标记（Top Quark Tagging）以及夸克/胶子判别（Quark/Gluon discrimination）。作者分析了预训练损失与下游微调损失/背景抑制之间的相关性。
基准对比： 将最大的“前沿”ParticleViT 模型与在相同语料库上训练的先进物理感知基础模型 OmniLearned 进行比较。

核心贡献

经过验证的预测： 该研究展示了第一个经过验证的粒子物理缩放法则预测。通过在低于 $10^{19}$ FLOPs 的模型上拟合法则，作者预测了计算量高出超过 $100\times$ 的模型的损失。测得的损失值落在预测值的 1% 范围内（平均相对误差为 0.26%）。
计算-性能链条： 作者建立了计算预算与物理性能之间的直接联系。他们证明了较低的预训练损失系统性地产生较低的下游微调损失和更高的背景抑制率，涵盖了两种标记任务。这使得物理性能目标可以在训练大型模型之前，转化为估计的计算预算。
计算最优分配： 拟合的缩放法则表明，对于十亿级喷注语料库，计算最优的模型大小显著小于语言模型中常用的经验法则（即建议每 20 个 token 对应 $\sim 1$ 个参数）。拟合得到的对于数据的指数 ( $\beta \approx 0.06$ ) 远小于对于模型大小的指数 ( $\alpha \approx 0.23}$ )，这意味着在粒子物理领域，计算资源最好主要用于增加训练样本的数量，而非增加模型容量。
开源发布： 五个预训练的 ParticleViT 模型（从 S 到 XL）、完整的训练方案以及微调协议均已向社区发布。

结果

缩放准确度： 五个留出模型（参数量从 16M 到 397M 不等）的外推损失预测高度准确，最大相对误差为 0.66%。
下游性能： 较低的预训练损失始终与更好的下游性能相关联。最大的 ParticleViT 模型（397M 参数）在准确率、AUC 和夸克/胶子抑制方面，达到了与已发布的 423M 参数物理感知模型 OmniLearned 一致的性能。
物理感知对比： 通用 Transformer（ParticleViT）在整体指标上与物理感知基准模型（OmniLearned）持平。物理感知模型仅在顶夸克标记的高纯度尾部（在 $\epsilon_S=0.5$ 和 $0.3$ 时的背景抑制率）表现出可测量的优势，此处对稀有辐射模式最为关键。
信息密度： 作者认为，较小的数据指数和对小型模型的偏好反映了“粒子 token”相比于“语言 token”具有更低的信息含量。

意义与主张
本文声称填补了计算预算与预期物理性能之间的环路。通过证明在小模型上拟合的缩放法则可以准确预测更大规模模型的损失，并且该损失可以预测下游物理指标，作者认为从业者现在可以充满信心地规划大规模训练任务。

作者明确指出，该方法论并不局限于喷注；任何具备运行小模型扫描能力的、数据丰富的科学领域都可以应用这种“拟合并预测”协议。他们强调对其主张保持谦逊：缩放法则预测的是性能在“特定模型族及其任务”内的表现，且与下游指标的联系是一种观察到的迁移现象，而非对任意新物理问题的保证。该研究并非声称物理感知模型已过时，而是指出当通用 Transformer 根据所得法则进行缩放时，其性能可以达到与专门化模型在标准基准测试上相当的水平，而专门化模型仅在极端高纯度机制下提供边际优势。