Towards Engineering Scaling Laws with Pretraining Data Composition
本文表明，在能够通过高保真模拟器实现廉价合成数据生成的粒子物理学领域，可以通过策略性地策划预训练数据集，使强子喷注分类模型的缩放行为在通过调整模型规模的同时，优先考虑数据的多样性与对齐性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一名学生识别繁忙城市中的不同类型的车辆。你有两种主要的方法来帮助他们学习：你可以给他们一个更大的大脑（一个更大的模型），或者你可以给他们更多的练习题（更多的数据）。
长期以来，研究人工智能（AI）的科学家们一直相信存在一条“黄金法则”。他们认为，如果你有固定的时间、金钱和计算资源（计算预算），获得最聪明学生的最佳方法是将你的资源大致平均地分配在构建更大的大脑和提供更多练习题上，即 50/50 的比例。
然而，这篇新论文指出，在粒子物理学领域，我们可以通过改变学生先学习什么来设计出一条更好的规则。
背景设定：物理课堂
研究人员正在研究“喷注”（jets）。在粒子物理学中，当微小粒子相互碰撞时，它们会喷射出其他粒子的流，这些流被称为“喷注”。这就像烟花爆炸一样，只不过喷出的不是火星，而是亚原子粒子的流。
目标是教会一个 AI 去观察这些流，并说：“啊，这个来自于某种特定类型的爆炸！”
实验：更换教科书
研究人员测试了两种不同的“教科书”（预训练数据集），以观察它们如何改变学习规则：
- 枯燥的教科书（仅限 QCD）： 这本书只包含了“标准”粒子爆炸的例子。这就像一所只教你如何驾驶标准轿车的驾驶学校。
- 多样化的教科书（增强型 BSM）： 这本书包含了标准示例，再加上复杂、罕见且奇异的爆炸——这些爆炸在我们的常规宇宙中并不存在（模拟的“超越标准模型”物理学）。这就像一所不仅教你驾驶轿车，还教你驾驶赛车、卡车甚至飞行器的驾驶学校。
发现：重写规则
当研究人员使用枯燥的教科书训练 AI 时，旧的 50/50 规则依然成立。为了获得更好的结果，你必须平衡增大大脑容量和增加练习量。
但当他们使用多样化的教科书时，规则完全改变了。AI 学习到，更多的练习题比更大的大脑要有价值得多。
- 类比： 想象一下，接受过多样化教科书训练的 AI 就像是一个已经见过各种各样车辆的学生。当你给他们进行一项新测试时，他们不需要更大的大脑来理解新车；他们只需要看到更多这类车的例子就能达到完美。他们的“大脑”不需要增长得那么快，因为他们的“经验”非常丰富。
结果：新的“数据优先”策略
论文发现，通过使用多样化的、奇异的数据进行初始训练：
- “更大的大脑”策略变得不再那么重要。
- “更多数据”策略成为了赢家。
事实上，研究人员发现，对于你投入的每一单位计算能力，你应该将其中的约 78% 花在获取更多数据上，而仅用 22% 来扩大模型规模。这是一个巨大的转变，背离了旧有的 50/50 分配比例。
为什么这在物理学中很重要
论文强调了物理学的一个独特优势：我们可以制造自己的数据。
在医学或语言领域，获取新数据是困难、昂贵甚至不可能的（你无法直接“模拟”出一个新的人类患者）。但在粒子物理学中，科学家使用强大的计算机来模拟粒子碰撞。一旦模拟程序开始运行，他们就可以免费生成无限量的高质量、多样化的数据。
核心结论：
如果你正在为物理学构建一个超级聪明的 AI，不要仅仅试图构建一个尽可能大的大脑。相反，你应该把你的时间和金钱花在设计一个更好、更多样化的课程，让 AI 先进行学习。一旦 AI 看过了各种各样的“奇异”例子，它就能从你交给它的特定任务中更快、更好地学习，并且你会通过喂给它更多的数据而非扩大模型规模来获得更好的结果。
简而言之： 一套精心挑选的、多样化的训练数据饮食，比一个更大的大脑更强大。
总而言之： 一个经过精心选择的、多样化的训练数据“食谱”，比一个更大的大脑更有力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。