Efficient Pre-Training with Token Superposition
本文介绍了 Token 叠加训练（TST），这是一种即插即用方法，通过先将 token 组合成包以进行高效的多热交叉熵训练，随后再恢复为标准训练，从而在不修改模型架构或并行策略的情况下，显著提升预训练数据吞吐量并将总训练时间最多缩短 2.5 倍。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用通俗语言和日常类比对论文《基于 Token 叠加的高效预训练》的解释。
核心难题：训练 AI 如同在沙地中跑马拉松
想象你正在教一名学生（一个大语言模型）阅读和写作。为此，你必须向他展示数百万本书。然而，当前的教学方式极其缓慢且昂贵。这就像要求学生背着沉重的背包，逐字逐句地读完一本书。他们会感到疲惫（计算成本高昂），而且读完整个图书馆需要耗费漫长时间。
研究人员希望在既不改变学生的大脑（模型架构）也不改变他们阅读的书籍（数据）的前提下，加快这一过程。
解决方案：“Token 叠加训练”（TST）
作者提出了一种巧妙的两阶段训练方法，称为Token 叠加训练（TST）。你可以将其理解为先进行“速读”阶段，再进行“微调”阶段。
第一阶段：“冰沙”阶段（叠加）
在标准训练中，AI 通过一次看一个词来学习（例如，“The"，然后是"cat"，接着是"sat"）。
在叠加阶段，AI 被教导一次性查看一整“袋”单词。
- 类比：想象老师不再让学生阅读句子"The cat sat on the mat"，而是递给学生一杯装满这些词的搅拌机。学生看不到单个单词，他们看到的是一杯由"The + cat + sat"混合而成的“冰沙”。
- 工作原理：计算机取 8 个单词（一个“袋”），将它们的意思混合成一个单一的“超级词”，然后让 AI 预测下一个 8 个单词的“袋”会是什么。
- 优势：因为 AI 将 8 个单词当作 1 个来处理，它可以在不增加任何计算资源的情况下，将数据处理速度提高 8 倍。这就像学生现在能在原本读 1 页书的时间里读完 8 页。
第二阶段：“细齿梳”阶段（恢复）
如果你只让 AI 接受“冰沙”训练，它将无法写出正常的句子。它将不知道单词的顺序，其输出将是胡言乱语。
因此，在训练进行到一定时间（通常是总训练时间的 30% 左右）后，研究人员会停止“冰沙”阶段。
- 类比：他们切换回标准方法。他们利用 AI 的大脑（此时它已经非常快速地掌握了语言的整体结构），将其放回普通教室。他们停止使用搅拌机，重新开始向它展示单个单词。
- 结果：因为 AI 在第一阶段已经如此高效地掌握了“大局”，它能迅速恢复。它能赶上并经常超越那些全程接受“慢速”训练的模型的性能。
为什么这很重要
该论文声称，这是一种“即插即用”的解决方案。你不需要改变 AI 的大脑、计算机芯片或书籍。你只需要在训练的第一部分改变数据输入的方式。
- 速度提升：在他们针对大型模型（100 亿参数）的测试中，与标准训练相比，该方法使他们在一半的时间内达到了相同的智能水平（实现了 2.5 倍的速度提升）。
- 权衡：他们是用“数据消耗量”来换取“速度”。AI 在相同时间内阅读了更多数据，但由于它是按“袋”阅读的，因此能更快地学习模式。
该论文未声称的内容
重要的是要坚守作者实际所说的内容：
- 它不改变最终产品：一旦训练完成，AI 与普通的 AI 完全一样。它仍然可以写出连贯的句子、代码和故事。“冰沙”技巧仅在学习过程中使用。
- 它不是关于“思考”更快：这并不会让 AI 在训练期间在推理或解决复杂数学问题方面变得更聪明；它只是使训练过程本身更加高效。
- 它不是适用于所有情况的灵丹妙药：作者在从较小（2.7 亿参数）到较大（100 亿参数）的模型上测试了这种方法。它在各个方面都表现良好，但他们指出，如果你拥有无限的数据和时间，其优势可能会有所不同。
总结
将 TST 想象成AI 的速读课程。
- 首先，教它略读：你向它展示混合在一起的文本块，让它能非常快速地吸收语言的整体氛围。
- 然后，教它正常阅读：你切换回逐词阅读，以完善其技能。
结果如何？AI 以创纪录的时间完成了它的“学业”，使用了相同数量的能量，并且最终变得和那些走缓慢传统路线的模型一样聪明（甚至更聪明）。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。