🤖 machine learning

Data Augmentations for Data-Constrained Language Model Pretraining

本文提出，将词元级噪声、序列置换和目标偏移预测相结合作为数据增强技术，能有效缓解自回归语言模型预训练中的过拟合问题，从而使在固定且受限的数据集上进行多轮训练变得富有成效。

原作者： Michael K. Chen, Xikun Zhang, Zhen Wang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Michael K. Chen, Xikun Zhang, Zhen Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢但非常饥渴的学生（即 AI 模型）如何写故事。在过去，教导这位学生最好的方法是给他们一个巨大的图书库去阅读。他们读的书越多，就会变得越聪明。

但现在，我们撞上了一堵墙。互联网上的高质量书籍已经枯竭了。与此同时，我们的计算机（老师）正变得异常强大且快速。我们正处于一种拥有过剩计算能力但缺乏新数据的境地。

问题所在：“过度阅读”的学生

因为没有新的书了，我们不得不让这个学生一遍又一遍地阅读同样的 7500 万个单词。

在旧的训练方式（称为“自回归”或 AR）中，如果你让学生反复阅读同一段文本，他们会停止学习其中的“故事”，转而开始死记硬背每一个精确的单词。

类比： 想象一下把同一页书读 100 遍。最终，你不仅知道故事的内容，你甚至连每个逗号都在什么位置都了如指掌。如果你被测试一张你从未见过的全新页面，你会失败，因为你只记住了旧的那一个。
结果： AI 在处理训练数据时表现得非常好，但随着训练时间的延长，它在处理新的、未见过的数据时的表现会变得越来越差。这就是“过拟索”（Overfitting）。

解决方案：数据增强（“扭转”法）

这篇论文的作者提出了一个问题：我们如何让学生在读完同一本书 100 次后，依然不会只是死记硬背？

他们的答案是数据增强。与其每次都给学生完全相同的文本，不如在学生阅读之前，对其进行轻微的“扭转”或“打乱”。这迫使学生去理解含义和语境，而不是仅仅记忆单词序列。

他们尝试了三种主要的文本扭转方式：

1. “蒙眼”与“错词”游戏（Token 级噪声）

遮盖（蒙眼）： 他们用一个黑盒子（一个 `` 标记）遮住一些单词。学生必须根据句子的其余部分来猜出缺失的单词。
随机替换（错词）： 与其使用黑盒子，不如将一个单词替换为另一个虽然符合语法逻辑但在事实上错误的单词。
- 例子： 将“猫坐在垫子上”改为“猫坐在帽子上”。
- 发现： 出人意料的是，“错词”游戏比“蒙眼”游戏效果更好。为什么？因为如果看到一个空格，猜出缺失的单词很容易；但当句子看起来仍然“正确”时，要发现“帽子”这个词是错误的，则需要更艰苦的脑力锻炼。这迫使学生更加专注地观察。

2. “倒带”与“填空”游戏（序列排列）

从右向左（倒带）： 他们让学生倒着读句子，从最后一个单词读到第一个单词。
中间填空： 他们取一个句子，挖掉中间部分，然后要求学生根据开头和结尾来预测中间的内容。
- 发现： 倒着读作为一种正则化手段效果很好（它阻止了死记硬背）。然而，“中间填空”游戏实际上让情况变得更糟了，对于普通文本而言是如此。作者认为这是因为“填空”的形式与我们通常阅读的方式（从左到右）差异太大，以至于它让学生感到困惑，而不是提供帮助。

3. “预知未来”游戏（目标偏移预测）

他们不再问“下一个单词是什么？”，而是问“三个步骤之后的单词是什么？”
发现： 这项技术效果很好，但前提是必须小心操作。如果他们过于频繁地询问未来的单词，学生会感到困惑。如果他们主要询问下一个单词，但偶尔询问更远处的单词，这就像是一个完美的训练课程。

获胜策略：“完美风暴”

作者并没有只选择一种游戏，而是将它们结合了起来。然而，他们发现有些游戏会产生冲突。

冲突： 如果你既遮盖单词（蒙眼），又要求预测未来的单词，学生就会感到不知所措。语境被破坏得太严重，无法做出准确的猜测。
和谐： 如果你使用随机替换（更换单词）+ 倒着读 + 偶尔向前看，学生就能保持敏锐。

结果：
通过使用这种特定的“扭转”组合，AI 能够在进行 100 个 epoch（将数据重复阅读 100 遍）的过程中，依然不丧失其泛化能力。

没有这些技巧： AI 在第 16 个 epoch 时达到顶峰，随后性能开始下降。
有了这些技巧： AI 持续提升，达到了比任何单一方法都更低的错误率（更好的性能）。

核心结论

这篇论文证明了，当我们面临数据枯竭时，并不需要停止训练。我们只需要改变呈现数据的方式。通过添加细微且聪明的“扭曲”，我们可以让强大的计算机更有效地进行更长时间的学习，防止它们仅仅是死记硬背训练集。

关键启示： 随机替换单词（让文本变得略微“错误”）是最有效的单一技巧，而将其与倒序阅读和向前看相结合，创造了最佳的整体表现。

技术摘要：面向数据受限语言模型预训练的数据增强技术

1. 问题陈述

本文探讨了大型语言模型（LLM）开发中新兴的“数据受限、算力充裕”的范式。随着高质量公开互联网文本库接近枯竭，业界面临着算力增长速度超过数据可用性的瓶颈。因此，模型必须在固定的语料库上进行多轮次（multi-epoch）训练。

作者识别了在这种设定下的一个关键失效模式：标准的自回归（AR）预训练会遭受严重的过拟合。在实验中，一个在 75M token 语料库（约低于 Chinchilla 最优预算 40 倍）上训练的 150M 参数模型，在第 16 个 epoch 时达到验证集损失最小值，随后持续恶化，表明模型从泛化转向了记忆。虽然扩散模型已被提议作为一种更鲁棒的替代方案，但它们目前在推理成本、动态长度生成以及基础设施成熟度方面面临实际障碍。本文认为，一个更直接的解决方案是通过训练时的数据增强，将扩散式正则化引入标准的 AR 模型中。

2. 方法论

作者引入了三类正交的数据增强方法，旨在修改训练期间呈现给模型的（输入, 标签）对，而不改变模型架构或损失函数。在评估阶段，所有增强都会被禁用，模型在标准的从左至右（L2R）下文预测设置下进行测试。

第一类：Token 级噪声

受扩散模型中噪声过程的启发，此类方法通过破坏输入 token，要求模型预测原始且未受损的序列。

掩码（Masking）： 一定比例的 token 被替换为特殊的 `` token。
随机替换（Random Replacement）： 一定比例的 token 被替换为从词表中随机抽取的 token。这创造了一个比掩码更具“语义难度”的信号，因为替换后的 token 是看似合理但错误的 token。

第二类：序列排列（Sequence Permutations）

此类方法通过重新排列训练序列来改变预测方向或结构。

从右至左（R2L）： 序列被反转，模型按逆序预测 token，并由一个方向 token 进行引导。
中间填空（FIM）： 序列被重新排列为前缀-后缀-中间（PSM）或后缀-前缀-中间（SPM）格式。模型必须在给定前缀和后缀的情况下预测中间段。

第三类：目标偏移预测（Target Offset Prediction）

模型不再预测紧随其后的 token ( $x_{t+1}$ )，而是被训练去预测未来位置为 $i \ge 1$ 的 token $x_{t+i}$ 。

权重方案： 作者探索了在预测步长 $i$ 上的均匀采样和指数衰减权重。指数方案将概率质量集中在较小的偏移量（主要是 $i=1$ ）上，同时偶尔采样较大的步长，起到隐式课程学习的作用。
机制： 在前面插入一个特殊的 <next_i> token 来指示当前的偏移量。

这些类别可以按顺序应用于一个流水线中：首先应用噪声，然后是排列（如果激活），最后是插入方向/偏移 token。

3. 实验设置

模型： 基于 Llama 架构（20 层，512 隐藏层大小）的 150M 参数因果语言模型。
数据集： 来自 DCLM-RefinedWeb 的 75M tokens。
训练计划： 热身-稳定-衰减（WSD）学习率调度。消融研究主要利用稳定阶段来高效比较相对性能，其中一部分运行经历了完整的衰减阶段以进行鲁棒性检查。
指标： 主要指标是标准 L2R 下文预测下的留出验证集损失（held-out validation loss）。五个下游基准测试（HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA）的零样本准确率作为佐证证据。

4. 关键结果

单一增强性能

Token 噪声： 随机 token 替换的表现始终优于掩码。表现最好的单一方法是 15% 随机替换，其验证集损失最小值为 3.841（基准为 4.015）。15% 的掩码得分为 3.910。较低的比例（5%）提供的正则化较少，而较高的比例（30%）则显示出收益递减。
序列排列： 50% 混合度的 R2L 非常有效（最小损失 3.910），而 FIM 则没有带来任何收益（最小损失 3.947，与基准持平）且过拟合速率与基准一致。作者将 FIM 的失败归因于训练格式与评估设置之间的分布不匹配。
目标偏移： 在偏移量 $i \le 5$ 上采用指数权重是表现最强的单一增强方法（最小损失 3.870）。均匀权重未提供收益。有界均匀偏移（ $i \le 2$ ）提供了适度的正则化（3.890），但收敛较早。

组合性能

研究表明，组合方式对超参数和交互类型高度敏感：

协同效应： 将 R2L 与 目标偏移（指数权重） 结合具有协同作用，实现了 3.841 的最小损失，与最佳单一方法持平。
干扰效应： 将 Token 噪声 与 目标偏移 结合会导致强烈的干扰，使最小损失上升到接近基准的水平（例如，随机 15% + 偏移 $i \le 5$ 指数权重导致结果为 3.995）。作者将其归因于 token 噪声破坏了偏移预测所需的局部上下文。
最优配置： 通过仔细调优，将三类方法结合使用可获得最佳结果。具体而言，5% 随机替换（而非 15%）结合 50% R2L 以及 偏移 $i \le 5$ （指数权重） 达到了整体最佳的验证集最小损失 3.805。这一配置相比基准降低了 0.210。
鲁棒性： 在稳定阶段建立的排名在 WSD 衰减阶段得以保持。表现最好的三类组合在衰减阶段达到了 3.792 的最小损失。

下游泛化

所有增强后的模型在五个基准测试的零样本准确率上均优于基准模型。表现最好的三类组合实现了 42.9% 的平均准确率（基准为 41.0%）。虽然验证集损失并未与准确率排名完美相关（可能是由于 150M 规模下的噪声），但趋势证实了较低的验证集损失通常意味着更好的泛化能力。

5. 重要性与主张

本文声称，数据增强是缓解数据受限环境下 AR 预训练数据低效性的可行且轻量级的策略。核心结论包括：

通过增强实现正则化： 增强方法允许模型从对固定数据进行多次重复处理中提取有意义的信号，从而延迟或防止标准 AR 训练中观察到的过拟合崩溃。
随机替换 > 掩码： 与 BERT 式的惯例相反，随机 token 替换是更优的 AR 预训练正则化手段，这可能是因为相比于显式的缺失信号（mask），识别“看似合理但错误”的 token 具有更高的难度。
格式保留： 相对于 FIM 这种剧烈改变序列格式的方法，保留内容但改变顺序（R2L）的增强方法相对于评估分布更为有效。
超参数敏感性： 组合方法的成功高度依赖于噪声率。高噪声率（15%）会破坏偏移目标，而较低的噪声率（5%）则起到了互补正则化的作用。
实用性： 与扩散模型不同，该方法不需要改变架构或引入新的推理基础设施，使其成为当前 LLM 训练流水线中可以直接应用的解决方案。

作者总结道，尽管与数据过滤或混合策略相比，用于 LLM 预训练的数据增强研究尚不充分，但它值得作为一种一等技术受到认真对待，以应对即将到来的数据天花板。