🤖 machine learning

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

本文通过引入掩码输入正则化（Masked-Input Regularization, MIR）以提升验证集和下游任务性能，并提出 SoftQ——一种能够准确捕捉在多次训练轮次下模型规模与数据规模之间相互作用的新型缩放法则（在经典法则失效的情况下），从而解决了语言模型预训练中的数据受限问题。

原作者： Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名学生（AI 模型）如何写故事。过去，规则是：“给学生一个庞大的独特书籍图书馆，并让他们每本书都只读一次。”这之所以奏效，是因为图书馆非常巨大，且学生有充足的时间将每本书读完一遍。

但现在，情况发生了变化。我们制造出了能够每秒阅读数百万本书的超级快速计算机（算力），但新的、独特的书籍（自然语言数据）却快要用完了。我们正处于一个“数据受限、算力丰富”的世界。现在，学生必须一遍又一遍地阅读这个规模较小的图书馆，通过多次重复来充实大脑。

问题在于：如果你只是让学生一遍又一遍地阅读相同的书籍，他们会开始背诵这些书，而不是学习如何写作。他们会变成一只鹦鹉，重复看到的精确短语，而不是理解语言的规则。这被称为“过拟合并拟合”（Overfitting）。

这篇论文主要解决两个问题：

我们如何阻止学生仅仅是死记硬背？（正则化）
如何最好地平衡学生大脑的大小与图书馆的大小？（缩放法则）

以下是利用简单的类比对他们研究结果的拆解。

1. “模糊眼镜”技巧（掩码输入正则化）

问题：
当一个学生第 10 次阅读同一本书时，他们可能会开始背诵第 5 页上的精确字体或一个奇怪的错别字，而不是学习故事本身。他们需要一种方法来迫使自己关注含义，而不是精确的文本。

解决方案 (MIR)：
作者尝试了一种称为掩码输入正则化 (Masked-Input Regularization, MIR) 的技术。想象一下在学生阅读时给他们一副“模糊眼镜”或一个“干扰器”。

每当他们阅读一个句子时，计算机都会随机隐藏（掩码）一些单词，将它们变成 [MASK]。
学生必须根据上下文猜出缺失的单词，就像玩“填空游戏”一样。
他们在进行正常阅读的同时进行这种练习。

结果：
这就像练习一项运动。如果你只在完美、平坦的场地上练习，一旦刮起风来，你可能会失败。但如果你在练习时加上一个“风力机”（随机掩码）对着你吹，你就会学会适应。

论文发现，即使学生已经受到了严格的训练（使用“强权重衰减”，这就像一位严厉的教练告诉他们不要死记硬背），加入这种“模糊眼镜”技巧也能让他们变得更好。
它帮助模型更好地处理棘手的情况，比如奇怪的名字、混合语言或破碎的文本，比那些只是反复阅读干净文本的模型表现得好得多。
回报： 他们计算出，使用这个技巧在数学上等同于给学生提供了 1.3 倍的独特书籍 来阅读。这是从我们有限的图书馆中获取更多价值的一种方法。

2. “耦合”增长规则 (SoftQ 缩放法则)

旧规则 (Chinchilla)：
此前，专家们有一个公式（Chinchilla 法则）来决定基于多少书籍来确定学生大脑的大小。

旧观点： “如果你将书籍数量翻倍，你应该将大脑容量也翻倍。”它将大脑大小和书籍数量视为两个相加的独立事物。
缺陷： 这个公式假设你总能获得新的书籍。但在我们这个“书籍即将耗尽”的世界里，这个公式失效了。它预测，无论学生拥有微小的大脑还是巨大的大脑，由于书籍减少而带来的惩罚都是一样的。

新规则 (SoftQ)：
作者意识到，在书籍有限的世界里，大脑的大小和书籍的数量是紧密相连的。

类比： 想象一个水桶（大脑）和一根水管（数据）。
- 如果水桶很小，无论水管多大都无所谓；水桶很快就会装满，多余的水只会溢出来（浪费数据）。
- 如果水桶很大但水管很细，水桶大部分时间都会是空的（浪费大脑能力）。
- 由于水管变细而导致的“惩罚”，随着水桶变大，情况会变得糟糕得多。一个巨大的水桶配上一根细小的水管简直是一场灾难。

结果：
他们提出了一个名为 SoftQ 的新公式。

与旧公式不同，SoftQ 理解随着模型变大，对独特数据的需求增长得更快。它将两者“耦合”在一起。
在测试中，SoftQ 预测模型性能的准确度远高于旧的 Chinchilla 公式，尤其是在数据有限且模型多次阅读相同数据的情况下。

“核心要点”总结

不要只是重复，要进行干扰： 当你被迫在有限的数据集上进行训练时，随机隐藏文本的一部分（MIR）会迫使 AI 学习通用规则，而不是死记硬背特定的句子。这就像通过遮住答案来做练习题，而不是仅仅阅读教科书。
数据稀缺时，规模至关重要： 旧的 AI 构建规则说“模型越大 = 越好，无论数据多少”。新的规则 (SoftQ) 则说“如果你让模型变得更大，你需要不成比例地多的独特数据，否则模型将会失败。”
效率： 通过使用“干扰”技巧 (MIR) 和新的“耦合”公式 (SoftQ)，即使在新的训练文本即将耗尽的情况下，我们也能构建出更好的 AI 模型。

论文并未提及的内容：
该论文并未声称这能立即解决医疗诊断、创造完美的客服聊天机器人或解决气候变化问题。它严格专注于如何更有效地训练这些模型的数学逻辑。其结果是基于参数量高达 14 亿（1.4B）的模型进行的实验（与当今大科技公司使用的海量模型相比规模较小），但其原理旨在应用于更大规模的场景。

技术摘要：数据受限型语言模型预训练

问题陈述

经典的语言模型（LLM）预训练缩放法则（如 Chinchilla）是在“数据充裕”假设下运行的，即假设可以随计算量自由扩展独特的训练数据。这些法则优化了在固定计算预算下，模型参数与训练 Token 之间的分配，通常假设对语料库进行单次遍历。

然而，本文指出，领域正在向数据受限、计算丰富的范式转变。在这种设定下，高质量自然语言数据的供应是固定或受限的，而训练计算量却在持续增长。因此，训练策略必须进行调整，以利用更大的模型并在有限的数据集上进行多次迭代（重复遍历）。作者识别了当前理解该领域存在的两个关键空白：

正则化： 当计算量增加但独特数据保持不变时，如何防止模型过拟合？虽然强权重衰减（weight decay）已知有效，但不清楚其他机制（如扩散语言模型 [dLLM] 中使用的随机掩码）是否能提供互补的益处。
缩放法则： 经典的加法缩放法则（将模型大小与数据大小解耦）能否准确描述这一范式下的损失曲面？作者假设这些法则存在误设，因为它们未能捕捉到模型容量与有限独特数据之间的相互作用。

研究方法

1. 正则化：掩码输入正则化 (MIR)

为了研究正则化，作者引入了掩码输入正则化 (Masked-Input Regularization, MIR)。这是对标准自回归 (AR) 预训练的一种极简修改，不会改变模型架构或推理过程。

机制： 对于一个干净的输入序列 $x$ ，通过基于采样掩码比例生成一个随机掩码版本 $\hat{x}$ ，即将部分 Token 替换为 [MASK] 标记。
目标： 增强后的训练损失包含一个针对掩码序列的辅助下一 Token 预测损失：
$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$
原理： 作者假设随机掩码起到了正则化的作用，迫使模型学习可泛化的预测特征，而非记忆特定上下文的噪声。该方法通过与“强正则化”的 AR 模型基准进行对比，并与扩散语言模型 (dLLM) 进行比较来验证其效果。

2. 缩放：SoftQ 法则

为了解决缩放问题，作者构建了一个实验网格，变量包括模型大小 ( $N \in \{72M, \dots, 1.4B\}$ ) 和独特数据预算 ( $U \in \{100M, \dots, 400M\}$ )。他们评估了以下几种缩放法则：

Chinchilla： 一种加法形式 $L = E + A N^{-\alpha} + B U^{-\beta}$ ，它假设不同数据预算之间的损失差距与模型大小无关。
Muennighoff 风格： 使用随重复次数饱和的有效资源。
Quanta： 一种源自技能学习观点的耦合法则。
SoftQ (提议)： 一个通过“软瓶颈”将模型大小与数据大小耦合的五参数缩放法则：
$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$
其中， $\rho$ 控制参数受限阶段与数据受限阶段之间的转换锐度。当 $U \to \infty$ 时，它恢复参数缩放；当 $N \to \infty$ 时，它恢复数据缩放。

核心贡献与结果

1. 正则化发现

权重衰减迁移： 作者证明，强权重衰减（针对 AR 优化）显著提升了 dLLM 的性能，缩小了 AR 模型与 dLLM 模型之间的验证损失差距。当两者都经过强正则化时，它们的表现趋于一致。
MIR 的效力： MIR 在强权重衰减之上提供了互补的正则化。在 DCLM 数据集（1 亿个独特 Token）上，从 72M 到 1.4B 不同规模的模型训练中，MIR 始终比仅使用强权重衰减的基准具有更低的验证损失。
- 收益随模型规模增大而增加（从 72M 时的 ~0.006 损失降低到 1.4B 时的 ~0.03），这符合过度参数化模型更受益于掩码正则化的理论直觉。
- 下游增益： 在 1.4B 参数量下，MIR 带来了显著的下游改进，包括 BoolQ 提升 10.2 个百分点，SciQ 提升 2.2 个百分点。
- 泛化性： 即使仅在自然语言数据上进行超参数调优，其收益也能迁移到代码密集型数据（Stack-V2）上。
机制分析： Token 级分析显示，MIR 对“困难”Token 的帮助最大，这些 Token 的上下文包含噪声、混合脚本或罕见名称，这表明 MIR 提高了对局部前缀上下文的鲁棒性，而非仅仅是提高频率预测能力。

2. 缩放法则发现

Chinchilla 被误设： 实验结果显示，不同独特数据预算之间的验证损失差距随模型规模增大而扩大。加法形式的 Chinchilla 法则预测损失差距与模型大小无关，无法捕捉这种“扇形展开”行为。
SoftQ 的优越性： 提议的 SoftQ 法则通过显式耦合模型大小与数据大小，比 Chinchilla、Quanta 和 Muennighoff 风格的法则更显著地拟合了数据受限实验。它在样本内拟合和留出集外推（通过较小预算预测 400M 预算的表现）方面均实现了更低的 RMSE 和 MAE。
数据效率量化： 以 SoftQ 为基准，作者估计 MIR 的性能增益约相当于 1.3 倍 的独特训练数据量（特别是在 200M–400M Token 预算范围内）。

意义与主张

本文声称为数据受限、计算丰富的范式提供了基础性的理解，而这一范式随着计算量超过数据可用性而变得日益重要。

实用配方： 作者提出了一种实用的、低开销的配方 (MIR)，它在不改变架构或增加推理开销的情况下，提高了自回归预训练的数据效率。
理论修正： 他们证明了经典的加法缩放法则在数据受限范式下是不充分的，并提出了 SoftQ 作为更准确的模型，用于预测独特数据作为约束资源时的损失曲面。
正则化与缩放的交织： 本研究强调，在这一范式下，正则化策略（如权重衰减和掩码）与缩放法则是深度交织的；有效的缩放需要经过适当正则化的模型，以防止在重复数据上发生过拟合。

作者保持了谦逊，指出其实验仅限于 1.4B 参数和 400M 独特 Token，相对于前沿规模的预训练而言规模较小。他们建议未来的工作可以探索超参数迁移配方以及不同的模型架构。