💻 computer science

When Data Is Scarce: Scaling Sparse Language Models with Repeated Training

本文研究了数据匮乏情况下的稀疏语言模型训练，证明了稀疏性不仅提高了效率，还延迟了数据饱和，并实现了一种能够优化活跃参数、数据重复与计算预算之间性能权衡的新型缩放法则。

原作者： Boqian Wu, Qiao Xiao, Patrik Okanovic, Tomasz Sternal, Maurice van Keulen, Mykola Pechenizkiy, Elena Mocanu, Torsten Hoefler, Decebal Constantin Mocanu

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Boqian Wu, Qiao Xiao, Patrik Okanovic, Tomasz Sternal, Maurice van Keulen, Mykola Pechenizkiy, Elena Mocanu, Torsten Hoefler, Decebal Constantin Mocanu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：教材不够用了

想象一下，你正在试图教一个聪明的学生（AI）如何像人类一样写作。在过去，策略很简单：“给他们越多的教科书（数据），并且把他们的脑容量（模型大小）做得越大，他们就会变得越聪明。”

但高质量的教科书快用完了。互联网上的优质写作内容是有限的，而我们已经读过了其中的大部分。现在，我们面临的情况是：我们必须通过一遍又一遍地阅读同样的几本书来教这个学生。

旧的规则是：“如果你把同一本书读了 10 遍，你会感到厌倦并停止学习新事物。”这被称为“收益递减”。这篇论文提出了一个问题：当我们不得不重复使用相同的数据时，有没有一种方法可以保持有效的学习？

解决方案：“稀疏”教室

研究人员尝试了一种新的教学方法，称为稀疏训练（Sparse Training）。

为了理解这一点，请想象两个教室：

密集型教室（The Dense Classroom）： 教室里的每个学生都被迫听每一场讲座，并对每一个主题做笔记。如果老师重复讲授一次讲座，每一个学生都会再次听到它。最终，学生们会感到厌倦，课堂也会停止学习。
稀疏型教室（The Sparse Classroom）： 老师制定了一条规则：“只有 50% 的学生会听这场讲座。另外 50% 的学生则休息。”但这里有个转折：谁在听，每次都在变化。
- 在讲座 1 中，学生 A 在听。
- 在讲座 2 中，学生 B 在听。
- 在讲座 3 中，学生 C 在听。

尽管老师是在重复完全相同的讲座（数据），但每次在“听”的学生（AI 的组成部分）却是不同的。这让“课堂”保持新鲜感，防止了当相同的脑部区域反复接收相同信息时所产生的厌倦感。

他们的发现

研究人员在从小型到非常大型（高达 20 亿参数）的 AI 模型上测试了这种方法，并发现了三个主要结论：

1. 稀疏性延迟了“厌倦”（数据饱和）
在普通的课堂上，如果你读一本书 4 遍，学生就会停止学习。但在“稀疏型教室”中，学生可以在开始感到厌倦之前，处理阅读那本相同的书 6 到 7 次。

核心观点： 通过轮换哪些部分的 AI 在“听”，你可以更长时间地重复利用有限的数据，而不会让 AI 陷入停滞。

2. 稀疏性的“金发姑娘区”（最佳平衡点）
你可能会想：“如果 50% 很好，那么 90% 会更好吗？”研究人员发现事实并非如此。

稀疏度太低（密集型）： AI 很快就会感到厌倦。
稀疏度太高（90% 以上）： AI 没有足够的“学生”在听，导致无法学习全局观。
恰到好处（适中，约 50%）： 这是甜点位（Sweet Spot）。它在保证有足够多的“耳朵”去学习的同时，通过保持旋转新鲜感来延迟厌倦。

3. 最好的策略取决于你的目标
该论文确定了两种不同的“获胜策略”，取决于你更看重什么：

如果你想要绝对的最佳性能（最低损失/Loss）： 你应该追求适度的稀疏度（约 50%）。对于你拥有的数据，这能提供最好的结果。
如果你想要节省成本/计算能力（计算最优/Compute-Optimal）： 你应该追求更高的稀疏度（约 60-75%）。
- 类比： 想象你有一个固定的学校旅行预算。
  - “适中”策略能让你在旅行中获得最好的成绩。
  - “高稀疏度”策略能让你获得与最好的学校相同的成绩，但你为此花费的钱要少 8 到 10 倍。

新的规则手册（缩放法则/Scaling Law）

研究人员创建了一个新的数学公式（“缩放法则”）来预测 AI 的表现如何。

旧规则： 性能取决于模型大小 + 数据量。
新规则： 性能取决于模型大小 + 数据量 + 你重复数据的次数 + 你的模型有多“稀疏”（即旋转程度）。

这个新公式准确地预测了：如果你缺乏数据，你不应该仅仅构建一个更大的大脑；你应该构建一个更稀疏的大脑，并让它轮流关注。

总结

当数据匮乏时，你不能只是继续以同样的方式进行训练。这篇论文表明，通过使用稀疏训练（即让 AI 的不同部分轮流从相同的数据中学习），你可以：

让 AI 在相同数据上学习得更久，而不会感到“厌倦”。
训练出巨大的模型，其智能程度与旧模型相当，但使用的计算能力减少了 8 到 10 倍。
找到完美的平衡点（约 50%-75% 的稀疏度），以实现针对特定情况的最佳效果。

简而言之：当数据稀缺时，不要仅仅把模型做大；要让它更聪明地去“听”。

技术摘要：通过重复训练扩展稀疏语言模型

问题陈述

近期大语言模型（LLMs）的进展在很大程度上依赖于假设高质量训练数据充足的缩放法则（scaling laws）。然而，高质量独特人类数据的供应增长率较为平缓（每年约 1.03 倍），而预训练数据消耗量却在加速增长（每年约 4 倍）。这种不匹配引发了一个数据受限阶段（data-constrained regime），即模型必须在有限的独特 Token 上进行训练，从而需要多轮次（multi-epoch）训练（即数据重复）。

在此阶段，标准的稠密缩放法则表现出收益递减的现象；重复使用相同的数据会导致快速饱和与过拟合。虽然先前的研究在数据充足的阶段探索了稀疏缩放（例如混合专家模型或动态稀疏训练），以及在稠密阶段探索了数据受限缩放，但稀疏性与数据重复之间的相互作用仍未得到充分研究。具体而言，目前尚不清楚稀疏优化是否可以改变重复数据的饱和动态，或者在独特数据匮乏时，能否改善模型容量、数据复用与计算成本之间的权衡。

研究方法

作者对**动态稀疏训练（Dynamic Sparse Training, DST）**在数据受限条件下的表现进行了系统的实证研究。其方法论包括：

实验设置：
- 模型： 在 C4 数据集上训练的 LLaMA-2 系列架构。
- 规模： 实验涵盖的活跃参数量 ( $N$ ) 从 15M 到 960M，稠密等效规模高达 1.92B 参数（并通过外推验证至 7.68B）。
- 稀疏度： 范围从 0%（稠密）到 93.75%（16 倍压缩）。
- 数据预算： 独特 Token 预算 ( $U_d$ ) 分别为 0.52B、1.3B 和 2.6B。
- 重复次数： 进行 1、2、4、8 和 16 个 epoch 的训练，总训练 Token 量高达 41.6B。
- 算法： 使用带有幅度剪枝（magnitude pruning）和随机再生（random regrowth）的稀疏进化训练（SET）算法进行动态稀疏训练。
缩放法则公式化：
作者提出了一种新的稀疏数据受限缩放法则，该法则扩展了 Chinchilla 以及 Muennighoff 等人 (2023) 的公式。损失函数 $L$ 建模为：
$L(N', D', S) = \frac{A}{(N')^\alpha} + \frac{B}{(D')^\beta} + E$
其中：
- $N'$ 和 $D'$ 分别是有效参数量和数据量，它们考虑了收益递减的情况。
- $S$ 是稀疏水平。
- 有效数据大小 $D'$ 纳入了一个依赖于稀疏度的饱和阈值 $R^*_d(S)$ ：
  $D' = U_d + U_d R^*_d(S) \left(1 - e^{-R_d/R^*_d(S)}\right)$
- 饱和阈值 $R^*_d(S)$ 被建模为关于稀疏度的函数： $R^*_d(S) = R^*_d (1 + \lambda_1 S + \sigma_1 S^2)$ 。
- 类似地，有效参数量 $N'$ 包含了反映活跃参数与稠密等效容量之间权衡的因子。
分析：
研究通过分析 Iso-Loss（等损失）和 Iso-FLOPs（等计算量）曲线，来确定在固定数据和计算预算下，最优的资源分配方案（模型大小 vs. 训练轮次）。他们区分了两种计算定义：稀疏 FLOPs（针对非零参数的操作）和 稠密 FLOPs（训练等效稠密模型的成本）。

核心贡献与发现

1. 一种新的稀疏、数据受限训练缩放法则

本文引入了一种缩放法则，该法则通过将损失建模为活跃参数、独特 Token、数据重复和稀疏度的函数，能够准确预测不同计算和数据预算下的性能。

验证： 该模型在留出配置（held-out configurations）上的验证 $R^2$ 达到 0.914，证明了该公式捕捉到了稀疏缩放的底层结构且未发生过拟合。

2. 延迟数据饱和

最重要的实证发现是，稀疏性延迟了重复数据的饱和。

机制： 在稠密训练中，重复接触有限的数据会迅速导致收益递减。稀疏训练将更新分布在更大的权重池中，从而降低了单个参数在相同数据上被更新的频率。
定量影响： 数据饱和阈值 $R^*_d$ 随稀疏度增加而上升，在 $S \approx 0.5$ 处达到峰值。在 $S=0$ 时， $R^*_d \approx 4.4$ ；在 $S=0.5$ 时， $R^*_d \approx 6.9$ 。这意味着稀疏模型在性能进入平台期之前可以容忍更多的重复数据，使得多轮次训练更加有效。

3. 资源分配与权衡

研究确定了在数据受限条件下，稀疏训练与稠密训练截然不同的最优策略：

分配偏移： 在稠密训练中，额外的计算量最好分配给增加模型规模。而在稀疏训练（特别是中度稀疏）中，额外的计算量更适合分配给更长的训练（更多轮次），而非增加参数量。
参数效率： 稀疏训练实现了更好的参数与 Token 比例。对于 1.3B 的 Token 预算，稀疏训练实现的参数-Token 比可以比稠密训练小 3 倍，从而提高了推理效率。

4. 最优稀疏度水平

作者定义了两种最优稀疏度的概念：

损失最优稀疏度（Loss-Optimal Sparsity）： 在固定数据预算下使验证损失最小化的稀疏度。在不同数据规模下，该值保持相对稳定且处于中等水平（ $S \approx 0.45 - 0.5$ ）。
计算最优稀疏度（Compute-Optimal Sparsity）： 指在匹配最优稠密模型性能的同时，最小化训练计算量的稀疏度。该值随数据规模增加而增大，从 1.3B Token 时的 $S \approx 0.6$ 增加到更大规模（13B–130B Token）时的 $S \approx 0.7 - 0.75$ 。
效率增益： 在计算最优稀疏度下，稀疏模型在达到与稠密模型相当的准确度的同时，使用的训练 FLOPs 减少了约 8 到 10 倍。

重要性与主张

本文声称提供了首次对数据受限缩放机制下动态稀疏训练进行的系统性实证表征。其主要意义在于，它不再仅仅将稀疏性视为一种用于推理效率或模型压缩的工具，而是将其重新定义为一种改进缩放权衡的机制——尤其是在数据成为主要瓶颈的情况下。

核心主张包括：

稀疏性从根本上改变了模型容量与数据重复之间的相互作用，延迟了收益递减点的到来。
在数据匮乏的情况下，最优策略从“更大的模型”转向“在稀疏模型上进行更长时间的训练”。
所提出的缩放法则提供了一个预测框架，用于在未来数据受限的预训练场景中分配计算和数据。

作者承认了局限性，指出他们的实验尚未达到前沿 LLM 的规模（超过 7.68B 稠密等效参数），且稀疏实现中的硬件级效率问题可能会降低实际获得的加速效果。然而，他们断言其研究结果为在数据受限时代训练高效 LLM 提供了基础性的理解。