技术摘要：数据受限训练的指导性缩放定律

问题陈述

大型语言模型（LLM）的训练正日益受到高质量数据可用性的限制，而非计算能力的限制。尽管原始文本数量庞大，但最先进的流水线依赖于激进的质控过滤、精心策划的子集以及特定领域的语料库，从而形成了一个瓶颈：计算预算往往超过了可用的独特数据量。在这种模式下，从业者经常不得不对相同数据进行多轮（多 epoch）训练。

现有的缩放定律，特别是广泛采用的 Chinchilla 定律（Hoffmann 等人，2022），假设每个训练 token 都是唯一的。处理数据重复的扩展方法，如 Muennighoff 等人（2023）提出的有效数据公式，虽然建模了收益递减现象，但未能捕捉到因过拟合导致损失增加的机制。关键在于，这些现有模型并未明确考虑模型规模与重复次数之间的相互作用：在重复数据上，大模型比小模型过拟合得更快。如果不建模这种相互作用，缩放定律就无法准确预测行为，也无法在数据受限的环境中指导计算的最优分配。

方法论

作者提出了一种新的缩放定律公式，通过加性过拟合惩罚项显式地建模数据重复的成本。

实验设置

• 模型：基于 Llama 2 架构的 300 多个仅解码器语言模型，参数量范围从 1500 万到 10 亿。
• 数据：在 FineWeb 数据集（Penedo 等人，2024）上进行训练。
• 网格：研究遍历了从 5000 万到 60 亿 token 的独特数据预算（$U_D$），以及从 0 到 15 个 epoch 的重复次数（$R_D$）。
• 正则化：测试了两种权重衰减强度：标准（$\lambda = 0.1$）和强（$\lambda = 1.0$），其余超参数保持不变。
• 评估：最终验证损失、困惑度，以及通过 OLMES 评估套件（Gu 等人，2025）在 19 个任务上的下游性能。

提出的缩放定律

作者推导出一族缩放定律，在 Chinchilla 形式的基础上增加了惩罚项。其一般形式为：
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalty}(N, U_D, R_D)$$

其中惩罚项捕捉了因重复而产生的额外损失。作者提出了一个形式的“复杂度阶梯”：

1. 单参数形式：惩罚项与重复次数呈线性关系，并按模型规模与独特数据的比率进行缩放：$P \cdot R_D \cdot \frac{N}{U_D}$。
2. 双参数形式：在容量比率上引入非线性指数 $\kappa$：$P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$。
3. 四参数形式：在重复次数上增加超线性指数 $\delta$，并将数据预算指数 $\gamma$ 解耦：$P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$。

该公式假设重复的 token 具有双重作用：它们继续减少数据充分性项（作为有用的数据），同时产生一个取决于模型规模和数据稀缺性的日益增长的过拟合成本。

主要结果

1. 卓越的拟合质量

提出的加性惩罚定律在预测重复情况下的验证损失方面，显著优于现有公式（Chinchilla 基线和 Muennighoff 等人，2023）。

• 描述性拟合：即使是最简单的单参数加性形式，也大幅优于指数衰减基线（在标准研究中，多重 $R^2$ 约为 0.95，而基线为 0.58）。四参数形式实现了近乎完美的拟合（$R^2 \approx 0.997$）。
• 泛化性：加性惩罚形式泛化到了未参与训练的 Muennighoff 等人（2023）的 C4 数据集，在该数据上优于其自身的有效数据公式，证实了这种改进并非特定训练设置的产物。

2. 计算最优分配

与 prior work 相比，新的缩放定律在数据受限区域为计算分配提供了定性不同的建议：

• prior work：Chinchilla 定律（忽略过拟合）总是建议随着计算能力的增加而增加重复次数。Muennighoff 等人（2023）的定律建议收益递减，但从未建议停止重复。
• 本工作：提出的定律识别出了一个计算阈值，超过该阈值后，进一步的重复是适得其反的。超过这一点，最优策略是将额外的计算能力分配给模型容量（更大的 $N$），同时减少 epoch 数量（$R_D$）。这导致了分配前沿的“折返”。

3. 指导性验证

作者通过训练针对固定计算和数据预算，由各定律推荐的具体配置（模型规模和 epoch 数量），验证了该定律的建议。

• 由提出的定律推荐的配置在所有测试预算中始终实现了最低的困惑度和最佳的下游性能（OLMES BPB）。
• 例如，在 $2 \times 10^{19}$ FLOPs 的计算预算和 5 亿独特 token 下，提出的定律推荐了一个训练 3 个 epoch 的 22 亿参数模型，其表现优于 Chinchilla 的推荐（6.7 亿参数，10 个 epoch）和 Muennighoff 的推荐（9.5 亿参数，7 个 epoch）。

4. 案例研究：权重衰减

惩罚项中的单个系数 $P$ 量化了配置对数据重复的鲁棒性。

• 过拟合减少：与标准权重衰减（$\lambda = 0.1$）相比，强权重衰减（$\lambda = 1.0$）将过拟合系数 $P$ 降低了约70%。
• 交叉点：虽然强权重衰减在单 epoch 区域会产生“损失溢价”，但降低的过拟合惩罚在高计算预算下创造了一个交叉点（对于 $U_D=2.5$ 亿，$C \approx 3.2 \times 10^{18}$ FLOPs）。超过这一点，强权重衰减能够有效地利用额外的计算能力，表现优于标准设置。这为最近的实证发现（Kim 等人，2026）提供了缩放定律层面的解释：在数据受限区域，最优权重衰减比标准实践大一个数量级。

意义与主张

本文声称提供了一个指导性框架，用于数据受限训练，超越了 Chinchilla 的“无限数据”假设。

• 新的分配建议：主要贡献是识别出重复变得有害的区域，将最优策略从“更多 epoch"转变为“更大的模型”。
• 可量化的鲁棒性：通过将过拟合隔离为单个系数，该定律使得训练配置（例如不同的正则化强度）之间的直接比较成为可能，而无需进行 exhaustive 的超参数搜索。
• 实践指导：作者认为，对于拥有固定数据预算的从业者，存在一个特定的计算水平，超过该水平后重复数据是适得其反的。他们提供了一种具体方法来确定该阈值以及相应的最优模型规模。
• 谦逊：作者承认了局限性，指出拟合的指数在 10 亿参数和 16 个 epoch 范围内得到验证，且该定律未包含如“双下降”（double descent）等现象。他们还指出，对 Muennighoff 等人（2023）的重新分析表明，他们在分配策略上的分歧源于 prior work 中基线设定的错误，而非缩放物理学的根本矛盾。