💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

本文介绍了 InfoLaw，这是一种新颖的数据感知扩展框架，它将预训练建模为信息积累过程，以准确预测大语言模型在不同数据混合、质量权重和重复水平下的性能，从而即使在过训练或数据受限的情况下也能实现最优数据配方选择。

原作者： Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文"InfoLaw"的通俗解释，辅以日常类比。

核心难题：好东西是否太多？

想象你正试图教一名学生（即人工智能）写好文章。你拥有一个庞大的图书馆，但其中只有少数几本是真正高品质的经典之作，其余的则平庸或仅仅尚可。

过去，研究人员认为最佳策略是只给学生提供那些高品质的经典。但这有个陷阱：经典著作的数量不足以填满学生整个学习计划。如果你强迫学生反复阅读同样的 100 本经典来填补时间，他们最终会感到厌倦，开始重复相同的短语，表现反而变差。这被称为“重复”。

另一方面，如果你混入一些低质量书籍来填补时间，学生能学到更多样化的内容，但也可能染上一些坏习惯。

关键问题是：我们应该重复多少高品质书籍，又应该混入多少低质量书籍？

旧方法：用一张破损的地图猜测

此前，科学家使用“扩展定律”（Scaling Laws）来预测人工智能的表现。你可以把这些定律想象成一张地图，上面写着：“如果你学习 10 小时，你得 B；如果你学习 100 小时，你得 A。”

然而，这篇论文指出，当你开始重复相同的高质量数据时，这张旧地图就失效了。

缺陷：旧地图假设学习时间越长，成绩就越好。它没有考虑到，同一本书读第 50 次时，其帮助程度远不如前 5 次。
结果：当研究人员试图用旧地图预测巨型人工智能的表现时，地图过于乐观。它预测人工智能会取得完美成绩，但现实中，人工智能因陷入重复循环而变得困惑，表现糟糕。

新方案："InfoLaw"（信息温度计）

作者引入了一个名为InfoLaw的新框架。InfoLaw 不再仅仅计算人工智能“学习了多少小时”（或看到了多少 token），而是衡量人工智能实际学到了多少新信息。

以下是他们的构建过程：

图书馆分桶：他们根据质量将庞大的文本库分成了 6 个桶（从“黄金”到“垃圾”）。
混合配方：他们创建了不同的训练“配方”。有些配方包含 80% 的黄金书籍（伴随大量重复），有些则是黄金与白银书籍的混合（重复较少）。
发现：他们发现人工智能的学习遵循特定模式：
- 质量密度：高品质书籍在你第一次阅读时提供巨大的“信息增益”。
- 边际收益递减：每当你重读一本书，增益就会越来越小，就像电池耗尽一样。最终，再次阅读几乎不增加任何价值。
- 公式：他们创建了一个数学公式，通过结合书籍的质量和重复次数，计算出人工智能吸收的总“信息量”。

神奇结果：一条直线

这篇论文最引人注目的部分是，当他们使用这种新的“信息”指标而非单纯的“花费时间”来绘制结果时，发生的情况。

之前：当他们基于时间绘制结果时，数据点散乱分布。高重复率的配方看起来与低重复率的配方截然不同。
之后：当他们基于信息绘制结果时，所有散乱的点坍缩成了一条单一、完美的直线。

这意味着，无论你使用什么“配方”（高质量加重复，还是混合质量），只要知道人工智能吸收的总“信息量”，你就能完美预测其表现。

我们能以此做什么？

因为他们拥有了这条完美的直线（即 InfoLaw），现在可以在不花费数百万美元先训练巨型模型的情况下，做两件非常有用的事：

预测未来：他们可以用特定配方训练一个微小、廉价的模型（例如 2.5 亿参数模型）。利用 InfoLaw，他们可以准确预测具有相同配方的巨型 70 亿参数模型将如何表现。
寻找完美配方：他们可以使用公式计算“最佳混合比例”。他们发现：
- 小模型（或小预算）应高度专注于最高质量的数据，即使这意味着要稍微重复一些。
- 大模型（或大预算）从多样性中获益更多。它们应混入更多低质量数据，以避免重复带来的“厌倦”。

总结类比

把训练人工智能想象成炖汤。

旧方法：你只测量锅炖了多久。你假设炖 10 小时总是比炖 1 小时好。但如果你反复添加同样的 3 颗土豆，汤会变得奇怪且过咸（重复有害）。
InfoLaw：这种方法测量从食材中提取的实际风味。它知道炖煮的第一小时提取了 90% 的土豆风味，但第 10 小时几乎提取不到任何东西。
好处：现在，你不再需要猜测为一大锅汤该加多少盐和多少土豆，你可以利用“风味公式”瞬间计算出完美配方，从而避免浪费食材和时间。

核心结论：这篇论文证明，为了训练出更好的人工智能，我们不应只看使用了多少数据，而应看这些数据提供了多少新信息，特别是当我们被迫重复高质量数据时。这使我们能够准确预测性能，并为任何规模的人工智能选择最佳的数据混合比例。

技术摘要：InfoLaw

问题陈述

训练大语言模型（LLM）日益受到高质量数据稀缺的制约。虽然在预训练中提高高质量数据的权重通常能提升性能，但在数据受限的情况下，必须重复使用这些样本。现有文献表明，过度重复会导致收益递减，甚至可能损害性能。此外，通常将模型损失与计算量或词元数量相关联的标准缩放定律，无法可靠地外推到不同的数据混合配方或重复条件下。这种失效使得在大规模下选择最优数据配方变得不确定，往往需要在数据配置上进行代价高昂的网格搜索。

方法论

本文提出了InfoLaw（信息缩放定律），这是一个数据感知缩放框架，旨在基于消耗的词元数量、模型规模、数据混合权重和重复水平来预测模型损失。其核心理论前提是，将预训练建模为一个信息积累过程，其中：

质量控制信息密度：更高质量的数据每个词元贡献更多信息。
重复引发规模依赖的收益递减：重复暴露带来的信息增益逐渐减小。

InfoLaw 框架

该框架定义了一个称为**信息（$info$）**的指标，用于汇总从训练语料库中学到的知识。其计算涉及：

质量密度（ $f_d$ ）：一个参数化函数，其中更高质量的分桶（索引 $d$ 较低）被分配更高的信息密度。本文拟合了一个指数衰减函数 $f_d(\theta) = e^{-\theta \cdot d}$ 。
学习率衰减（ $\lambda(N)$ ）：一个依赖于模型每个词元的非嵌入浮点运算次数（FLOPs，记为 $N$ ）的速率参数。本文将该关系建模为对数函数 $\lambda(N) = a \cdot \ln(N) + b$ ，以捕捉随着模型规模增加，学习能力的饱和现象。
重复因子（ $R_d$ ）：特定质量分桶中的词元被看到的平均次数，基于目标词元数量（ $K$ ）、源词元数量（ $S$ ）和混合权重（ $w$ ）计算得出。

学到的总信息量公式化为：
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
其中 $M_d$ 是分桶 $d$ 中唯一词元的数量。

最后，该框架建立了模型验证损失（ $L$ ）与计算出的信息量之间的幂律关系：
$L = \alpha \cdot info^{-\beta}$

实验设置

为了拟合 InfoLaw 的参数，作者构建了一个数据集，在规模、质量分布和重复水平三个维度上变化。

数据来源：来自 Common Crawl 的 3.7 万亿个英语词元，根据分类器得分划分为六个质量分桶。
采样：使用"LayerMix"采样函数构建训练集，具有不同的混合权重（ $w$ ）和重复水平（通过调整相对于目标大小 $K$ 的源大小 $S$ ）。
训练：9 个模型，参数量从 2.52 亿到 12 亿不等，在 3.6 倍的过度训练比率下从头开始训练。
评估：性能通过五个下游任务（HellaSwag、ARC-E/ARC-C、MMLU、TriviaQA）的平均困惑度来衡量。

主要贡献

识别缩放定律的失效：本文证明了传统的缩放定律（损失与计算量）在数据重复情况下会系统性地错误外推，对更大模型产生过于乐观的预测。
InfoLaw 公式化：一个新颖的框架，通过将“计算量”替换为“质量和重复感知的信息”指标，将不同的数据配方和模型规模统一到一个单一的幂律曲线上。
参数拟合与验证：作者利用小规模实验（2.52 亿至 12 亿参数）拟合了质量密度和学习衰减参数，并验证了该框架预测未见数据配方和更大模型规模（高达 70 亿参数模型，基于 4250 亿词元训练）性能的能力。

结果

预测精度：InfoLaw 对未见数据配方和更大规模（高达 70 亿参数模型）的验证损失预测，平均绝对误差为0.15%，最大绝对误差为0.96%。
外推能力：
- 未见配方：该模型准确预测了训练期间未见过的混合权重（例如 MLQ、MHQ）的损失。
- 更大规模：预测结果适用于高达 70 亿参数的模型，显著优于传统缩放定律，后者在更高的计算预算下会出现发散。
- 更高过度训练：该框架成功外推至 25 倍的过度训练机制，过度训练程度主要改变曲线的截距，而非改变其形状。
优化：利用拟合后的 InfoLaw，作者在没有额外训练运行的情况下，为 25 亿参数模型搜索了最优数据配方。确定的配方优于四个随机采样的基线。
总体趋势：分析表明，较小规模的模型或较小的训练预算优先选择高质量数据，而较大规模的模型或较大的预算则从数据多样性中获益更多（将较小比例分配给最高质量分桶）。

意义与主张

本文主张，InfoLaw 提供了一个可靠的工具，用于在不同计算预算下选择数据配方，消除了对大量试错实验的需求。通过准确建模数据质量、重复和模型规模之间的相互作用，该框架使得在数据受限情况下的预训练策略更加高效。作者断言，他们的方法为预测涉及加权质量混合和重复的场景中的性能提供了一种比传统缩放定律更稳健的替代方案，有助于发现适用于从数亿到数十亿参数模型的最优数据配置。

本文总结道，虽然当前的数据分桶依赖于经验启发式方法，且过度训练偏移的理论解释仍是一个未解之谜，但 InfoLaw 有效地捕捉了大语言模型缩放中的基本权衡，为更高效的数据利用提供了一条实用路径。