Deriving Neural Scaling Laws from the statistics of natural language

技术摘要：从自然语言统计学中推导神经缩放法则

问题陈述
虽然实验性的神经缩放法则在经验上指导了大型语言模型（LLM）的发展，但目前仍缺乏一个能够定量预测现代 LLM 在自然语言数据集上训练时这些法则指数的定量理论框架。现有的理论主要基于具有固定特征映射的核方法，无法解释现代 Transformer 的特征学习能力。此外，以往依赖于合成数据模型或玩具语法的方法，未能成功地将自然语言的内在统计特性直接与当前 LLM 相关规模的标记（token）量级的测试损失曲线指数联系起来。核心问题仍然是：什么样的语言统计属性控制了测试损失与训练数据量之间的幂律指数？

方法论
作者提出了一个针对**数据受限机制（data-limited regime）**的通用理论框架，在这种机制下，模型容量和计算量不是主要约束，而训练数据的总量（$P$）是主要约束。该理论将自回归损失分解为两种学习机制：（1）扩展有效预测时间视界，以及（2）提高该视界内的预测精度。

该推导依赖于语言数据集的两个关键统计属性：

1. 下一标记条件熵（$H_n$）的衰减： 给定前 $n$ 个标记后的下一个标记的条件熵随上下文长度 $n$ 以幂律形式衰减：$H_n - H_\infty \propto n^{-\gamma}$。
2. 标记间相关性的衰减： 相隔时间滞后为 $n$ 的标记之间的相关强度随之以幂律形式衰减：$\|C(n)\|_{op} \propto n^{-\beta}$。

该理论假设，对于给定的数据集大小 $P$，模型只能有效地利用直到数据依赖的预测时间视界 $n^*(P)$ 的标记。该视界由标记间相关性的信噪比决定；具体而言，$n^*(P)$ 是相关信号超过采样噪声（$O(P^{-1/2})$）的最大滞后量。由此得出关系式：$n^*(P) \propto P^{1/(2\beta)}$。

假设模型能够足够快地学习使用视界 $n < n^*(P)$ 内的信息（即“快速学习”假设），那么主要的超额损失来源便是有限的视界本身。因此，数据受限的自回归损失缩放指数 $\alpha_D$ 被推导为：
$$\alpha_D = \frac{\gamma}{2\beta}$$

该框架还预测了单个 $n$-gram 损失曲线 $L_n(P)$ 的缩放坍缩（scaling collapse）。当通过数据集的条件熵（$n^\gamma$）和数据阈值（$P/n^{2\beta}$）进行重缩放时，所有的 $n$-gram 学习曲线都应该坍缩到一条单一的主曲线（master curve）上。

实验验证
作者在两种性质不同的数据集上测试了该理论：TinyStories（合成短篇故事）和 WikiText-103（维基百科文章）。

1. 统计量估计：

   • $\gamma$（熵指数）： 通过在不断增加的数据集规模上训练各种架构（GPT-2 APE, GPT-2 RoPE, LLaMA, Mamba），并拟合小 $n$ 时 $n$-gram 损失 $L_n$ 的幂律衰减来估计。
     • TinyStories: $\gamma \approx 0.325$
     • WikiText: $\gamma \approx 0.265$
   • $\beta$（相关性指数）： 通过测量标记间协方差矩阵 $C(n)$ 的算子范数并拟合其衰减来估计。
     • TinyStories: $\beta \approx 0.88$
     • WikiText: $\beta \approx 0.94$

2. 缩放法则验证：

   • 缩放坍缩： 作者绘制了相对于重缩放变量 $P/n^{2\beta}$ 和 $L_n \times n^\gamma$ 的 $n$-gram 损失 $L_n$。在两个数据集中，不同 $n$ 的曲线在经过上述变量缩放后都坍缩到了同一条主曲线上，验证了所提出的缩放假设。
   • 指数预测： 利用测得的 $\gamma$ 和 $\beta$，将预测的缩放指数 $\alpha_D = \gamma/(2\beta)$ 与自回归损失 $L(P)$ 对 $P$ 的经验斜率进行比较。
     • TinyStories 预测： $\alpha_D \approx 0.185$。实验结果与此斜率高度吻合。
     • WikiText 预测： $\alpha_D \approx 0.141$。实验结果与此斜率高度吻合。

这种一致性在不同的模型架构（带有绝对位置编码和旋转位置编码的 Transformer、LLaMA 式架构以及 Mamba）以及不同的上下文长度下均保持成立，前提是上下文长度没有截断数据依赖的视界。

核心贡献

• 首个无参数理论： 本文提供了第一个能够定量预测自然语言数据受限神经缩放指数的理论，且无需自由参数或合成数据模型。
• 确定决定因素： 它将两个内在的语言统计属性（熵衰减 $\gamma$ 和相关性衰减 $\beta$）隔离出来，作为数据受限机制下缩放指数的唯一决定因素。
• 缩放坍缩： 它证明了通过这些统计属性进行重缩放后，多样化的 $n$-gram 学习曲线会坍缩到单一的主曲线上，从而为学习机制提供了严谨的验证。
• 普适类： 该工作表明，能够学习层次结构的深度架构（如 Transformer）属于一个特定的普适类，其中损失由数据依赖预测视界的有限性而非视界内次优的学习过程所主导。

意义与主张
作者声称，这项工作揭示了神经缩放法则的形状与语言自身统计结构之间的直接联系。通过展示缩放指数是可测量的语言统计量（$\alpha_D = \gamma/2\beta$）的函数，本文超越了经验观察，为 LLM 如何从数据中获取语言能力提供了一个原则性的理解。

论文也指出了局限性：该理论是在有限的数据集规模和上下文长度（在实验中有效视界为数十个标记）范围内进行测试的。作者承认，浅层网络或核方法由于维度灾难可能不属于这一普适类，且视界内的“快速学习”假设对于所有架构未必成立。然而，对于所测试的深度网络，该理论为观察到的缩放行为提供了一个精确的、基于第一性原理的解释。