技术摘要：语言模型的非平衡态训练动力学与缩放法则

问题陈述

大语言模型（LLMs）展现出稳健的经验缩放法则，即留出验证集的交叉熵损失随参数量（$N$）、数据集大小（$D$）和计算量（$C$）呈幂律下降。然而，这些幂律的机械起源仍不明确。现有文献指出自然语言具有多尺度统计结构（例如互信息的幂律衰减），且训练过程涉及突变（例如归纳头），但尚无现有框架能定量地统一数据的静态结构与训练的动态演化，以解释缩放法则的涌现。

方法论

本文提出了一种语言模型训练动力学的随机多尺度理论，在语言模型训练与受驱动的多尺度非平衡物理系统（特别是湍流中的能量级联和宇宙结构形成中的质量级联）之间建立了正式类比。

核心框架

1. 尺度相关损失谱： 作者引入了一个上下文尺度变量 $r$（标记依赖距离），并定义了尺度相关的留出损失 $L_r(r, s)$。该损失对尺度的负梯度 $E_X(r, s) \equiv -\partial L_r / \partial r$ 被定义为损失谱，类比于湍流中的能量谱。
2. $r$ 空间中的随机游走： 训练动力学被建模为上下文尺度空间（$r$ 空间）中的有偏随机游走。模型通过在跳跃到下一个尺度前等待特征时间 $\tau_r$ 来学习利用尺度 $r$ 的依赖关系。
3. 福克-普朗克方程（Fokker-Planck Equation）： 损失谱的演化由一个具有位置相关扩散系数的福克-普朗克方程控制，该系数源自尺度相关的等待时间 $\tau_r \propto r^{-\gamma}$。
4. 损失分解： 总损失被分解为代表两种不同学习模式的两个组成部分：
   • $\Delta L_r(s)$（深度）： 上下文相关损失，衡量使用全上下文相对于单个标记带来的预测增益。
   • $L_\infty(s)$（广度）： 残余全上下文损失，衡量模型无法利用现有上下文边界的能力。

核心贡献与理论推导

1. 两阶段训练动力学

理论识别了在临界步数 $s^*$（此处 $\Delta L_r = L_\infty$）处发生的训练动力学分叉：

• 第一阶段（上行级联）： 在 $s^*$ 之前，模型迅速扩展其预测范围。有效上下文尺度 $\xi$ 增长，模型捕捉长程依赖（上行转移）。
• 第二阶段（分叉）： 在 $s^*$ 之后，动力学分裂为两个同时进行的模式：
  • 模式 A（下行压缩）： 模型将学到的大规模结构压缩为高效的短程表示。有效尺度 $\xi_A$ 收缩（$\xi_A \propto s^{-3/5}$），而深度 $\Delta L_r$ 缓慢增长（$\propto s^{1/10}$）。
  • 模式 B（上行边界吸收）： 模型继续在边界处吸收新的长程预测结构。有效尺度 $\xi_B$ 扩张（$\xi_B \propto s^{3/5}$），而残余损失 $L_\infty$ 降低（$\propto s^{-1/10}$）。

2. 自洽缩放指数

本文基于自然语言的统计特性从第一性原理出发推导了缩放指数：

• 等待时间指数 ($\gamma$)： 通过将等待时间 $\tau_r$ 建模为尝试频率（由残余损失驱动）和成功概率（由独立预测线索的数量驱动）的函数，作者将 $\gamma$ 与希普斯定律（Heaps' law）（$M(r) \propto r^{\alpha_H}$）联系起来。假设 $\alpha_H \approx 1/2$ 且梯度信号为非相干（RMS）聚合，他们推导出：
  $$\gamma = \frac{\alpha_H}{3} = \frac{1}{6}$$
• 损失谱： 这产生了一个惯性区内的通用损失谱：
  $$E_X(r) \propto r^{-(1+\gamma)} = r^{-7/6}$$
  这被呈现为语言建模中类似于湍流中 Kolmogorov $-5/3$ 能量谱的对应物。

3. 经验缩放法则的推导

利用推导出的指数，该理论无需拟合即可预测观察到的缩放法则：

• 损失 vs. 数据 ($D$)： 在第二阶段，损失满足 $L \propto D^{-\alpha_D}$。理论预测：
  $$\alpha_D = \frac{\gamma}{2 - 2\gamma} = \frac{1/6}{2 - 1/3} = \frac{1}{10} = 0.1$$
  这与 Kaplan 缩放的经验值 $L \propto D^{-0.095}$ 非常接近。
• 损失 vs. 模型大小 ($N$)： 将模型大小视为 Langevin 时间的一种替代“时钟”，理论预测 $L \propto N^{-\alpha_N}$。
  $$\alpha_N = \frac{\lambda \gamma}{2 - 2\gamma}$$
  其中 $\lambda \leq 1$ 编码了参数利用效率。若 $\lambda = 3/4$（暗示由于冗余导致的次线性容量增益），则 $\alpha_N = 3/40 \approx 0.075$，与经验 Kaplan 值 $\approx 0.076$ 一致。
• 组合缩放： 通过调和组合两个独立的瓶颈（数据和容量），恢复了完整的缩放形式 $L(N, D) = [(N_c/N)^\lambda + D_c/D]^{\alpha_D}$。

结果与验证

作者使用 Pythia 模型套件（70M 至 1.4B 参数）和 GPT-2 的检查点验证了该理论：

• 损失谱： 对 $E_X(r, s)$ 的经验测量证实了第二阶段中预测的幂律尾部 $P_X(r) \propto r^{-7/6}$。
• 相变： 数据显示在 $s^*$ 处存在明显的转换点，此时有效尺度 $\xi$ 不再单调增长并发生分叉，$\xi_A$ 收缩而 $\xi_B$ 扩张。
• 缩放拟合： $\Delta L_r$ 和 $L_\infty$ 的演化遵循第二阶段的预测幂律（$s^{1/10}$ 和 $s^{-1/10}$）。
• 模型规模缩放： 对收敛时的 Pythia 模型进行拟合显示，$L_\infty \propto N^{-1/10}$（针对总参数）以及 $\Delta L_r \propto N^{3/40}$（针对非嵌入参数），支持了次线性容量缩放的假设。

意义与主张

该论文声称通过将训练框架化为一个非平衡级联过程，为 LLM 缩放法则提供了机械起源。核心主张包括：

1. 统一性： 它通过随机框架，定量地将语言的静态结构（希普斯/齐夫定律）与训练的动态演化联系起来。
2. 预测能力： 缩放指数 $\alpha_D = 1/10$ 是推导出来的，而非拟合得到的，它源于自然语言的重尾统计特性。
3. 诊断效用： 该框架通过区分“深度”（上下文依赖）与“广度”（边界扩张），为长上下文泛化提供了新的诊断工具，并为数据选择和课程设计提出了不同的优化策略。
4. 普遍性： 该理论假设损失谱 $E_X \propto r^{-7/6}$ 是语言模型训练的一个通用特征，类比于湍流谱的普遍性。

作者明确指出，将优化器步数映射到 Langevin 时间以及对 $N$ 和 $D$ 进行调和组合，是基于经验一致性的结构性类比，而非严格的第一性原理推导；此外，次线性容量假设（$\lambda=3/4$）仍需在更大规模的模型套件上进一步验证。