🤖 machine learning

Data Predictability Shapes Weibull Weight-Scale Growth in Transformer Training

本文建立了一种规律，即 Transformer 权重规模在训练过程中的增长受限于一个预先计算的、无需训练的数据可预测性统计量（二元条件熵），并遵循特定的幂律关系，从而能够准确地前向预测不同学习率和架构下的权重幅度变化。

原作者： Tiexin Ding

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tiexin Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的广袤领域中，最强大的工具是大型语言模型，通常被称为 Transformer。这些系统通过阅读海量文本并调整数十亿个被称为“权重”的内部数字来学习，以更好地预测接下来的内容。多年来，研究人员一直将这些内部数字视为一个“黑盒”：他们知道这些数字在训练过程中会发生变化，但一直难以理解所读文本的本质是如何塑造这些变化的。一个关键问题始终悬而未决：文本本身的预测性是否决定了模型内部数字增长或偏移的程度？如果一个模型阅读的是一个高度结构化、可预测的故事，与阅读一个混乱、随机的词语堆砌，这种差异是否会在机器内部数字的大小上体现出来？

独立研究员丁铁鑫（Tiexin Ding）的一项新研究以极高的精确度回答了这个问题。研究人员发现，这些内部数字的增长遵循一个严格且可预测的模式，而这个模式完全基于一个单一的属性：基于前一个词来猜测下一个词的难易程度。通过分析一种特定类型的文本损坏方式，研究发现，文本的可预测性越高，模型的内部数字就会以一种特定的、可衡量的规律进行扩张。这种关系在训练过程中无论使用何种学习速率都保持不变，表明存在一种连接原始数据与机器内部结构的根本法则。

研究始于对已训练模型内部数字形状的一个简单观察。当研究人员观察模型不同层级的数字大小时，发现它们遵循一种被称为 Weibull 分布的一致模式。这种模式由两个数值定义：一个保持极其稳定的形状因子（shape factor），以及一个随模型学习而变化的尺度因子（scale factor）。稳定的形状意味着模型的内部结构保持一致，而变化的尺度因子则像一个旋钮，根据训练过程调高或调低。该研究重点关注了这个尺度因子，并探究是什么驱动了它的增长。

为了找到答案，研究人员使用一个标准的文本数据集设计了一个受控实验。研究人员并没有使用不同的书籍或主题，而是保持文本不变，但系统地打乱了它。他们将一部分文本进行重新排序，创造了一系列从完美有序到完全混乱的数据集。在训练任何模型之前，研究人员测量了每个版本文本的一个特定统计量：给定前一个词的情况下，预测下一个词的平均难度。在纯净文本中，下一个词很容易被预测；而在打乱后的文本中，预测几乎变得不可能。

结果揭示了这种预测性与模型内部数字增长之间清晰的数学关系。研究发现，尺度因子的增长并非随机，而是基于文本预测性与完全随机基准之间差异的一个特定曲线。至关重要的是，这种关系并非仅仅是猜测，而是由两个独立的测量事实推导出来的。首先，数字的增长被发现与文本中剩余的结构量成正比。其次，在文本变得更加混乱的过程中，预测下一个词的难度遵循一种特定的、曲线式的饱和模式。当这两个事实结合在一起时，它们迫使数字的增长遵循一条精确的凸曲线。这意味着曲线的形状并非偶然拟合的数据，而是文本结构与学习过程相互作用的必然结果。

研究通过不同的学习速率测试了这一法则，这些速率控制着模型更新数字的速度。当研究人员针对这些速率进行调整后，所有不同的训练运行都坍缩到了同一条统一的曲线上。这种坍缩证明了该关系是系统的基本属性，而非特定设置下的产物。随后，研究人员进行了一项严谨的测试，以观察该法则是否能预测未来。仅凭预训练阶段的文本预测性测量值，他们就能预测出模型在另一个未见的、经过打乱的版本中的内部数字会增长多少。预测结果的误差范围非常小，证实了文本自身的属性足以预报模型的内部增长。

然而，这项研究也为该法则的应用划定了明确的界限。当研究人员在计算机代码上测试该模型时，预测失败了。代码具有较低的可预测性，根据法则，这理论上应该导致高增长，但模型的数字增长却远低于预期。研究人员指出，代码依赖于大量的重复和模板，而非自然语言中那种丰富的上下文映射。这表明，虽然预测性是一个主要驱动力，但第二个因素——冗余度（redundancy）——也发挥了作用。该法则对于“下一个词取决于上下文”的文本运作完美，但对于“因为重复模式而导致下一个词可预测”的文本，该法则则会失效。

当研究人员观察模型内部的各个层级时，这些发现同样成立。文本预测性与数字增长之间的这种关系在模型的每个部分都出现了，尽管其影响强度各异。负责处理信息流的层级表现出最强的反应，而其他部分则敏感度较低。这使得研究人员能够精确绘制出文本结构是如何被写入网络中的数字的。此外，研究还测试了两种不同的模型架构，虽然具体的数值发生了变化，但底层关系的形状保持不变。这表明该法则是一个鲁棒的特征，无论机器的具体设计如何，它都反映了模型学习的基本方式。

最终，这项工作为理解人工智能提供了一个清晰且具前瞻性的工具。它证明了人们可以在模型训练之前，通过观察数据集来准确预测模型内部数字的演变。这填补了数据与机器之间长期存在的认知鸿沟，表明文本结构不仅是输入的被动对象，更是模型内部动态变化的积极驱动力。尽管该法则存在局限性（特别是在面对像代码这样高度重复的数据时），但它提供了一种衡量训练数据质量和结构的新方法，将一个复杂且隐形的进程转化为了可以用简单、具体的工具进行测量、预测和理解的过程。

技术摘要：数据可预测性塑造 Transformer 训练中的 Weibull 权重尺度增长

问题陈述

尽管已训练 Transformer 的权重量级遵循稳定的 Weibull 分布（形状参数 $k \approx 1.2$ ），但尺度参数 $\lambda$ 在训练过程中会持续增长。前人的研究已经确定，在 AdamW 优化下，这种增长是由三种力量（注入、衰减和对齐）的平衡所驱动的。然而，决定这种增长幅度的训练数据的具体属性仍然是一个悬而未决的问题。现有的数据评估方法通常依赖于下游代理指标或启发式方法；本文旨在建立一种直接的、前向预测性的联系，将预训练语料库统计量与最终的权重尺度动力学相连接。

方法论

作者采用受控实验设计，以隔离局部下一 token 可预测性对权重增长的影响：

破坏梯度（Corruption Gradient）： 研究以 WikiText 语料库为基础。应用破坏水平 $\rho \in [0, 1]$ ，通过打乱序列内部分 token 的位置来创建一系列数据集，范围从纯净数据（ $\rho=0$ ）到完全随机的数据（ $\rho=1$ ），在保持语料库固定的前提下，改变局部下一 token 映射的完整性。
数据统计量 ( $D$ )： 主要预测因子是二元组条件熵， $D = H(\text{next} | \text{prev})$ ，该值是在进行任何训练之前，根据前 2.4M 个 token 的原始 token 计数计算得出的。
权重读出（Weight Readout）： 作者在不同检查点（checkpoints）对“传输类”权重矩阵（注意力输出投影和前馈矩阵）的量级进行 Weibull 分布拟合。他们追踪平方尺度参数 $\lambda^2 - \lambda_0^2$ 的增长，其中 $\lambda_0$ 是初始尺度。
实验范围： 实验在 Pythia-70m（持续训练）和自定义 Llama 式 70m 模型（从头开始训练）上进行，涵盖了四种学习率（ $10^{-4}$ 到 $10^{-3}$ ）及多个随机种子。

核心发现与结果

1. 条件熵定律

论文建立了一个受学习率调节的定律，将权重尺度增长与“可预测性裕度” $(H_r - D)$ 联系起来，其中 $H_r$ 是在匹配预算打乱下的熵饱和值：
$\lambda^2 - \lambda_0^2 = C_0(\eta) + C_1(\eta) (H_r - D)^{0.59}$

凸性指数： 指数 $0.59 $并非拟合增长曲线时的自由参数。它是作为独立测量的、数据侧饱和指数（$ p \approx 1.69 $）的倒数（$ 1/p$）推导出来的，从而将增长定律与破坏结构时二元组熵的非线性饱和过程联系起来。
学习率塌缩： 当移除每个学习率对应的系数 $C_0(\eta)$ 和 $C_1(\eta)$ 后，跨越一个数量级的 23 次运行实验坍缩到了同一条斜率为 1 的曲线上（ $R^2 = 0.941$ ）。这些系数本身遵循随学习率 $\eta$ 变化的幂律缩放。

2. 前向预测与自我验证

由于 $D$ 是在训练前计算的，因此该定律具有真正的“前向预测”功能。

族内验证： 通过在不同破坏水平下使用留一法（leave-one-out），该模型对权重增长的预测相对误差仅为 5.7%。
跨语料库边界： 该定律成功预测了富含映射关系的文本（如 C4）的增长，但高估了代码的增长。代码的低熵源于冗余而非丰富的结构化映射，这导致其偏离了该定律。这表明冗余是第二个截然不同的数据维度。

3. 粒度与架构

层级分辨率： 该定律在每个 block 层面均成立。形状参数 $k$ 在各 block 间保持一致（ $\approx 1.2$ ），而尺度响应（ $\lambda$ ）具有异质性，并集中在前馈块中。聚合后的模型级增长可以通过参数量加权的每 block 增长量进行良好近似。
架构无关性： 该定律的函数形式（凸形、指数 0.59）在 Pythia (GELU) 和 Llama 式 (SwiGLU) 架构之间保持不变。然而，其系数有所不同：SwiGLU 前馈块对数据可预测性的敏感度大约是 GELU 块的两倍。

意义与主张

本文声称提供了一个受控的桥梁，将可测量的预训练数据统计量与训练后的权重动力学相连，无需训练即可实现对权重尺度增长的“前向预测”。

机制见解： 定律的凸性并非由训练动力学解释，而是由静态二元组熵标尺相对于保留结构的饱和现象所解释。训练对于保留结构的反应是线性的，但数据侧的度量在趋向退化端时发生了压缩。
数据维度： 本研究认为数据质量并非单一标量。它提出了一个更广泛的框架 $\Phi(D, R, A, H)$ ，其中 $D$ （映射可预测性）和 $R$ （冗余度）是两个独立的轴。该定律在代码上的失效量化了冗余度超越映射结构的边界。
范围限制： 作者明确指出，该定律是一个针对局部映射可预测性的语料库内结果，而非通用的跨语料库指标。该定律是在特定的模型规模（约 70M 参数）和训练预算下建立的，处于稳态饱和前的瞬态增长阶段。

其贡献在于将标准的侧数据统计量（条件熵）与 Weibull 权重尺度统计量通过一个推导出的约束定律联系起来，完成了从数据结构到权重动力学的闭环。