🤖 machine learning

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

本文引入了一个双参数威布尔分布框架用于诊断变压器权重幅值，揭示前馈和输出投影层无论架构如何均一致收敛至特定形状参数（k ≈ 1.20），而输入投影层则因存储机制不同而偏离，且尺度参数（lambda）可追踪训练进展。

原作者： Tiexin Ding

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Tiexin Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个 Transformer 模型（那种为聊天机器人和代码生成器提供动力的 AI）就像一个庞大而复杂的管弦乐队。多年来，研究人员一直试图通过聆听整个乐队的“声音”或查看一张模糊不清的总谱来理解这个乐队是如何学习的。

这篇论文提出了一种新的聆听方式：一种用于观察单个音符的“显微镜”。作者没有观察整个乐队，而是开发了一种工具来检查每根乐器琴弦的“权重”（强度）。他们发现，这些琴弦并非随机地变强或变弱；它们遵循一种非常具体、可预测的模式，精确地揭示了 AI 正在做什么。

以下是他们发现的分解，使用简单的类比：

1. 他们发明的“尺子”（威布尔分布）

作者使用了一种名为威布尔分布的数学形状。将其想象为一把带有两个设置的特殊尺子：

形状（ $k$ ）： 这衡量权重的“个性”。分布是平滑均匀的，还是具有狂野的重尾（极端异常值）？
尺度（ $\lambda$ ）： 这衡量权重的“音量”或大小。

神奇的锚点：
当 AI 开始训练（在学会任何东西之前）时，其权重是随机设置的，就像高斯钟形曲线一样。作者证明，如果用他们的尺子测量这个初始状态，“形状”（ $k$ ）总是落在一个特定的数字上：1.20。

将 1.20 视为“零”。 这是基线。如果 AI 的某一部分保持在 1.20，说明其根本性质未变。如果它偏离了 1.20，则发生了有趣的事情。

2. 两种类型的音乐家

最激动人心的发现是，AI 的内部组成部分自然地分成了两个截然不同的群体，就像管弦乐队中的两个不同声部：

A 组：“传输者”（稳定的演奏者）

他们是谁： 在模型中传递信息的部分（如前馈网络和注意力输出）。
他们做什么： 他们像一条可靠的高速公路。他们将数据从 A 点移动到 B 点，而不改变道路的性质。
结果： 即使在训练之后，它们的“形状”（ $k$ ）仍然非常接近初始的 1.20。它们稳定、一致，不改变其个性。
类比： 想象一辆每天行驶同一条路线的送货卡车。它可能会变大（装载更多货物），但它仍然是同一辆卡车。

B 组：“选择者”（专业化的猎手）

他们是谁： 决定关注什么的部分（注意力机制中的查询和键投影）。
他们做什么： 他们必须挑剔。他们需要放大某些信号并忽略其他信号，以做出明智的决策。
结果： 它们的“形状”（ $k$ ）会偏离 1.20，通常降至更低（在 0.76 到 1.16 之间）。这意味着它们发展出了“重尾”——少数极端、超强的连接出现，而其余部分保持正常。
类比： 想象一名侦探起初撒下了一张大网。随着他们学习，他们不再撒下宽网，而是发展出几件极其锋利、专业的工具来捕捉特定的线索。他们的“个性”与起点相比发生了巨大变化。

3. 架构如何改变游戏规则

论文发现，AI 架构的类型会改变“选择者”偏离的程度：

独立头（MHA）： 如果 AI 拥有许多独立的“头”（如 OLMo），选择者会变得非常极端。它们的形状下降最多（降至约 0.76）。它们变得非常专业化。
分组头（GQA）： 如果 AI 将其头分组在一起（如 LLaMA-3 或 Mistral），选择者就不那么极端。它们仍然会偏离，但不会那么远（大约在 1.10–1.16 之间）。这就像一群侦探分享笔记；他们不能全部朝完全不同的方向前进。
合并头（Pythia）： 如果 AI 将它们完全合并，它们就处于中间位置，充当两种风格之间的过渡。

4. 音量与个性

作者发现，他们尺子上的两个设置讲述了两个不同的故事：

尺度（ $\lambda$ ）告诉你训练进展到了什么程度。 随着 AI 学习，权重的“音量”会增大。这就像乐队声音变大。这种增长遵循一个可预测的数学规则，与 AI 的学习速度（学习率）以及它受到的“纪律约束”（权重衰减）有关。
形状（ $k$ ）告诉你该部分做什么。 它告诉你该部分是“传输者”（稳定）还是“选择者”（专业化）。

5. “超级权重”（龙之王）

论文还注意到，虽然大多数权重保持正常，但极少数单个权重变成了巨大的异常值（称为“超级权重”）。

类比： 想象一个合唱团，其中 99% 的歌手以正常音量演唱，但有一名歌手突然开始尖叫，音量是其他人的 100 倍。
发现： 这些“尖叫者”出现在每个模型中。然而，作者的“中间 80% 规则”（在测量时忽略最响和最轻的 10%）使他们能够忽略这些尖叫者，并仍能准确读出合唱团的真实特征。这证明了即使少数“叛乱”权重发疯，“传输者”仍然保持稳定。

总结

这篇论文为我们提供了一种新的诊断工具。通过测量 AI 权重的“形状”和“尺度”，我们可以：

识别 AI 的哪些部分是稳定的（传输者），哪些部分正在学习专业化（选择者）。
观察 AI 的架构（其构建方式）如何迫使这些部分表现出不同的行为。
追踪 AI 的进展，通过观察“音量”的增长，而不会被少数尖叫最响的“叛乱”权重所迷惑。

它将 AI 训练的黑箱变成了一张可读的地图，向我们精确展示了学习发生在哪里，以及模型如何构建其知识。

技术摘要：用于诊断 Transformer 权重分布的双参数 Weibull 框架

问题与动机

当前针对 Transformer 训练动态的诊断工具运行在正交空间中，无法捕捉学习到的权重的细粒度结构。像 WeightWatcher 和 HT-SR 这样的方法分析特征值谱，将矩阵元素压缩为奇异值分布，而 AlphaDecay 则追踪最大奇异值的漂移。大规模激活分析测量激活幅度。这些方法均未直接刻画权重幅值的逐元素分布（ $|W_{ij}|$ ），作者认为这是模型所学内容最细粒度的表征。

作者提出，聚合谱统计量掩盖了同一模型内功能组件之间的系统性差异（例如前馈网络层与注意力投影）。为解决这一问题，本文提出应用Weibull 分布——极值理论中的一个双参数族——作为逐元素权重幅值的诊断透镜。

方法论

Weibull 诊断框架

该框架依赖于将权重元素的绝对值 $|w|$ 拟合到由形状参数 $k$ 和尺度参数 $\lambda$ 定义的 Weibull 分布：
$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$

1. 初始化锚点：
在初始化时，Transformer 权重是独立同分布的高斯分布（ $w \sim \mathcal{N}(0, \sigma_{init}^2)$ ），意味着 $|w|$ 服从半正态分布。通过将半正态分布拟合到 Weibull 模型并使用特定协议，作者建立了一个通用锚点：

形状（ $k_0$ ）： 约为 1.20。该值独立于初始化尺度 $\sigma_{init}$ ，并作为一个无量纲的测量标尺。任何训练模型中偏离 $k_0 \approx 1.20$ 的现象均可归因于训练动态。
尺度（ $\lambda_0$ ）： 约为 $0.8875 \cdot \sigma_{init}$ 。

2. 拟合协议（中间 80% 修剪）：
为了确保对异常值和数值精度伪影的鲁棒性，作者采用中间 80% 修剪协议。在拟合之前，丢弃 $|W_{ij}|$ 值中最小和最大的 10%。

理论依据： 在 Weibull 概率坐标中，采样噪声方差在尾部（ $p \to 0$ 和 $p \to 1$ ）发散，并在 $p \approx 0.80$ 附近达到最小值。底部 10% 携带的噪声约为最优中心区域的 6.5 倍。
效果： 拟合完整数据会系统性地低估 $k$ 值 3–7%，通常将模型推至预期的“传输”带之外。80% 修剪隔离了分布的“主体”，使该指标对重尾异常值（超级权重）具有鲁棒性。

3. 功能分类：
该框架根据 $k$ 的轨迹将 Transformer 组件划分为两个不同的类别：

传输类（Transmission Class）： 前馈网络模块（ $W_{gate}, W_{up}, W_{down}$ 或 $W_{FFN\_in}, W_{FFN\_out}$ ）和注意力输出投影（ $W_o$ ）。
选择类（Selection Class）： 注意力输入投影（ $W_q, W_k$ ）。

主要发现

该框架应用于12 个模型条目，涵盖7 个架构族（Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3），参数量范围从 70M 到 14B。

1. 传输带（稳定性）

传输类组件的形状参数 $k$ 表现出显著的稳定性。

跨越所有架构、激活函数（SwiGLU, GeLU）、归一化位置（Pre-LN, QK-Norm）和模型规模，这些组件的中位数终端 $k$ 落在狭窄区间 $[1.186, 1.204]$ 内。
12 个条目的变异系数（CV）仅为 0.51%。
这种稳定性表明，这些组件保持了初始化分布的形状，充当信息通道而非选择性过滤器。

2. 选择类（偏离）

选择类组件（ $W_q, W_k$ ）系统地偏离初始化锚点（ $k_0 \approx 1.20$ ），发展出更重的尾部（更低的 $k$ ）。这种偏离的严重程度取决于架构：

独立存储的多头注意力（MHA）（OLMo-1, OLMo-2）： 显示出最深的漂移，中位数终端 $k \in [0.76, 0.99]$ 。
分组查询注意力（GQA）（LLaMA-3, Mistral, Qwen2.5/3）： 显示出较轻微的漂移，中位数终端 $k \in [1.10, 1.16]$ 。
合并的 $W_{qkv}$ （Pythia）： 占据过渡区域 $k \in [1.05, 1.18]$ ，单调追踪无量纲训练预算 $T/\tau$ 。
机制： 作者将这种漂移归因于功能需求（稀疏注意力）、AdamW 符号下降动态以及 softmax 饱和反馈。GQA 中 K-head 共享的架构约束似乎在机械上限制了单个投影可用的专业化自由度，导致与 MHA 相比漂移程度较轻。

3. 尺度参数（ $\lambda$ ）与训练进度

虽然 $k$ 标记功能类别，但尺度参数 $\lambda$ 标记训练进度。

$\lambda$ 在训练过程中显著增长（增长因子为 1.4 倍至 7.8 倍）。
在 Pythia 家族中，传输组件的终端平均 $\lambda$ 与 $\sqrt{\eta / \lambda_{wd}}$ 成比例（Pearson $r = 0.94$ ），显示出与 Fan 等人 [2025] 的 AdamW 稳态缩放分析的方向一致性。
$\lambda$ 在不同组件类型间均匀增长（例如 $\lambda_O$ 和 $\lambda_{FFN\_out}$ 高度相关， $r=0.9967$ ），反映了残差流中的耦合动态。

4. 超级权重与尾部行为

虽然分布的主体（通过 80% 修剪拟合）保持符合 Weibull 分布，但作者观察到训练模型的极端尾部出现了孤立的“超级权重”（龙国王异常值）。

这些异常值出现在每个架构族中，最大值与第 99 百分位数的比率范围从约 7 倍到超过 100 倍。
中间 80% 协议专门设计为对这些异常值具有鲁棒性，确保诊断 $k$ 反映主体分布，而不是被极端值拖拽。

贡献

诊断框架： 作者形式化了一种使用 Weibull 分布的方法，具有原则性的初始化锚点（ $k_0 \approx 1.20$ ）和噪声最优拟合协议（中间 80% 修剪）。该框架识别出 $W_q$ 和 $W_k$ 系统地偏离初始化锚点，且偏离幅度受存储架构塑造。
跨族实证证据： 本文记录了 12 个模型中稳健的“传输/选择”划分。它在无需可调参数的情况下，复现了狭窄的 FFN 传输带和依赖于架构的选择漂移（MHA 与 GQA）。
开源工具： 作者发布了 npm-weibull-py v0.4，这是一个 Python 库，实现了八个用于拟合和基准测试的诊断函数（F1–F8），以及 DATABASE_v9_1，一个包含 12 个模型条目的基准数据库。

意义与局限性

意义：
本文声称，逐元素统计量揭示了谱方法无法发现的结构。通过将组件分为传输类和选择类，该框架提供了训练动态的细粒度视图，其中不同的层和投影矩阵沿不同的轨迹演化。两个 Weibull 参数携带独立信息： $k$ 识别功能角色（传输 vs. 选择），而 $\lambda$ 追踪训练进度的幅度。

局限性（作者所述）：

因果机制： 虽然本文确定了选择漂移的五个候选驱动因素（功能需求、符号下降、softmax 饱和、残差耦合、训练预算），但并未提供受控的消融实验以隔离每个因素的贡献。MHA/GQA 架构与漂移严重程度之间的相关性是观察性的。
跨族缩放： 缩放定律 $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ 在 Pythia 家族内部得到验证，但由于初始化配方和归一化位置等混淆因素，在不同家族之间仅是观察性的。
下游性能： 本文刻画了权重的统计结构，但未建立 $(k, \lambda)$ 特征与下游任务性能之间的直接相关性。
数据覆盖： 对于 Qwen2.5-14B，由于 GPU 内存限制，每块统计量仅限于前 27 层（共 48 层），尽管定性结论预计成立。

作者总结道，该框架提供了一种新的、与架构无关的测量标尺，用于诊断 Transformer 训练，揭示了“选择”组件（ $W_q, W_k$ ）是结构变化的主要场所，而“传输”组件在统计上保持稳定。