📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

本文介绍了一种针对 LayerNorm Transformer 的新型仅需前向传播的诊断方法，该方法仅利用 LayerNorm 缩放参数即可识别参数空间中一个精确的代数死方向，该方法已在 14 个模型中得到验证，能够准确预测奇异结构并区分 LayerNorm 与 RMSNorm 架构，且无需进行特征值分解。

原作者： Tejas Pradeep Shirodkar, P. J. Narayanan

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tejas Pradeep Shirodkar, P. J. Narayanan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大且复杂的机器学习模型（Transformer）是一座由数学方程构成的巨型、复杂的、多层结构的摩天大楼。当工程师们训练这些模型时，他们会调整数十亿个微小的旋钮（参数），以使这座建筑能够屹立不倒并正常运作。

这篇论文介绍了一种全新的视角，让我们能够观察这座摩天大楼内部，从而找到“死亡方向”（dead directions）。

什么是“死亡方向”？

将模型的参数想象成一片由丘陵和山谷组成的景观。通常情况下，如果你稍微推动模型，它的运作方式就会发生变化。但在这些“死亡方向”上，景观是完全平坦的。如果你沿着一个死亡方向推动模型，什么都不会发生。这就像在结冰的湖面上行走：你可以永远滑动下去，而不会下沉或改变路径。

寻找这些方向通常很难。它通常需要让模型通过数千个测试用例，对结果进行复杂的数学运算，或者模拟模型是如何学习的。这就像是通过敲击墙壁数千次，试图寻找墙上隐藏的裂缝。

重大发现：“魔力指南针”

作者发现了一个捷径，但仅适用于使用名为 LayerNorm（一种标准工具）组件的模型。

他们发现，你不需要运行模型，也不需要进行任何繁重的数学运算来找到这些死亡方向。你只需要查看模型设置中一个特定的数字，即“伽马”（ $\gamma$ ）参数。

类比： 想象 LayerNorm 组件有一个标有数字的刻度盘。作者发现，如果你只需将这些数字的倒数（把它们颠倒过来）并进行归一化，你就能得到一张完美指向死亡方向的地图。
神奇之处： 你可以瞬间读取这张地图。无需前向传播（运行模型），无需反向传播（计算误差），也不需要复杂的特征分解。这就像是直接看蓝图，就能立刻知道房屋的薄弱点在哪里，而无需实际建造房子。

两种类型的建筑

作者在 14 个不同的大型模型（包括文本和图像模型）上测试了这一点。他们发现了一个明显的划分：

LayerNorm 模型（拥有地图的模型）： 在 9 个使用 LayerNorm 的模型中，这个“魔力指南针”完美奏效。通过简单数字预测出的方向与通过繁重数学运算找到的实际死亡方向完全一致，精确到了小数点后四位。这是一个完美的匹配。
RMSNorm 模型（没有地图的模型）： 在 5 个使用另一种工具（称为 RMSNorm）的模型中，这个技巧失效了。你无法通过仅仅查看数字来找到一个通用的死亡方向。这很合理，因为 RMSNorm 缺乏 LayerNorm 中创造死亡方向的特定数学“投影器”。

训练时会发生什么？

论文还研究了模型在学习过程中发生了什么。

开始阶段（随机状态）： 死亡方向的存在是因为架构（蓝图）本身，而“魔力指南针”能立即找到它。
训练之后： 模型在那个方向上变得更加“平坦”。死亡方向变成了一个深邃的峡谷。随机起点与训练后模型之间的差距，展示了训练过程是如何加深这些平坦区域的。

摩天大楼的安全检查

作者还使用这种方法来检查“残差流”（residual stream，即信息流经建筑物的核心走廊）是否保持强健。

规则： 在一座健康的建筑中，走廊的“最弱点”不应该随着楼层的升高而变得更弱。
结果： 在 14 个模型中的 13 个里，这一规则成立。走廊保持了强健。
例外情况： 一个模型（Gemma 4-31B）出现了真正的“死亡方向”，即走廊在那里变得更弱了。作者的方法瞬间定位了这个缺陷，表明这不仅仅是测量误差，而是该特定模型中真实的结构性问题。

为什么这很重要（根据论文所述）

它是免费的： 你只需通过阅读其参数，即可诊断模型的“奇异结构”（即那些平坦区域）。无需进行繁重的计算。
它是一个分类器： 你只需通过检查这个“魔力指南针”是否有效，就能判断一个模型使用的是 LayerNorm 还是 RMSNorm。
它是一个诊断工具： 如果你看到一个指南针失效或走廊变弱的模型，它会标记出一个值得调查的潜在结构异常。

简而言之，论文的观点是：“如果你拥有一个 LayerNorm 模型，你不需要运行它就能找到其最弱、最平坦的方向。只需看一眼一个数字，将其翻转，你就得到了答案。”

技术摘要：LayerNorm Transformer 中的代数死方向（Algebraic Dead Directions）

问题陈述
预训练 Transformer 在其损失景观（loss landscape）的奇异极小值附近运行，在该处，费舍尔信息度量（Fisher information metric）沿参数空间中的特定“死方向”（dead directions）发生退化。沿着这些方向，损失是平坦的，且方向性费舍尔信息量消失。识别这些方向对于理解模型几何结构和奇异学习理论至关重要，但现有方法计算成本高昂或较为间接。定位一个死方向通常需要结合前向传播与激活值的特征分解、基于采样的复杂度估计（如局部学习系数），或大量的梯度访问。至关重要的是，目前尚无方法能够仅凭网络的参数，在无需前向或反向传播的情况下，提供一个特定的死方向。

方法论
本文基于 Shirodkar (2026) 的框架开发了一种针对 LayerNorm (LN) Transformer 的闭式诊断方法，该框架通过 KFAC（Kronecker 分解近似曲率）因子分解推导出了死方向。其核心洞察在于：LayerNorm 前向映射中固有的均值减法投影算子，在代数上强制了后归一化激活协方差中的一个特定核方向（kernel direction）。

作者提出，对于任何配备 LayerNorm 的 Transformer，由 LayerNorm 仿射参数定义的逆尺度方向 $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ ，是后最终归一化中心化激活协方差的精确代数核（algebraic kernel），且对任何输入分布均成立。该方向可以直接从学习到的尺度参数 $\gamma$ 中读取。

该方法通过对 14 个预训练 Transformer（参数规模从 160M 到 35B，包括带有 LayerNorm 和 RMSNorm 的语言和视觉模型）进行三种主要诊断测试：

代数基准验证： 在随机初始化时，将预测的方向 $v^*$ 与测得的激活协方差底部奇异方向（ $u_\perp$ ）进行对比。
归一化侧差异（Norm-Side Dichotomy）： 利用是否存在该通用核方向来分类归一化方案（LayerNorm 与 RMSNorm）。
训练诱导间隙： 测量“舒尔比率”（Schur ratio） $R(h)$ 及其补项 $\Delta_\gamma = 1 - R(h)$ ，以量化训练后的实际死方向相对于架构基准变得多深。
深度不变性： 测试残差流的最小奇异值（ $\sigma_{\min}$ ）是否在块与块之间保持不变，这是由恒等跳跃连接（identity skip connections）和非抵消假设（non-cancellation hypothesis）导出的属性。

所有测量均使用每个检查点的单次前向传播完成，无需梯度访问或采样链，并利用 fp64 中心化协方差累积以避免数值噪声底。

核心贡献

LayerNorm 的代数死方向： 本文证明并经验验证了，对于任何 LayerNorm Transformer，方向 $\gamma^{-1}/\|\gamma^{-1}\|$ 是后最终归一化中心化激活协方差的一个死方向。该方向仅通过观察仿射参数即可读取，无需前向传播。
RMSNorm 的负向差异： 本文证明了缺乏均值减法投影算子的 RMSNorm 不具备这种仅依赖于 $\gamma$ 的通用死方向。这在两种归一化类型之间建立了严格的代数分歧。
残差流 $\sigma_{\min}$ 深度不变性： 一个闭式推论预测，在非抵消假设下，残差流的最小奇异值不会逐块减小（即 $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ）。
舒尔比率诊断： 本文引入了一个定量指标（ $\Delta_\gamma$ ），用于衡量架构基准（随机初始化）与训练后的奇异结构之间的间隙。该间隙作为一种仅需前向传播即可实现的诊断工具，用于衡量累积的奇异结构。

结果
预测结果在 14 个模型（9 个 LayerNorm，5 个 RMSNorm）及多种目标任务（下一 Token 预测、图像分类、自监督学习）上进行了测试。

代数匹配： 在随机初始化时，预测方向 $\gamma^{-1}/\|\gamma^{-1}\|$ 在所有 9 个 LayerNorm 模型上均与测得的底部奇异方向高度一致（ $|\cos| \ge 0.9999$ ）。平均对齐度为 0.99999。
RMSNorm 的缺失： 5 个 RMSNorm 模型正确显示出与任何 $\gamma$ 衍生方向均无对齐关系（ $|\cos| \le 0.10$ ），处于随机方向的零点。
训练间隙： 在训练后的检查点上，舒尔比率 $\Delta_\gamma$ 在所有模型规模上均饱和于 $\approx 1$ ，表明训练开启的死方向比 LayerNorm 建立的架构基准深约 $10^3$ 倍。
深度不变性： 当在各自的输入分布上读取时， $\sigma_{\min}$ $σ_{m i n}$ 深度不变性在 14 个模型中的 13 个模型中成立。
- 唯一的例外——Gemma 4-31B，表现出了真正的内在死方向，其残差流的 $\sigma_{\min}$ 在输出端下降了约 18 倍。
- 另一个 Gemma 4 变体（Gemma 4-E4B）在仅文本校准下显示出下降，但在多模态（文本+图像+音频）校准下消失，这表明它是一个相对于分布的死方向，而非内在死方向。
动态验证： 在 Pythia-1B 预训练轨迹上， $\sigma_{\min}$ 比率在每一步都保持 $\ge 1$ ，同时与预测核方向的对齐度即使在 $\gamma$ 离散化时也保持在高位（ $\ge 0.998$ ），证实了该预测追踪的是学习到的 $\gamma$ 而非初始化状态。

意义与主张
本文声称提供了针对 LayerNorm 最廉价的“死方向读取”方法，仅需检查单个参数（ $\gamma$ ）而无需任何前向或反向传播。这使得从业者能够：

识别死子空间： 在无需采样或梯度访问的情况下，检测冻结模型的死方向。
分类架构： 仅通过参数即可确定预训练模型的归一化方案（LN 与 RMSNorm）。
诊断病态特征： 将 $\sigma_{\min}$ 深度剖面作为实时信号，以检测标准流程可能因数值噪声底而忽略的架构异常（例如 Gemma 4 的 MLP 定位塌缩）。
指导设计： 提供一种结构化测试，用于预测新归一化方案是否会携带 $\gamma$ 衍生的通用核。

作者强调，该框架区分了架构保证的死方向（在 LayerNorm 随机初始化时已存在）与训练诱导的死方向（在 LN 和 RMSNorm 模型中都会加深核结构）。这两者之间的间隙作为衡量训练期间累积奇异结构的诊断工具。本文并未声称解决了 Gemma 4 异常的起源问题，但成功将其定位在 MLP 子层，并将其与校准伪影区分开来。