💬 NLP

Bounded Hyperbolic Tangent: A Stable and Efficient Alternative to Pre-Layer Normalization in Large Language Models

该论文提出了有界双曲正切（BHyT），这是一种稳定且高效的 Pre-Layer Normalization 替代方案，它通过数据驱动的输入边界限制消除了与深度相关的稳定性问题，同时实现了比 RMSNorm 更快的训练速度和更高的吞吐量。

原作者： Hoyoon Byun, Youngjun Choi, Taero Kim, Sungrae Park, Kyungwoo Song

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hoyoon Byun, Youngjun Choi, Taero Kim, Sungrae Park, Kyungwoo Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用积木搭建一座非常高的塔。在人工智能的世界里，这些“积木”就是计算机程序（大型语言模型）的层。

长期以来，搭建这些塔的标准方法是使用一种名为“前层归一化”（Pre-Layer Normalization，简称 Pre-LN）的工具。你可以把这个工具想象成一个质量控制检查员，他会在每一层楼都停下来，测量积木的大小，检查它们是否规格正确，并在添加下一层之前将它们平滑处理。

问题所在：检查员太慢了，而且塔变得摇摇欲坠

该论文指出了这种旧方法存在的两个主要问题：

速度慢： 因为检查员必须在每一层楼都停下来进行数学计算，建筑过程变得非常缓慢。随着楼层增加，整个工程的速度就会变得越来越慢。
“深度诅咒”： 随着塔变得越来越高，高层的积木会变得巨大且摇晃。向上方传递的“信号”（即信息）会发生扭曲，导致塔变得不稳定。论文称之为“深度诅咒”。

有些人尝试通过完全移除检查员，转而使用一个简单的“tanh”函数（一种将数字挤压在一定范围内的数学曲线）来解决问题。这种方法很快，就像不间断地建造塔一样。但是，如果没有了检查员，高层的积木仍然会变得过大，导致塔再次变得不稳定。

解决方案：BHyT（智能、有界的建筑师）

作者提出了一种名为 BHyT（有界双曲正切函数）的新方法。你可以把 BHyT 理解为一个智能、自我调节的建筑师，它结合了两者的优点。

以下是 BHyT 的工作原理，使用了简单的类比：

1. “减速带”（有界输入）
BHyT 不会让积木随着塔的高度增加而无限变大，而是设置了一个“减速带”或围栏。它使用一个数学规则（基于类似于安全网的切比雪夫不等式）来规定：“无论数据变得多大，我们都会在它进入下一层之前，将其温柔地挤压回一个安全、舒适的范围内。”

为什么这有帮助： 它防止了积木变得过于庞大（这会导致不稳定），同时又不需要在每一步都进行完整的、缓慢的检查。

2. “一次性检查”（方差近似）
旧方法（Pre-LN）会在每一层楼都精确计算积木的大小。BHyT 则更聪明：

它在每一层的底部进行一次精确测量。
对于这一层的第二部分，它不再重新测量，而是根据第一次测量结果和已知的塔的设计方案，进行一次快速的、有根据的猜测（即近似值）。
为什么这有帮助： 它节省了大量的计算时间和计算机资源，因为它不必在每层楼都停下来数两次砖块。

结果：一座更快、更稳固的塔

论文在不同规模的模型（从 3.74 亿个积木的小型塔到 30 亿个积木的大型塔）上测试了这种新建筑师。以下是他们的发现：

稳定性： 使用 BHyT 建造的塔不会摇晃。所有的“积木”（激活值）在到达塔顶的过程中都能保持合适的尺寸，从而防止了“深度诅咒”。
速度： 由于 BHyT 没有在每一步都停下来进行繁重的数学运算，它在训练期间的建造速度提升了 1.6%，生成文本的速度也比标准方法快了 1.77%。
质量： 尽管速度更快，但最终建成的塔同样聪明。它在语言测试和推理谜题中的表现优于旧方法，并且在经过微调后也不会“忘记”所学到的知识。

总结

简而言之，这篇论文认为 BHyT 是构建 AI 模型的一种更好的方式。它用一个智能、有界的建筑师取代了缓慢、重复的“质量检查员”，通过一个安全围栏来控制数据，并利用快速的估算来节省时间。这使我们能够建造更高、更稳定且更快速的 AI 模型，而不会牺牲其智能。

技术摘要：BHyT —— 一种稳定且高效的 Pre-Layer Normalization 替代方案

1. 问题陈述

大语言模型（LLMs）高度依赖 Pre-Layer Normalization（Pre-LN，通常通过 RMSNorm 实现）来稳定训练并实现有效的迁移学习。然而，随着模型深度的增加，标准的 Pre-LN 设计面临两个关键局限性：

深度诅咒（The Curse of Depth）： 最近的分析表明，残差连接与 Pre-LN 之间的相互作用会导致隐藏状态在各层之间的幅度和方差迅速增长。这种增长使块雅可比矩阵（block Jacobian）趋向于单位矩阵，导致深层网络表现得像昂贵的恒等映射（identity mappings），从而破坏训练稳定性。
效率与稳定性的权衡： 现有的解决方案通常只能解决其中一个方面。侧重稳定性的方法（如 Peri-LN，在子层前后进行归一化）或 LayerNorm Scaling (LNS) 虽然能抑制方差增长，但由于重复的统计计算而带来了显著的计算开销。相反，侧重效率的无归一化方法（如 Dynamic Tanh, DyT）虽然消除了统计开销，但未能显式控制深度方向的残差增长，导致深层网络可能出现饱和与不稳定。

核心挑战在于设计一种机制，既能结合有界变换（bounded transformations）的低开销，又能通过对残差流规模和方差的显式控制来防止深度漂移，同时不牺牲训练吞吐量。

2. 方法论：有界双曲正切（Bounded Hyperbolic Tanh, BHyT）

作者提出了 BHyT，作为 Pre-LN 的即插即用替代方案，它将双曲正切非线性函数与显式的、数据驱动的输入定界相结合。

核心机制

不同于依赖可学习全局标量来缩放输入的 DyT，BHyT 使用数据相关的统计量来显式限制 $\tanh(\cdot)$ 函数的输入。

概率性输入定界： 为了防止饱和，BHyT 将 $\tanh$ 的预输入参数约束在预定义的区间 $[-\lambda, \lambda]$ 内，并保持高概率。利用切比雪夫不等式（Chebyshev's inequality），该方法根据输入的均值 ( $\mu_x$ ) 和标准差 ( $s_x$ ) 推导出了缩放规则。
理想形式 ( $BHyT^*$ )： 从理论上讲，该变换将输入 $x$ 重新缩放为：
$BHyT^*(x) = \gamma \odot \tanh\left(\frac{\lambda}{\kappa s_x + |\mu_x|} x\right)$
其中 $\gamma$ 是可学习的缩放参数， $\lambda$ 定义了目标范围， $\kappa$ 根据目标概率 $p$ 控制缩放的保守程度。这确保了输入以高概率保持在 $\tanh$ 的非饱和线性区域内。

实际实现：方差近似

在 Transformer 块内的每个 Pre-LN 位置都计算精确的均值和方差会抵消效率优势。为了解决这个问题，BHyT 引入了块级方差近似：

第一处位置（注意力机制前）： 计算输入的精确逐实例方差。
第二处位置（MLP 前）： 它不再重新计算残差输出 ( $x + h_{Attn}$ $x + h_{A tt n}$ ) 的精确方差，而是利用先前计算的输入方差和模型相关的注意力输出方差估计值来近似方差。
- 注意力输出的方差被近似为 $\tilde{s}^2_{hAttn} \approx \frac{1}{Td} \|W_V W_O\|_F^2 \cdot \frac{\lambda_{Attn}^2}{\kappa^2}$ ，该假设基于均匀注意力权重和零均值高斯分布项。
- 这种近似允许第二次归一化复用统计量或使用预计算的模型参数，从而避免在关键的前向传播路径中进行第二次规约（reduction）操作。

理论稳定性

论文提供了一个有限深度方差传播界限。定理 3.5 指出，对于深度为 $L$ 的网络，如果超参数满足 $\lambda/\kappa < 1/\sqrt{L}$ ，则 BHyT 下的输出方差在每一层都严格小于 LNS 下的输出方差。这提供了理论保证，证明 BHyT 比 LNS 更有效地抑制了深度方向的方差增长。

3. 核心贡献

提出 BHyT： 一种 Pre-LN 的即插即用替代方案，它结合了有界 $\tanh(\cdot)$ 变换与数据驱动的输入定界，以控制深度方向的激活增长。
理论与实际效率：
- 推导了有限深度方差界限，证明在特定条件下，BHyT 比 LNS 具有更小的方差传播界限。
- 引入了块级方差近似机制，减少了重复的精确方差计算，显著降低了延迟。
实证验证： 在 Llama-374M、Llama-1B 和 Llama-3B 模型上进行了全面评估。研究表明，BHyT 在提升稳定性与效率的权衡方面表现出色，同时保持了强大的下游性能。

4. 实验结果

实验在基于 C4 语料库预训练的 Llama 风格模型（374M、1B 和 3B）上进行，Token 总预算与模型大小成比例（约为每参数 20 个 token）。

稳定性： BHyT 成功抑制了激活幅度和方差的深度方向增长，表现优于 RMSNorm 和 DyT。激活统计量在各层之间保持受控，与 Peri-LN 等侧重稳定性的基准方法相当。
性能：
- 预训练： BHyT 在所有模型规模下均实现了最低的预训练损失和困惑度（perplexity）。它还获得了最高的 3-shot 基准测试（如 ARC、MMLU、Winogrande）平均下游准确率，在 1B 模型上比次优方法高出多达 0.6 个百分点。
- SFT 后： 在经过 Lima1K 有监督微调（SFT）后，BHyT 模型在 C4 和 WikiText-2 上的困惑度更低（表明遗忘更少且泛化更好），且与 RMSNorm、Peri-LN、LNS 和 DyT 相比，具有更高的下游准确率。
- 规模效应： 在 Llama-3B 的 20B token 对比中，BHyT 在平均下游准确率（预训练阶段）上比强力的稳定性基准 Peri-LN 高出 3.4 个百分点，在 SFT 阶段高出 2.5 个百分点。
效率：
- 训练吞吐量： BHyT 的平均训练速度比 RMSNorm 快 1.6%。
- 生成吞吐量： BHyT 在 Llama-1B 上达到了 1,199.9 tokens/s，超过 RMSNorm 1.77% 和 Peri-LN 18.0%。虽然 DyT 由于零统计量仍然是最快的，但 BHyT 在速度与稳定性之间提供了更优的权衡。
- 消融实验： 方差近似机制比精确形式的 BHyT* 实现了 14.9% 的加速，且未实质性降低收敛性或下游性能。

5. 意义与主张

论文声称 BHyT 为构建更深、更高效的基础模型提供了一条切实可行的路径。通过将低开销的有界变换与对残差流方差的显式控制相结合，BHyT 在不产生双重归一化方案带来的计算惩罚的情况下，解决了“深度诅咒”。

作者断言，可扩展训练可以在不牺牲稳定性的情况下提高效率。BHyT 不仅仅是一个理论上的替代品，它被呈现为一个鲁棒的、可直接替换 RMSNorm 的方案，能够在减少训练和推理延迟的同时，实现稳定的预训练和强大的迁移性能，其适用范围涵盖从 374M 到 3B 参数的不同模型规模。