🤖 machine learning

The Quantization Benefits of Residual-Free Transformers

本文表明，Transformer 中的残差连接加剧了激活的非高斯性和量化误差，但通过正交初始化和谱优化训练无残差架构，可得到激活近似高斯分布的模型，其在低比特量化下具有显著更强的鲁棒性，且全精度性能损失极小。

原作者： Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《无残差 Transformer 的量化优势》进行的解读。

核心难题：“重尾”交通拥堵

想象一下，你正试图将海量数据（好比一座巨大的图书馆）通过网络在计算机之间传输，以训练一个超级智能的 AI。为了让传输更快、成本更低，你希望将这些书籍压缩成小巧轻便的传单。这就是所谓的量化。

然而，这里有个陷阱。在标准的 AI 模型（称为 Transformer）中，被传输的数据并非整齐划一。这就像一座图书馆，其中 99% 的书籍是薄薄的传单，但 1% 却是厚重巨大的百科全书。这些“重型百科全书”被称为异常值。

如果你试图将所有书籍压缩成同样小的尺寸以节省空间，薄传单能完美适配，但那些厚重的百科全书会被压碎，导致信息完全丢失。这会让 AI 犯错。目前的解决方案是专门为这些百科全书建造特殊的“重型卡车”，但这既复杂又昂贵。

论文的发现：“残差”元凶

这篇论文的作者提出了一个不同的问题：为什么一开始会有这么多“重型百科全书”？

他们发现，问题不仅仅在于数据，更在于 AI 的架构（即蓝图）。具体来说，他们指责的是残差连接。

类比：接力赛
- 标准 AI（带残差）： 跑步者将接力棒传给下一个人，但同时也紧紧抓着自己的接力棒，并将其加入堆叠中。经过 20 或 30 圈（层）之后，这堆积如山的接力棒变得巨大、混乱且不可预测。这种“层层堆叠”造就了那些沉重的异常值。
- 新想法（无残差）： 跑步者将接力棒传递出去，并松开自己手中的接力棒。下一位跑步者仅带着新的接力棒重新开始。堆积物永远不会变得混乱，始终保持整洁和均匀。

论文表明，标准模型中的这种“堆叠”迫使数据变得“重尾”（充满异常值），这使得在不损失质量的情况下进行压缩（量化）变得非常困难。

解决方案：“无残差”节食

作者提出构建不带这些“堆叠”连接的 AI 模型。他们称之为无残差 Transformer。

但这有个问题：移除“堆叠”机制会让 AI 极难训练。这就像试图在没有接力棒安全网的情况下跑马拉松；你可能会绊倒并摔跟头。

为了解决这个问题，作者开发了一套特定的**“训练食谱”**，以使这些新模型能够正常工作：

正交初始化： 让模型从完美平衡的权重开始，就像一片完美对称的雪花，这样数据从一开始就不会失真。
特殊优化器： 使用一种特定类型的“教练”（数学优化器），在训练过程中保持模型的平衡，而不是让其变得混乱。
温度缩放： 随着模型深度的增加，调整模型的“热度”，以保持数据流畅传输。

结果：“高斯”金发姑娘区

当他们训练这些新模型时，神奇的事情发生了。数据不再是少数几本巨型百科全书和许多传单的组合，而是变得完美均匀。

类比：人群
- 旧模型： 几个巨人和许多矮人。如果你试图将他们全部塞进一辆小巴士（低位宽量化），巨人会被压碎，巴士也会散架。
- 新模型： 每个人的身高都完全处于平均高度。你可以将他们完美地塞进一辆小巴士里，没有人会被压碎。

用数学术语来说，新模型将其数据保持在**“近高斯”**状态（一条漂亮的钟形曲线），而旧模型则变得“重尾”。

权衡：稍慢一点，但可压缩性更强

论文发现了一个明确的权衡：

全精度（不压缩）： 当以全尺寸运行时，新的“无残差”模型在智能程度上略逊于旧的“残差”模型。
低精度（压缩后）： 当你为了节省空间而将它们压缩（使用低位宽数值）时，新模型依然保持智能，而旧模型则会彻底崩溃。

核心结论：
如果你需要在有限的硬件（如手机或小型服务器）上运行庞大的 AI，并且需要压缩数据，那么构建 AI 的旧方式实际上是在与你作对。通过移除“堆叠”连接并使用特定的训练食谱，你可以构建出天生适合压缩的模型，从而在不损失太多精度的情况下节省大量的内存和能量。

主张总结

原因： 残差连接（即“堆叠”机制）导致数据变得混乱并充满异常值。
影响： 这种混乱使得标准数据压缩（量化）失效，导致精度下降。
解决方案： 移除残差连接，结合特定的初始化和优化技术，保持数据干净且均匀。
结果： 这些新模型对压缩具有更强的鲁棒性，允许使用简单、统一的压缩方法进行高效部署，尽管它们在全精度下的准确性略低。

技术摘要：无残差 Transformer 的量化优势

问题陈述
大型基础模型的扩展日益受到分布式训练中跨加速器传输激活值、梯度和优化器状态所产生的通信开销的制约。低位宽量化提供了一种压缩这些张量的解决方案，但标准的 Transformer 架构往往会产生重尾且由异常值主导的激活值。这些非高斯激活分布使得简单的低位宽量化具有极高的信息损失，因此需要复杂的专用后训练技术（例如混合精度异常值处理、逐通道缩放或学习旋转）来维持精度。本文认为，这种量化困难不仅仅是量化器的属性，而是根本上植根于 Transformer 架构本身，特别是残差连接的存在。

方法论
作者通过对比标准残差 Transformer 与无残差 Transformer，研究了架构与激活统计特性之间的关系。

理论分析：作者分析了逐层激活统计特性的演变，重点关注超额峰度（衡量尾部厚度和偏离高斯性的指标）。
- 他们证明，密集混合（自注意力块和 MLP 块中固有的特性）充当高斯化算子，当权重矩阵保持近等距时，能将超额峰度收缩 $O(1/d)$ 倍。
- 相反，残差连接在保留输入状态的同时添加了一个变换分支。理论引理表明，这种加法路径阻止了超额峰度的 $1/d$ 收缩，使得非高斯性能够跨层累积并放大。
- 分析进一步区分了优化器：谱/二阶优化器（如 Shampoo、Muon）能保持权重矩阵的近等距几何结构，而坐标更新（如 AdamW、Sign GD）会迅速破坏这种等距性，即使是在无残差网络中也会削弱高斯化效应。
实用训练配方：为了使无残差 Transformer 可训练（克服历史上出现的秩崩溃和信号传播失败等问题），作者提出了一种特定的技术组合：
- 正交初始化：将权重矩阵（特别是 $W_Q, W_K, W_V, W_O, W_U, W_D$ ）初始化为缩放后的正交矩阵，以确保在开始时具有良好的条件数和密集混合。
- 谱/二阶优化：利用 KL Shampoo、Muon 或 SOAP 等优化器，在整个训练过程中保持权重的近等距几何结构。
- 深度感知注意力缩放：在注意力机制中引入温度缩放因子 $\tau_\ell = \beta^{-\ell}$ ，以防止随着深度增加而出现的信号衰减或饱和。

主要贡献

量化困难的架构根源：本文确定了残差连接是激活非高斯性的主要架构来源。研究表明，残差混合会保留并放大超额峰度，而无残差混合则会收缩它。
基于超额峰度的理论解释：作者提供了一个理论框架，解释了无残差模型为何能维持近高斯激活。这依赖于正交初始化（提供正确的几何起点）与谱优化（保持该几何结构）的协同作用，从而使密集混合能够持续抑制高阶矩。
一种量化友好的训练配方：作者证明，使用所提出的配方（正交初始化 + 二阶优化 + 深度感知缩放）可以有效地训练无残差 Transformer，其在全精度下的性能可与残差模型相媲美，同时保留近高斯的激活统计特性。

实验结果
作者在 FineWeb-Edu 数据集上训练了 24 层模型，并在八个常识推理基准测试（如 ARC、BoolQ、HellaSwag）上进行了测试。

激活统计特性：使用 KL Shampoo 训练的无残差模型在所有层和训练步骤中均将超额峰度维持在接近零的水平，表明其激活值接近高斯分布。相比之下，残差模型（即使使用 KL Shampoo 训练）也发展出了重尾、非高斯的激活值，其超额峰度显著更高。
量化鲁棒性：在简单的均匀量化下（无需异常值处理或学习旋转）：
- 全精度 (BF16)：与残差基线相比，无残差模型表现出微小的性能下降（平均准确率约下降 1-2%）。
- 低精度：随着精度降低（例如 W8A8、W8A6），残差模型遭受了急剧的准确率下降（高达 8-10%）。无残差模型表现出显著更高的鲁棒性，在 W8A8 下比残差模型高出 +2.7%，在 W8A6 下高出 +6.6%。
- 信号保真度：在所有位宽下，无残差模型始终实现了更高的信噪比（SQNR）和更低的归一化均方误差（MSE）。

意义与主张
本文声称是首个识别并研究无残差架构对量化相关后果的论文。其核心论点是，量化鲁棒性不应仅被视为后训练压缩问题，而应被视为架构和优化挑战。

作者断言，通过移除残差连接并采用特定的训练配方，可以创建本质上更具可压缩性的基础模型。尽管承认存在局限性（例如全精度准确率差距较小，以及需要进一步扩展以适用于更深层网络），但这项工作推动了向“量化友好”架构设计的转变。结果表明，未来的基础模型可以综合考虑架构、优化和压缩，以减少目前制约大规模训练和部署的通信与内存开销。