🤖 machine learning

CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry

受所提出的梯度扇入不对称性（Gradient Fan-in Asymmetry）理论的启发——该理论解释了为何深层 Transformer 层的贡献度会因梯度流衰减而降低——本文引入了 CascadeFormer 和 CascadeFlow Pruning，通过动态收缩模型宽度并移除冗余层，在不损失性能的前提下，实现了在延迟和吞吐量方面的显著效率提升。

原作者： Huzama Ahmad, Cao Viet Hai Nam, Se-Young Yun

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huzama Ahmad, Cao Viet Hai Nam, Se-Young Yun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一座拥有 16 层楼高的巨大摩天大楼，用来解决一个复杂的谜题。在传统的设计中（这也是大多数 AI 模型目前采用的设计），每一层楼都被建造得完全相同：拥有相同数量的工人、相同的设备和相同的大小。你假设，正因为这座建筑很深，所以每一层楼都承担着同样重要的工作。

但这篇文章的作者们发现了一个令人惊讶的事实：顶层的楼层实际上几乎没做什么工作。

他们发现，在这些深层的 AI“摩天大楼”中，流经建筑的信息随着层数的上升变得越来越稀薄。底层楼层非常忙碌，接收来自各处的信息；而顶层楼层则像是在一个空荡荡的房间里，接收到的信号微乎其微。这使得顶层显得冗余——就像你在 16 层楼安排了 100 人的团队，但实际上只需要 5 人一样。

以下是他们发现及其解决方案的简单拆解：

1. 问题：“扇入”瓶颈 (The "Fan-In" Bottleneck)

作者们将这个问题称为梯度扇入不对称性 (Gradient Fan-in Asymmetry)。让我们用一个比喻来说明：

想象一家公司，每位员工都要向管理链向上级提交报告。

底层楼层（早期层）： 这里的员工会收到来自下方所有人的报告，以及原始数据。他们手头有一大堆信息可以处理。
顶层楼层（深层）： 位于最顶端的员工只能收到直接下属传来的最终总结。他们能处理的新信息非常少。

在 AI 术语中，这些“报告”就是梯度 (gradients)（告诉模型如何学习的数学信号）。论文指出，顶层并非因为信号“太安静”（音量低）而失败，而是因为它们在结构上是空洞的。它们仅仅是因为接收不到足够多类型的信息流，才无法学习新知识。这就像是试图用仅有的那一滴颜料去画出一幅杰作；无论你多么努力，也无法创造出一幅色彩丰富的画作。

2. 证明：两个实验

为了证明这不仅仅是一个偶然现象，研究人员运行了两个测试：

测试 A（音量旋钮）： 他们尝试通过人为调大信号的“音量”（让梯度变得更大）来“修复”顶层楼层。结果： 并没有帮助。顶层楼层仍然无法学到任何有用的东西。这证明了问题不在于信号的“响度”，而在于信息的“多样性”缺失。
测试 B（管道系统）： 他们改变了建筑结构，让顶层楼层从更多路径接收信号（就像为顶层增加了更多的管道）。结果： 顶层楼层突然变得非常有价值且重要。这证明了如果你修复了信息的结构，这些层级就会重新开始发挥作用。

3. 解决方案：“级联”设计 (The "Cascade" Design)

既然顶层楼层自然而然地接收的信息较少，作者们说：不要再把它们建得和底层楼层一样了。

他们提出了两种新方法：

A. CascadeFormer（锥形摩天大楼）

他们没有建造一座每一层都巨大的统一塔楼，而是建造了一座锥形塔楼。

底层楼层： 依然庞大且强大，处理海量的信息流。
顶层楼层： 变得更小、更窄，以匹配它们实际接收到的较少信息。

结果： 他们构建的模型与旧的统一模型一样聪明（具有相同的“困惑度/perplexity”得分），但运行速度快了 8.6%，并且每秒处理的数据量更多，因为它不再把能量浪费在巨大的、空洞的顶层楼层上。

B. CascadeFlow Pruning（智能清理）

有时你想对一座已经完全建成的塔楼进行“裁剪”，剔除掉无用的楼层。

旧方法： 根据权重的大小来猜测该剪掉哪些楼层。这通常是不准确的。
新方法 (CascadeFlow)： 查看训练过程中的“交通日志”。他们发现，在训练期间接收到最多“流量”（累积梯度）的楼层才是最重要的。
结果： 他们可以安全地移除那些“安静”的顶层楼层，而不损害模型的性能，而且他们可以在模型训练的过程中进行此操作，无需在训练后进行昂贵的额外分析。

总结

这篇论文认为，深度 AI 模型之所以效率低下，是因为它们对每一层都一视同仁，即便信息流在深入过程中会变得越来越“稀薄”。

通过承认这种自然的“稀薄化”现象，他们创造了：

CascadeFormer： 一种新的架构，通过缩小顶层以匹配数据流，使 AI 更快、更高效。
CascadeFlow Pruning： 一种根据层级在训练期间实际处理的信息量，来识别并移除无用层的方法。

核心信息很简单：不要为一个只需要小型车间的任务去建造一座大型工厂。要让房间的大小与实际完成的工作量相匹配。

技术摘要：CascadeFormer：受梯度扇入不对称性启发的深度渐缩 Transformer

1. 问题陈述

深度 Transformer 通常依赖于均匀缩放原则，即通过堆叠相同的残差块来增加模型深度。然而，经验观察表明，较深的层往往贡献的函数价值递减，表现出高度的表示相似性和冗余性。虽然传统的解释将其归因于深层梯度幅度的衰减，但作者认为这只是在处理症状而非根源。本文指出，根本问题不在于梯度的幅度，而在于梯度的组合多样性（compositional diversity），这种多样性在深层结构中是受限的。

2. 核心假设：梯度扇入不对称性 (GFA)

本文引入了梯度扇入不对称性 (Gradient Fan-in Asymmetry, GFA)，作为层冗余的一种结构性解释。在 Pre-LayerNorm 残差堆叠中，任何第 $l$ 层的梯度都是一个恒等路径和所有下游函数路径之和。

结构性失衡： 在标准架构中，浅层聚合了来自大量下游计算路径的梯度，从而产生丰富且具有组合多样性的信号。相反，深层聚合自逐渐减少的路径集合，导致其结构简单、信息贫乏。
数学公式化： 在标准架构中，梯度扇入 ( $\phi_l$ ) 随深度线性递减。在采用深层监督（如 LayerSkip）的架构中，辅助损失头的引入创建了新的梯度层级，使扇入差异从线性转变为二次方，从而将信息更加集中地分配给最浅层。
关键区别： 作者认为梯度幅度是这种结构性信息失衡的一个代理指标。优化器可以重新缩放梯度幅度，但无法创造在深层结构中缺失的组合信息。

3. 方法论与干预措施

为了验证 GFA 并利用其实现效率，作者在从零开始训练的模型上进行了实验，参数规模最高达 1.2B（包括基于 Llama 的 Transformer 和 ResNet-50）。

3.1 经验验证

相关性证据： 作者测量了训练期间的累积梯度份额 ( $\bar{g}_i$ )，并将其与函数重要性 ( $\Delta \mathcal{M}_i$ , 定义为层消融后的性能下降) 进行关联。在 Vanilla Transformers、LayerSkip 模型和 ResNet-50 中均发现了强正相关性，表明训练梯度流可以预测最终层的层重要性。
干预测试：
1. 幅度等化（消融实验）： 作者在训练期间人为地对每层梯度进行重新缩放，使其 L2 范数相等。该干预措施未能恢复深层的函数重要性，表明幅度本身并非因果因素。
2. 路径数量增加（构建性实验）： 作者通过重复使用共享参数的最后几层（增加“虚拟深度”）来增加深层的下游梯度扇入。这种结构性变化成功地恢复并提升了深层的函数重要性，证实了结构路径多样性才是瓶颈。

3.2 提议的应用

受 GFA 启发，本文提出了两种效率方法：

CascadeFlow Pruning (CFP)：
- 机制： 一种高效的剪枝方法，使用累积训练梯度范数 ( $\bar{g}_i$ ) 作为结构重要性的代理。
- 优势： 不同于需要昂贵后验分析或前向传播的传统启发式方法（如 Taylor 准则、幅度剪枝或隐藏状态相似度），CFP 直接利用训练过程中收集到的梯度。
- 实现： 被剪枝的层在推理时通过简单的直通（恒等函数）实现，无需修改架构。
CascadeFormer：
- 机制： 一种通过随深度增加渐缩模型宽度（注意力头和/或 FFN 维度）来内化 GFA 原则的架构。这使得模型的容量与自然衰减的组合梯度多样性相匹配。
- 设计： 渐缩过程由注意力维度的离散步骤和 FFN 维度的线性减少组成。
- 目标： 在固定的训练 FLOP 预算下，通过在结构性需求较低的地方减少容量，来提高推理效率（延迟和吞吐量）。

4. 关键结果

剪枝性能： 在 1.2B 参数模型上，CFP 在困惑度 (PPL) 和稳定性方面优于标准的剪枝启发式方法（相似度、Taylor、幅度）。即使在激进剪枝下，CFP 仍能保持竞争力的下游准确率 (HellaSwag)，而其他方法则表现出剧烈的性能下降和跨随机种子的不稳定排名。
架构效率： CascadeFormer-A2 变体（渐缩注意力维度）实现了与训练时具有等效计算预算的均匀 15 层基准模型相当的困惑度。
- 效率增益： 在 A100 GPU 上，它将推理延迟降低了 8.6%，并将吞吐量提高了 9.4%。
- 对比： 仅渐缩 FFN 维度或两者皆有的变体也具有竞争力，但注意力渐缩产生了最佳性能，这可能是因为自注意力机制是容量缩减最有效的目标。

5. 重要性与主张

本文声称，它将层冗余重新定义为残差网络中固有的结构性信息流的结果，而非优化失败。

理论贡献： 它为深层贡献减少的原因提供了一个结构性解释 (GFA)，并得到了相关性和干预性证据的支持。它挑战了梯度幅度是冗余主要驱动力的观点。
实践贡献： 它提供了两种直接且有效的提高模型效率的方法：鲁棒的剪枝策略 (CFP) 和一种能够匹配信息流的新架构类 CascadeFormer。
谦逊态度与局限性： 作者明确指出，其证据仅限于从零开始训练且规模在 1.2B 以下的模型。他们承认，GFA 是否在 100B+ 规模下成立仍是一个开放的经验性问题。此外，他们指出，在高秩（high-rank）机制下，梯度幅度仅作为扇入的代理；测量梯度有效秩和正交性是必要的下一步。最后，CFP 需要访问训练时的梯度，因此不适用于闭源预训练模型的后验剪枝。

作者总结道，尽管其方法受 GFA 解释的启发，但即便读者对其底层理论解释持有保留意见，这些方法本身基于其测量的价值也是有意义的。