🤖 AI

Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective

本文介绍了 HetDPT，这是一种感知异构性的深度剪枝方法，它通过解决层间异构性问题，克服了现有方法在精度恢复方面的挑战，从而在多个基准测试中实现了在极小精度损失下的显著加速，适用于视觉 Transformer。

原作者： Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将视觉 Transformer (ViT) 视为一座高度复杂的、多层结构的工厂，旨在识别图像。每一层楼都代表一个“层”（layer），用于处理图像。有些楼层专门负责注意力（Attention）（扫描整幅图像以观察不同部分之间的关系），而另一些楼层则负责激活（Activation）（应用特定的过滤器或“非线性”以锐化细节）。

多年来，试图让这些工厂在小型设备上运行得更快的工程师们，主要专注于宽度剪枝（Width Pruning）。这就像是在每一层楼雇佣更少的工人。你得到了一个更小的工厂，但它仍然拥有相同数量的楼层，因此产品仍然必须经过每一个层级。

该论文认为，一种更好的加速方法是深度剪枝（Depth Pruning）：简单地移除整个楼层。如果你移除了 50% 的楼层，产品到达终点的时间会缩短一半。然而，以往的尝试都惨遭失败。工厂会崩溃，输出质量（图像识别能力）会大幅下降。

作者们通过 HetDPT 发现了为什么工厂会崩溃，并建立了一种新的方法来修复它。以下是简单的拆解：

问题所在：“不匹配”与“不同的个性”

论文指出了导致简单删除楼层行不通的两个主要原因：

维度不匹配（断裂的传送带）：
想象一下，工厂有一个传送带系统。“注意力”楼层和“激活”楼层以特定的方式连接。如果你只是随机拆除一个“激活”楼层，前一个楼层的传送带会到达一个不存在的机器，或者现有的机器期望的尺寸不同。论文称之为“维度不匹配”。这就像试图把方头塞进圆孔，因为你拆掉了中间的适配器。
- 解决方法： 作者意识到他们可以完全移除“激活”楼层，并简单地合并位于其两侧的两个“线性”（Linear）楼层（即机器）。这创造了一个全新的、无缝衔接的机器，能够完美契合传送带，即使在楼层减少的情况下也能保持工厂平稳运行。
异质性（不同的个性）：
这是论文最重要的洞察。作者意识到，“注意力”楼层和“激活”楼层并不相同；它们拥有不同的“个性”。
- 注意力楼层就像是高级经理。如果你解雇了一些经理，工厂起初运行会慢一些，但要重新训练到全速状态需要很长时间。他们很难被快速替代。
- 激活楼层就像是初级实习生。如果你解雇他们，工厂会立即崩溃（准确率降至接近于零）。但是，如果你给他们进行一次 10 分钟的快速培训（微调），他们几乎能瞬间恢复到全盛水平。
- 旧方法的错误： 以前的方法对所有楼层一视同其观。它们查看“梯度”（衡量一个楼层贡献程度的指标），并解雇那些数值最低的楼层。因为“高级经理”（注意力）与“实习生”（激活）的“电压”自然不同，旧方法会不断解雇错误的人，导致工厂崩溃。

解决方案：HetDPT（聪明的工厂经理）

作者创建了一个名为 HetDPT（异质性感知深度剪枝）的两步走过程来管理这座工厂：

第一步：预算分配（策略）
在解雇任何人之前，经理使用一个“模型准确率预测器”（智能计算器）。它不是问“哪个具体的楼层最差？”，而是问：“如果我们解雇 3 名高级经理和 5 名实习生，工厂还能正常运转吗？”

它测试解雇“经理”与解雇“实习生”的不同组合。
它寻找完美的平衡点（例如：“我们可以解雇 10 个楼层，但我们必须解雇 6 名实习生和仅 4 名经理，才能保持高质量”）。
这避免了直接比较“经理”和“实习生”的错误，因为这就像是在拿苹果和橘子做比较。

第二步：执行（清理）
一旦设定了预算（例如：“解雇 6 名实习生”），该方法会分别进入每个组进行操作。

它查看所有的“实习生”，并解雇其中需求量最小的那些。
它查看所有的“经理”，并解雇其中需求量最小的那些。
至关重要的一点是： 它会合并被解雇“实习生”周围的线性机器，使传送带完美契合（解决不匹配问题）。
最后，它会对剩余的员工进行一次快速的“复习课程”（微调），让他们恢复到 100% 的性能。

结果：在不损失质量的前提下实现提速

论文在多个标准图像数据集（如 ImageNet，类似于一个包含 100 万张图片的巨型相册）上进行了测试。

速度： 对于标准模型（DeiT-B），他们在保持准确率与原模型完全一致的同时，实现了 1.58 倍的加速。
极端压缩： 当他们将此方法与其他技术（宽度剪枝）结合时，他们创造了一个超轻量级的模型，其速度比原始模型快了 5.19 倍，且几乎没有准确率损失。
通用性： 它不仅适用于标准模型，还适用于更复杂的模型（Swin Transformers），甚至是拥有数十亿参数的庞大模型（DINO-V2-Giant）。

总结类比

想象一条制造汽车的长流水线。

旧方法： 你试图通过让流水线上的工人工作得更快来加速（宽度剪枝），或者随机解雇不同站点的工人，导致汽车底盘从流水线上掉下来，因为下一个站点还没准备好（失败的深度剪枝）。
HetDPT 方法： 你意识到某些站点（实习生）可以被完全移除，只要你将两侧的机器焊接在一起即可。你也意识到解雇站点经理（注意力）会对流水线造成长期的影响，而解雇实习生虽然会带来短暂的影响，但他们恢复得很快。因此，你仔细计算出要解雇多少种类的员工，将机器焊接在一起，然后给剩下的团队一个简短的动员。结果是，汽车的产出速度快了一倍，而且依然是一辆完美的汽车。

论文得出结论，通过尊重不同“个性”的层并修复机械上的不匹配，我们可以让这些强大的 AI 模型在日常设备上运行得显著更快，同时不会损失其智能。

技术摘要：重新思考视觉 Transformer 的深度剪枝：一种异构性感知视角

1. 问题陈述

视觉 Transformer (ViTs) 在各种领域都取得了最先进的性能，但面临着计算成本高和参数量大的问题，导致推理延迟较长。虽然结构化剪枝是一种有效的压缩策略，但现有方法面临显著的局限性：

宽度剪枝 (Width Pruning)： 减少层内的通道数或注意力头数，但在主流硬件上往往只能获得有限的加速效果。
深度剪枝 (Depth Pruning)： 移除整个层，具有显著更高的加速潜力（如图 2a 所示）。然而，深度剪枝极难恢复精度，尤其是在进行激进的层移除时。
核心瓶颈： 本文认为，现有深度剪枝方法的失败源于两个被忽视的问题：
1. 忽视异构性 (Neglect of Heterogeneity)： ViTs 包含不同类型的层（例如，注意力层与前馈网络中的激活函数层）。现有方法通常将这些层视为统一处理，或者依赖于梯度度量，而由于这些类型之间存在显著的梯度规模差异，会导致度量失效。
2. 维度不匹配 (Dimension Mismatch)： 同时对注意力层和前馈网络 (FFN) 中的线性层进行剪枝会产生结构上的不兼容。由于 FFN 使用扩张-收缩机制（例如， $D \to 4D \to D$ ），移除一个线性层会破坏后续层所需的张量形状连续性（如图 3 所示）。

2. 方法论：HetDPT

作者提出了 HetDPT（异构感知深度剪枝），这是一个旨在解决异构性和避免维度不匹配的两阶段框架。

关键洞察

该方法基于关于层异构性的两个关键观察：

梯度差异 (Gradient Disparity)： 在反向传播过程中，注意力层和激活层表现出截然不同的梯度量级。使用标准的基于梯度的重要性度量会导致偏向性的剪枝决策，始终倾向于过度剪枝其中一种类型。
恢复不对称性 (Recovery Asymmetry)：
- 剪枝 注意力层 会导致中度的初始精度下降，但需要大量的重训练才能恢复。
- 剪枝 激活层 会导致严重的初始性能退化（通常 $\ge 90\%$ 的精度损失），但在微调过程中能够实现快速恢复。
- 启示： 评估即时剪枝后精度的短视指标是无效的。

两阶段流水线

第一阶段：识别冗余层
此阶段确定要剪枝多少以及 哪些特定 的层，而不直接比较异构的层类型。

步骤 1：预算分配 (模型精度预测器 - MAP)： 该方法不直接比较层，而是使用轻量级的数据收集过程（迭代剪枝 $\to$ 快速微调 $\to$ 评估）来构建数据集。通过多项式函数拟合 模型精度预测器 (MAP)，该预测器可以根据注意力层 ( $\tilde{m}_a$ ) 和激活层 ( $\tilde{m}_g$ ) 的剪枝比例来预测剪枝后模型的最终精度。这使得系统能够找到两种层类型之间最优的剪枝预算分配。
步骤 2：特定冗余层移除： 一旦预算分配完成，该方法会在每个同质组内（例如，仅在注意力层之间）识别特定的待移除层。它使用可学习的重要性参数和梯度传播来对层进行排序，确保不会发生跨类型比较。

第二阶段：剪枝模型优化

微调： 对剪枝后的模型进行微调，可选地使用由原始未剪枝 ViT 指导的自蒸馏技术来恢复精度。
合并 (Merging)： 为了解决维度不匹配并加速推理，被剪枝的激活层所分隔的相邻线性层会被合并。例如，如果移除了一个激活层，则 $L_{l,1}$ 和 $L_{l,2}$ 会合并为一个单一的线性层 $L_l$ 。这在减少模型深度的同时，保持了严格的维度对齐。

HetDPT+： 作者进一步将 HetDPT 与成熟的宽度剪枝方法相结合，创建了 HetDPT+，这是一个针对极端 ViT 压缩的流水线，同时处理了深度和宽度两个维度的压缩。

3. 核心贡献

剪枝激活函数： 本文提出了首个移除 ViTs 中激活函数层 (GELU) 的策略。通过移除这些非线性层，相邻的线性层可以自然地进行合并，从而解决了异构深度剪枝固有的维度不匹配问题。
异构性分析与解决方案： 作者揭示并解决了 梯度差异 和 恢复不对称性 问题。他们引入了配备模型精度预测器 (MAP) 的两阶段框架 (HetDPT) 来管理这些异构性，并得到了理论分析的支持，保证了最优配置的存在性以及预测器在噪声快速微调下的稳定性。
创纪录的性能：
- 深度剪枝： HetDPT 在实现近乎无损精度的前提下，为 DeiT-B 实现了 1.58 $\times$ 的加速，为 DeiT-S 实现了 1.39 $\times$ 的加速，超越了现有的深度剪枝工作。
- 极端压缩： HetDPT+ 为极端 ViT 压缩树立了新基准。在 Isomorphic-Pruning-2.6G 配置下，它将加速比从 4.24 $\times$ 提升至 5.19 $\times$ ，同时保持近乎无损的精度。
实验结果：
- 精度-加速比权衡： 在 ImageNet-1K 上，HetDPT 的表现始终优于孤立的注意力层或激活层剪枝。对于 DeiT-B，它在实现 1.58 $\times$ 加速的同时达到了 81.8% 的 Top-1 精度（与基准持平）。
- 与 SOTA 对比： HetDPT+ 超越了现有的极端压缩方法（如 Isomorphic Pruning, NViT）。在约 81% 的精度下，HetDPT+ 实现了 5.19 $\times$ 的加速，而 Isomorphic Pruning 为 4.24 $\times$ 。在超极端设置 (1.1G MACs) 下，它实现了 9.19 $\times$ 的加速。
- 迁移性： 该方法在 CIFAR-100 上展示了鲁棒的迁移学习能力，并在密集预测任务（COCO 目标检测和 ADE20K 语义分割）上保持了性能，仅有极小的精度下降。
- 可扩展性： 该方法可扩展至十亿级参数模型，在 DINO-V2-Giant 上的测试表明，剪枝 15 层后精度仅下降 0.06%。
- 正交性： HetDPT 与 Token 剪枝方法（如 GTP-ViT, ToMe）是正交的，结合使用可提供额外的加速。

4. 实验结果

该方法在 ImageNet-1K、CIFAR-100、COCO 和 ADE20K 上进行了评估。

精度-加速比权衡： 在 ImageNet-1K 上，HetDPT 的表现始终优于孤立的注意力层或激活层剪枝。对于 DeiT-B，它在实现 1.58 $\times$ 加速的同时达到了 81.8% 的 Top-1 精度（与基准持平）。
与 SOTA 对比： HetDPT+ 超越了现有的极端压缩方法（如 Isomorphic Pruning, NViT）。在约 81% 的精度下，HetDPT+ 实现了 5.19 $\times$ 的加速，而 Isomorphic Pruning 为 4.24 $\times$ 。在超极端设置 (1.1G MACs) 下，它实现了 9.19 $\times$ 的加速。
迁移性： 该方法在 CIFAR-100 上展示了鲁棒的迁移学习能力，并在密集预测任务（COCO 目标检测和 ADE20K 语义分割）上保持了性能，仅有极小的精度下降。
可扩展性： 该方法可扩展至十亿级参数模型，在 DINO-V2-Giant 上的测试表明，剪枝 15 层后精度仅下降 0.06%。
正交性： HetDPT 与 Token 剪枝方法（如 GTP-ViT, ToMe）是正交的，结合使用可提供额外的加速。

5. 意义与主张

本文声称其主要贡献在于通过解决深度剪枝特有的结构和动态挑战，实现更高效的视觉 Transformer 部署。

民主化： 通过大幅降低计算需求（高达 9.19 $\times$ 的加速），该方法使资源有限的研究人员和从业者也能使用最先进的视觉模型。
可持续性： 压缩模型降低的能耗有助于实现更具环境可持续性的 AI 开发。
边缘部署： 效率的提升促进了在需要低延迟的应用场景（如医疗诊断和自动驾驶系统）中，在边缘设备上进行实时部署。

作者指出一个局限性：模型精度预测器 (MAP) 目前是针对每个架构族进行重新拟合的，将该方法扩展到语言模型或其他模态仍是未来的工作。然而，这项工作为异构深度剪枝建立了新的理论和实践基础，超越了以往文献中“一刀切”的方法。