Adaptive MLP Pruning for Large Vision Transformers

本文提出了一种自适应 MLP 剪枝（AMP）方法，通过引入无标签信息熵准则评估神经元重要性并结合二分搜索算法自适应调整剪枝比例，在无需微调的情况下将大型视觉 Transformer（如 CLIP 和 DINOv2）的参数和计算量减少约 40% 且几乎不损失性能。

要点

这是一篇关于如何让“巨型”人工智能模型变得更小巧、更高效的论文。为了让你轻松理解，我们可以把这篇论文的核心思想想象成给一位“博闻强记但有点臃肿”的超级大厨（大型视觉 Transformer 模型）做一次精准的“瘦身手术”。

以下是用通俗语言和创意比喻对这篇论文的解读：

1. 背景：大厨太胖了，跑不动

现在的 AI 模型（比如 CLIP、DINOv2）就像是一位超级大厨。他见过世界上所有的图片，能认出任何东西，能力超强。

• 问题：这位大厨虽然厉害，但他太胖了（参数量巨大）。他需要巨大的厨房（显存）和极快的速度（算力）才能工作。这导致普通的小餐馆（手机、普通电脑）根本请不起他，或者让他干活太慢、太费钱。
• 发现：研究人员发现，这位大厨的“胖”主要不是因为记性（注意力机制），而是因为他的切菜板区域（MLP 模块） 占了全身 80% 以上的重量。这块区域里有很多重复、多余的肌肉（神经元）。

2. 核心方案：自适应剪枝 (AMP)

传统的瘦身方法像是“一刀切”：不管哪块肉，直接砍掉 40%。这往往会导致大厨变傻，甚至切菜都切不好。
这篇论文提出了一种**“自适应剪枝 (AMP)"的新方法，就像是一位顶级的私人健身教练**，分三步走：

第一步：用“熵”来体检，而不是只看分数

• 旧方法（泰勒展开 + 交叉熵）：以前的教练只看大厨对“正确答案”的预测。比如，大厨把猫认成了猫，教练就记一分；认错了，就扣分。但这有个问题：如果大厨把猫认成了“狗”或者“老虎”，旧方法会忽略这些“错误但有趣”的猜测，导致判断不准哪些肌肉是多余的。
• 新方法（信息熵准则）：这篇论文引入了一个**“全知全能的体检仪”（信息熵）。它不看大厨猜没猜对，而是看大厨“心里在想什么”**。
  • 比喻：想象大厨在猜一个物体。旧方法只关心他有没有猜对“猫”。新方法关心他脑子里是不是同时闪过“猫、狗、老虎、兔子”各种念头。如果他的念头很混乱（熵高），说明这块肌肉还在努力思考；如果他的念头很清晰（熵低），说明这块肌肉可能已经定型了，或者根本没用。
  • 好处：这种方法不需要标签（不需要告诉大厨正确答案是什么），也不需要大厨原本的训练代码。哪怕是大厨的“秘密配方”（如 DINOv2 的部分权重）没公开，也能给他做体检。

第二步：智能搜索，而不是盲目砍刀

• 旧方法：设定一个死板的规则，比如“每层都砍掉 30%"。
• 新方法（二分搜索）：教练拿着尺子，一层一层地试。
  • 比喻：教练问：“如果我把这块肌肉切掉一半，大厨还能切菜吗？”
    • 如果大厨还能切，且动作变形不大（信息熵变化在允许范围内），教练就继续切，直到切到极限。
    • 如果大厨切不动了，教练就往回退一点，保留刚才切掉的那一点点。
  • 这个过程像玩“猜数字”游戏，快速找到每个部位能切掉的“最大安全量”。有的部位很结实，只能切一点点；有的部位全是肥肉，可以切一大半。这就是**“自适应”**。

第三步：师徒传承，恢复功力

• 切完肉后，大厨可能会因为太瘦而动作变形（性能下降）。
• 方法：让原来的“超级大厨”（原模型）当师父，让瘦下来的“小徒弟”（剪枝后的模型）当徒弟。
• 过程：师父在切菜时，小徒弟在旁边模仿师父的眼神、手势和肌肉发力（知识蒸馏）。因为小徒弟的骨架（结构）和师父很像，只是肌肉少了，所以师父能很快教会小徒弟，让小徒弟虽然瘦了，但干活的能力和原来一模一样，甚至有时候更灵活。

3. 成果：瘦身成功，能力不减

实验结果显示，这个方法非常厉害：

• 瘦身幅度：把模型参数和计算量（FLOPs）减少了约 40%。
• 速度提升：推理速度提升了 1.5 倍。
• 能力保持：
  • 如果不重新训练（直接剪），它比别的剪枝方法强得多（别的模型剪完就傻了，这个还能认出猫狗）。
  • 如果稍微训练一下（蒸馏），它的表现几乎和原来一模一样，甚至在某些测试中比原来的“胖子”大厨还要强一点点！

总结

这篇论文就像发明了一种**“智能瘦身手术刀”**：

1. 它不看表面，而是通过**“信息熵”**（看大脑的混乱程度）来精准找到哪些肌肉是多余的。
2. 它不一刀切，而是用**“二分搜索”**像剥洋葱一样，一层层找到每个部位能减掉的极限。
3. 它通过**“师徒模仿”**，让瘦下来的模型迅速找回状态。

最终，我们得到了一位身材苗条、反应敏捷、但依然拥有超级大脑的 AI 大厨，让它在普通的设备上也能跑得飞快。

技术摘要

这是一份关于论文《ADAPTIVE MLP PRUNING FOR LARGE VISION TRANSFORMERS》（面向大型视觉 Transformer 的自适应 MLP 剪枝）的详细技术总结。

1. 研究背景与问题 (Problem)

• 大模型的可扩展性与代价： 大型视觉 Transformer（Large Vision Transformers, LVITs，如 CLIP、DINOv2）展现出卓越的性能，且性能随模型容量增加而提升。然而，其庞大的参数量导致了极高的计算和内存需求，限制了其在广泛场景下的部署。
• MLP 模块的冗余性： 通过分析现有 Transformer 结构，作者发现多层感知机（MLP）模块占据了模型参数的绝大部分（例如在 EVA-CLIP-E 中，MLP 模块占全模型参数的 81.1%）。因此，针对 MLP 模块进行剪枝是压缩模型的关键。
• 现有方法的局限性：
  • 重要性评估偏差： 传统的基于 Taylor 展开的剪枝方法通常使用One-hot 交叉熵损失来评估神经元的重要性。这种方法只关注对应标签的预测概率，忽略了模型对其他类别的潜在预测分布，导致重要性评分不够准确（保真度低）。
  • 依赖标签与特定模块： 传统方法依赖标签（Label）和特定的损失函数。对于某些未公开完整权重或损失函数设计的模型（如 DINOv2 的 DINO 头模块权重未公开），传统 Taylor 剪枝方法难以直接应用。
  • 预设压缩比： 大多数方法需要预先设定固定的压缩比例，无法根据 MLP 模块内部不同的冗余程度进行自适应调整。

2. 方法论 (Methodology)

作者提出了一种**自适应 MLP 剪枝（Adaptive MLP Pruning, AMP）**方法，主要包含以下三个核心步骤：

2.1 基于信息熵的无标签重要性评估 (Label-free Information Entropy Criterion)

• 核心创新： 摒弃了传统的 One-hot 交叉熵，提出使用**信息熵（Information Entropy）**作为评估 MLP 隐藏神经元重要性的通用准则。
• 原理：
  • 利用模型对输入数据的预测分布（而非仅关注正确标签）来计算信息熵。
  • 通过计算批次内图像表示之间的实例间相似度矩阵（Inter-instance similarity matrix），经 Softmax 处理后得到预测概率矩阵，进而计算信息熵。
  • 优势：
    1. 无标签（Label-free）： 不需要真实标签，适用于任何模型。
    2. 全分布建模： 充分利用了模型对所有类别的预测可能性，提高了重要性评分的准确性。
    3. 通用性： 不依赖原始模型的损失函数或特定模块（如 DINO head 或 Text Encoder），使得剪枝 DINOv2 等模型成为可能。

2.2 自适应剪枝策略 (Adaptive Pruning via Binary Search)

• 排序： 首先根据计算出的重要性分数对 MLP 的隐藏神经元进行排序。
• 二分搜索算法： 不预设固定的压缩比例，而是采用**二分搜索（Binary Search）**算法来寻找每个 MLP 模块的最优隐藏层大小。
  • 过程： 在搜索过程中，不断剪枝神经元并评估剪枝后模型的信息熵变化（$\Delta \mathcal{E}$）。
  • 判定： 如果剪枝后的信息熵变化超过预设阈值 $\Delta E$，则减少剪枝数量（回退）；否则继续剪枝。
  • 结果： 该方法能够根据每个模块的具体冗余度自适应地确定剪枝数量，避免了“一刀切”的预设比例。

2.3 知识蒸馏恢复性能 (Knowledge Distillation)

• 机制： 将原始未剪枝模型作为“教师”，剪枝后的模型作为“学生”。
• 蒸馏目标： 利用均方误差（MSE）损失，对齐教师模型和学生模型在 Transformer 最后一块输出的 Class Token 和 Patch Token 特征。
• 优势： 由于剪枝仅发生在 MLP 的隐藏层，输入输出维度保持一致，因此无需额外的对齐模块即可直接进行知识蒸馏，高效恢复模型性能。

3. 主要贡献 (Key Contributions)

1. 提出无标签信息熵准则： 解决了传统 Taylor 剪枝依赖标签和特定损失函数的问题，实现了更准确的神经元重要性评估，并使得对未公开完整权重的模型（如 DINOv2）进行剪枝成为可能。
2. 设计自适应剪枝算法： 引入二分搜索策略，根据模块冗余度自适应确定剪枝数量，摆脱了对预设压缩比的依赖。
3. 实现近无损压缩： 仅在 ImageNet-1K 上进行蒸馏（无需微调），实现了约 40% 的参数量和 FLOPs 减少，同时保持了几乎无损的性能。
4. 显著的性能优势： 在**不进行微调（Finetuning）**的情况下，该方法的表现显著优于其他剪枝方法（如随机剪枝、L2 范数剪枝、传统 Taylor 剪枝等）。

4. 实验结果 (Results)

作者在多个 SOTA 大型视觉 Transformer 模型（包括 OpenCLIP-g/G, EVA-CLIP-E/8B, DINOv2-g）上进行了验证：

• 压缩效率： 实现了约 40% 的参数量和计算量（FLOPs）减少，推理速度提升约 1.5 倍。
• 零样本分类性能（Zero-shot Classification）：
  • 蒸馏后（Distilled）： 在 ImageNet 变体（IN-1K, IN-R, IN-V2 等）和 ObjectNet 上，剪枝并蒸馏后的模型性能恢复至原始模型水平，甚至在部分模型（如 OpenCLIP-g, EVA-CLIP-E）上略微超越原始模型。
  • 未微调（Prune only）： 即使不进行知识蒸馏微调，AMP 方法的表现也远超其他剪枝方法（例如在 OpenCLIP-g 上，未微调的 AMP 比次优方法高出 40% 以上的准确率）。
• 检索任务（Retrieval）： 在 Flickr30K 和 COCO 的零样本图文检索任务中，蒸馏后的模型保持了与原始模型相当甚至更优的性能（例如 EVA-CLIP-8B 蒸馏后 MR 提升了 0.4%）。
• kNN 评估： 在纯视觉 Transformer（DINOv2-g）上，剪枝后模型在 kNN 评估中恢复了原始性能，仅使用了 54.4% 的参数。
• 消融实验：
  • 证明了信息熵准则优于交叉熵准则。
  • 证明了二分搜索策略优于均匀剪枝策略。
  • 分析了熵阈值 $\Delta E$ 对压缩率和性能平衡的影响。

5. 意义与展望 (Significance)

• 降低部署门槛： 该方法为大型视觉 Transformer 的高效部署提供了低成本方案，显著降低了计算和存储需求。
• 通用性强： 提出的无标签评估准则和自适应策略具有广泛的适用性，不仅适用于 CLIP 类模型，也适用于 DINOv2 等自监督模型，甚至未来可扩展至大语言模型（LLM）。
• 技术突破： 解决了在缺乏完整模型信息（如未公开权重或损失函数）情况下进行高效剪枝的难题，为模型压缩领域提供了新的思路。

总结： 该论文通过引入信息熵准则和自适应二分搜索策略，成功实现了对大型视觉 Transformer 中 MLP 模块的高效、近无损剪枝，在大幅降低资源消耗的同时，保持了甚至提升了模型的泛化能力。