💻 computer science

LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

本文介绍了 LEAP，一种可学习的端到端自适应剪枝方法，该方法利用基于每个权重的伯努利分布并通过 Gumbel-Sigmoid 松弛来实现大语言模型中可处理的非结构化稀疏性学习，在高稀疏度下在零样本准确率方面显著优于现有的逐层基线方法。

原作者： Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座庞大且极其聪明的图书馆（即大型语言模型），它几乎知晓一切。但这座图书馆过于巨大，占据整个仓库，需要一座巨型发电厂来驱动，而且运行速度太慢，以至于任何人都无法在普通计算机上常规使用。

为了解决这个问题，你想要扔掉 50% 到 60% 的书籍（即模型中的“权重”或连接），使其变得更小、更快。目标是在书籍减少一半的情况下，依然让图书馆保持同样的聪明程度。

这正是论文LEAP登场之处。以下是他们如何解决问题的故事，以简单的方式阐述：

问题：“选择过多”的陷阱

长期以来，科学家们尝试通过两种主要策略来剔除书籍：

“逐层”方法（旧方式）： 想象一位图书管理员一次只看一个书架，并决定：“这本书看起来没用，扔掉它。”他们为每个书架这样做，却不与其他书架交流。
- 缺陷： 有时一本书在单独的书架上看起来无用，但实际上对于贯穿整个图书馆的故事至关重要。通过孤立地看待书架，这种方法会意外地丢弃重要的连接，使图书馆变得不那么聪明。
“模式”方法（较新但已失效的方式）： 最近，一些研究人员尝试一次性审视整座图书馆。他们说：“让我们精确地学习应该保留哪些书。”但他们试图通过将书籍分组为小集合（例如一次 4 本书）并询问：“我们应该保留这 4 本书中的哪种模式？”来实现这一点。
- 缺陷： 这对小群体效果很好。但如果你尝试对一整行 4,000 本书这样做（现代 AI 模型正是如此），可能的“模式”数量会变得如此巨大，以至于无法写下来。这就像试图列出十亿张彩票的所有可能号码组合。计算机会卡死；数学会崩溃。

解决方案：LEAP（“个人投票”系统）

这篇论文的作者LEAP意识到，他们需要一种新的投票方式来决定保留哪些书，而不会被数学难题压垮。

他们不再问：“我们应该保留哪种群体模式？”（这对庞大的群体来说是不可能的），而是为每一本书提出了一个更简单的问题：“这本特定的书应该保留还是丢弃？”

类比： 想象一场大规模选举，每位选民（模型中的每个权重）都获得一张小选票。他们不是投票支持复杂的“团队策略”，而是简单地投“是”（保留）或“否”（丢弃）。
魔法技巧： 为了使这种方法可行，他们使用了一种数学技巧（称为"Gumbel-sigmoid"），让计算机最初能够平滑地“猜测”投票结果，然后逐渐使这些猜测变得更生硬、更尖锐，直到每张投票都变成清晰的“是”或“否”。

他们是如何做到的（配方）

他们并非从零开始。他们使用了一个聪明的起点：

预热启动： 他们首先使用一种快速、简单的方法（称为 Wanda）来大致了解哪些书籍可能无用。他们以此作为“先手优势”，这样计算机就不必盲目猜测。
训练： 他们让计算机通过阅读少量文本（校准流）来“学习”最佳的投票组合，并调整“是/否”投票，以保持图书馆的智力水平。
冻结书籍： 关键的是，他们没有改变书中的文字（即模型权重）。他们只改变了决定保留哪些书。这保持了图书馆原有的“个性”和知识完整，只是包装得更小。

结果：更聪明、更快、更精简

他们在五个不同的著名 AI 模型（从小型到超大型）上测试了这种方法，并将其削减了 50% 和 60%。

成绩单： 他们将 LEAP 与现有的最佳方法进行了比较。
胜利： LEAP 始终表现更优。平均而言，它比之前的最佳方法将模型的准确率提高了2.59 分。在某些情况下，提升幅度高达5.40 分。
速度： 由于他们以完美契合专为该任务设计的新型快速计算机芯片（GPU）的方式削减了模型，生成的模型运行速度更快，且不会损失其智能。

为什么这很重要

在此之前，如果你想让一个巨大的 AI 模型变得更小、更快，你必须在以下选项中选择：

选项 A： 保持准确，但体积庞大且运行缓慢。
选项 B： 使其小巧快速，但变得愚蠢。

LEAP表明你可以鱼与熊掌兼得。它提供了一种实用的方法，将这些巨大的 AI 大脑缩小一半，同时保持其同样聪明，从而使它们能够在普通计算机上运行，而无需超级计算机。

简而言之： LEAP 是一种新的、更聪明的编辑巨型 AI 模型的方法，它让每个连接投票决定自己是否应该保留，从而产生一个更小、更快且依然非常智能的 AI。

技术摘要：LEAP：大语言模型的可学习端到端自适应剪枝

问题陈述
大语言模型（LLM）的部署日益受到内存和计算约束的瓶颈限制。虽然权重稀疏性提供了解决方案，但该领域被划分为结构化、半结构化（例如 2:4）和非结构化三种模式。GPU 内核（如 FlashLLM、SpInfer）和数据流硬件的最新进展，已将瓶颈从执行非结构化稀疏性转移到了以最小精度损失诱导非结构化稀疏性。

当前非结构化剪枝的最先进方法，如 Wanda、SparseGPT、Thanos 和 ADMM，依赖于源自最优脑外科医生（OBS）原理的逐层代理。这些方法最小化的是局部重建误差，而非端到端的模型损失。因此，它们会累积在深度网络中复合的局部误差，导致显著的精度下降，特别是在激进稀疏度（50–60%）下。

相反，像 MaskLLM 和 PATCH 这样的端到端可学习掩码方法，能够直接针对语言建模损失优化掩码，但仅限于半结构化模式。它们的参数化依赖于组内有效模式上的分类分布。虽然对于小组（例如 2:4 稀疏度下 $\binom{4}{2}=6$ 种模式）是可行的，但这种方法对于非结构化稀疏性而言在组合上是不可处理的。对于宽度 $d=4096$ 且稀疏度为 50% 的一行，有效掩码的数量为 $\binom{4096}{2048} \approx 10^{1229}$ ，使得模式 logits 的存储和索引变得不可能。

方法论：LEAP
作者引入了LEAP（可学习端到端自适应剪枝），这是一个旨在通过将不可处理的“基于模式的分类”参数化替换为“基于权重”的方法，从而使端到端非结构化掩码学习变得可行的框架。

基于权重的伯努利松弛：LEAP 不是为每个有效模式分配一个 logits，而是为每个单独的权重分配一个可学习的 logits。对于权重矩阵 $W \in \mathbb{R}^{m \times n}$ ，引入一个平行的 logits 矩阵 $P \in \mathbb{R}^{m \times n}$ 。随机掩码 $M$ 通过 Gumbel-sigmoid 松弛生成：
$M = \sigma\left(\frac{\alpha P + g}{\tau}\right)$
其中 $g$ 是 Gumbel 噪声， $\sigma$ 是 sigmoid 函数， $\alpha$ 是缩放因子， $\tau$ 是温度参数。该公式的规模与权重数量（$O(mn)$）呈线性关系，而非与有效模式数量呈线性关系。
优化策略：
- 冻结权重：预训练权重 $W$ 保持冻结。仅训练掩码 logits $P$ 。这保留了预训练模型的校准特性并简化了部署。
- 初始化： $P$ 使用一次性 Wanda 掩码进行初始化（将选定的条目设置为 $+s$ ，其他设置为 $-s$ ），以提供合理的起点，避免冷启动问题。
- 调度：缩放调度（ $\alpha$ ）逐渐增加以推动 sigmoid 向二值化值靠近，而温度调度（ $\tau$ ）逐渐衰减以锐化掩码。
- 损失函数：目标函数结合了校准流上的语言建模损失与两个正则化项：
  1. 全局稀疏度正则化器：在全局范围内强制所有层的目标密度，允许各层根据端到端的重要性调整其密度。
  2. 幅度感知项：使优化偏向于保留较高幅度的权重，以防止因丢弃关键权重而导致的退化极小值。
训练效率：该方法在小型通用文本校准流（SlimPajama）上训练约 2,000 次迭代。

主要贡献

组合障碍的识别：本文正式指出，基于模式的分类参数化（MaskLLM/PATCH 所用）由于有效模式的指数级增长，无法扩展到非结构化稀疏性。
可行的重构：作者提出了一种基于权重的、通过 Gumbel-sigmoid 实现的伯努利重构，使得在 LLM 规模下对非结构化掩码进行端到端可微学习成为可能。
LEAP 框架：一个轻量级剪枝框架，在冻结权重上运行，仅需小型校准数据集和约 2,000 个训练步骤。
实证验证：在五个 LLM 系列（Qwen-2.5、Gemma-3、LLaMA-3.2、LLaMA-3.1）上进行了广泛评估，参数量从 0.5B 到 8B，稀疏度为 50% 和 60%。

结果
LEAP 在五个 LLM 系列上进行了评估，对比了逐层基线（Wanda、SparseGPT、Thanos、ADMM）和半结构化可学习基线 MaskLLM。

精度提升：在十个（模型，稀疏度）设置中，LEAP 将六项任务的平均零样本准确率比最佳逐层基线 ADMM 提高了**+2.59 分**。
具体改进：最大增益出现在 LLaMA-3.2 1B 模型在 60% 稀疏度下，提升了**+5.40 分**（50.39 对比 44.99）。
困惑度：LEAP 始终比基线实现更低的困惑度（PPL）。例如，在 LLaMA-3.1 8B 模型 50% 稀疏度下，LEAP 实现了 7.66 的 PPL，而 ADMM 为 9.12。
稀疏度分配：实验表明，在全局预算下的端到端优化中，LEAP 收敛到近乎均匀的每块密度分配，这与半结构化方法中观察到的非均匀变化形成对比。
计算成本：虽然比一次性方法更昂贵（在 H100 上需要数小时而非数分钟），但 LEAP 比 MaskLLM 便宜得多（例如，LLaMA-3.1 8B 需要 276 GPU 小时，而 MaskLLM 在可比规模上需要数千个 A100 小时）。

意义与主张
本文声称，LEAP 解决了阻碍非结构化稀疏性中端到端掩码学习的根本障碍。通过将掩码学习与权重更新解耦，它为压缩基础模型提供了一条实用路径，而无需牺牲预训练权重的校准特性。

作者强调，LEAP 生成的掩码适用于 50%–60% 的非结构化模式，可直接与现有的加速内核（如 FlashLLM、SpInfer、MACKO）兼容。其意义不在于创建新的推理内核，而在于使这些内核能够部署在通过逐层方法以前无法获得的高质量剪枝模型上。这项工作表明，当通过端到端学习诱导时，非结构化稀疏性可以为商用硬件部署提供压缩与精度之间的有利权衡。

局限性与范围

冻结权重：当前范围保持权重冻结。虽然联合权重和掩码优化被视为自然扩展，但本工作未实现该功能。
均匀分配：观察到的每块密度均匀分配被呈现为针对所研究模型和稀疏度水平的特定模式发现，而非反对非均匀分配的通用规则。
安全性：作者警告，压缩模型在长尾输入上可能表现出不同的故障模式，并建议对安全关键部署进行重新评估。