🤖 AI

Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution

本文提出了稀疏性演化微调（Sparsity Evolution Fine-Tuning, SEFT），这是一个通过在微调过程中动态演化大语言模型的稀疏拓扑结构，通过重新分配更新和重新激活权重，从而在保持稀疏性的内存与时间效率优势的同时，实现卓越的任务适配性能的新颖框架。

原作者： Qiao Xiao, Alan Ansell, Boqian Wu, Lu Yin, Mykola Pechenizkiy, Shiwei Liu, Decebal Constantin Mocanu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qiao Xiao, Alan Ansell, Boqian Wu, Lu Yin, Mykola Pechenizkiy, Shiwei Liu, Decebal Constantin Mocanu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座巨大且极其聪明的图书馆（一个大型语言模型），它几乎无所不知。然而，为了让这座图书馆能装进一个小背包进行公路旅行，你不得不扔掉了 70% 的书。这就是稀疏性（Sparsity）：通过移除大部分书籍，使图书馆变得更小、更高效。

问题在于，一旦你扔掉了这些书，图书馆就会变得有些“生锈”。如果你尝试问它关于烹饪或数学之类的特定问题，它可能会表现得有些吃力，因为回答该问题所需的特定书籍可能就在你扔掉的那部分之中。

通常，为了解决这个问题，你会尝试在背包里加入一本小的笔记簿（比如 LoRA）。但问题在于，如果你加入了笔记簿，你的背包又会变重，这违背了让它变小的初衷。或者，如果你只是试图重新排列剩余的书籍而不添加新书，你可能找不到正确的答案，因为寻找书籍的“地图”过于僵化。

SEFT（稀疏进化微调）登场了。

作者提出了一种新的方法，可以在不增加背包重量的情况下修复这座图书馆。他们将这种方法称为 SEFT，其工作原理如下，我们用一个简单的类比来解释：

“动态图书管理员”类比

想象一下，你就是这座缩减版图书馆的负责人。你有一条严格的规则：你只能保持 30% 的书架是开放的。 其余的部分必须保持空置，以保持建筑物的轻便和快速。

旧方法（僵化的图书管理员）：

LoRA： 你带来了一个单独的、沉重的笔记档案柜来帮助你回答问题。这确实有效，但现在你的背包又变重了。
标准稀疏微调（Standard Sparse Tuning）： 你只被允许移动那些已经开放的书架上的书。如果书被扔掉了（在关闭的书架上），你就无法触碰它。你被限制在了一套有限的工具中。

SEFT 方法（动态图书管理员）：
SEFT 扮演着一位聪明、灵活的图书管理员角色，遵循两条特殊规则，以保持图书馆的高效与智能：

“交换”规则（Delta 支持更新）：
每隔几分钟，图书管理员会观察哪些书的使用率最低。他们把这些书从开放的书架上取下并放入仓库。然后，他们会查看关闭的书架（即那些原本空着的书架），并询问：“这里的哪些书现在最有用？”他们把这些书取出来，放到开放的书架上。
- 用通俗的话说： SEFT 不仅仅局限于你最初保留的书籍。它不断地将“无用”的书籍与“有用”的书籍进行交换，即使这些有用的书之前被扔掉了。它让图书馆的结构能够进化以适应特定的任务。
“容量”规则（稀疏拓扑自适应）：
由于图书管理员在不断地交换书籍，图书馆可能会意外地变得太挤（开放的书架太多）。为了解决这个问题，图书管理员还有第二项工作：不断检查建筑内每一本书的重要性。如果图书馆变得太拥挤，他们会立即关闭那些重要性最低的书架，以确保永远不会超过 30% 的限制。
- 用通俗的话说： 这确保了即使图书馆的内容在变化，它也永远不会比原始限制更重。它让“背包”保持轻盈。

为什么这很重要？

作者声称，通过这种“交换与检查”的舞蹈，SEFT 实现了三件事：

更聪明的回答： 因为它可以深入到“关闭的”书架中寻找正确的书，所以它比那些受限于原始书籍的方法能更好地回答问题。
更轻的背包： 它不需要携带额外的沉重笔记簿（如 LoRA）。它保持得和原始缩减后的图书馆一样轻便。
更快的旅行： 与其他试图保持图书馆规模较小的方法相比，它使用的计算内存更少，训练速度更快。

结果

作者在几个著名的“图书馆”（LLaMA、DeepSeek 和 Mistral 模型）上测试了该方法，发现 SEFT 始终优于其他方法。无论是处理通用知识、常识推理还是解决数学问题，SEFT 都是微调模型最有效且最高效的方式。

总而言之： SEFT 是一种教导缩减后的轻量级 AI 模型掌握新技能的方法，它通过让模型不断重新排列其内部的“家具”，以寻找存放新信息的最佳位置，同时严格控制“家具”的总重量。它兼得了两者的优点：高性能与高效率。

技术摘要：稀疏性演化微调 (SEFT) 用于稀疏大语言模型 (LLMs)

1. 问题陈述

稀疏大语言模型 (LLMs) 通过后训练剪枝（例如使用 SparseGPT 或 Wanda）减少参数量，为高效部署提供了一条充满前景的路径。然而，将这些剪枝后的模型适配到下游任务仍是一个重大挑战。其核心难点在于如何平衡任务适配能力 (Task Adaptation) 与 稀疏效率 (Sprosity Efficiency)。

现有的适配方法在此背景下面临两个主要局限性：

参数高效微调 (PEFT) 方法（如 LoRA）： 虽然对稠密模型有效，但它们会引入额外的稠密参数（适配器）或在合并后导致模型变为稠密模型。这破坏了原始稀疏结构带来的内存和延迟优势。
静态稀疏微调 (Static Sparse Fine-Tuning)： 维持稀疏性的方法通常将更新限制在固定且预定义的参数集（初始剪枝掩码）内。这假设初始剪枝的拓扑结构对于所有下游任务都是最优的。然而，对校准数据有效的拓扑结构可能已经移除了对特定下游任务至关重要的连接，从而导致性能欠佳，尤其是在高稀疏度（例如 $\ge$ 60%）的情况下。

本文旨在解决的核心问题是：我们能否在不牺牲稀疏性效率优势的前提下，高效地微调稀疏 LLM，并允许其稀疏更新向更好地对齐下游任务的方向进行演化？

2. 方法论：稀疏性演化微调 (SEFT)

SEFT 是一个专门为后剪枝稀疏 LLM 设计的微调框架。与固定更新位置的传统稀疏微调不同，SEFT 允许稀疏结构在训练过程中进行演化。它通过直接更新基础模型权重，同时维持目标稀疏度水平 $\rho$ 来运行。

该框架由两个耦合组件组成：

A. Delta 支持更新 (Delta Support Update / 动态分配)

受动态稀疏训练 (DST) 的启发，该组件定期刷新应用稀疏更新的位置（支持索引）。

机制： 每隔 $k$ 个训练步，SEFT 会识别出更新幅度最小（对当前任务最没用）的 $\tau(t)$ 个支持索引，并将其替换为具有最大梯度幅度（最具潜力进行适配）的 $\tau(t)$ 个非活跃位置。
关键特性： 该机制允许更新“移动”到初始剪枝掩码 $M_0$ 之外。它使得重新激活先前被剪枝的权重成为可能，如果这些权重被证明对任务有益的话，从而比静态方法探索了更大的参数空间。
表示： 稀疏更新 $\delta_t$ 由可学习的支持索引 $\eta_t$ 和更新值 $\phi_t$ 表示。

B. 稀疏拓扑适配 (Sparse Topology Adaptation / 稀疏性保持)

由于 Delta 支持更新可能会暂时激活先前被剪枝的权重，模型的有效密度可能会超过目标稀疏度。该组件会在定期间隔内恢复目标稀疏度水平 $\rho$ 。

机制： SEFT 为每个参数计算重要性得分 $s_i$ ，通常使用基于敏感性的准则： $s_i = |\theta_i \nabla_{\theta_i} \mathcal{L}|$ ，其中 $\mathcal{L}$ 是任务损失。
剪枝： 模型掩码 $M_t$ 通过保留基于这些得分的前 $(1-\rho)$ 比例的参数来进行更新。
结果： 这确保了最终微调的模型严格遵守目标稀疏度水平 $\rho$ ，同时选择了最具任务相关性的权重。

算法流程：

使用稀疏模型 $\theta'_0 = \theta \odot M_0$ 进行初始化。
对稀疏增量 $\delta_t$ 执行标准的梯度更新。
每隔 $k$ $k$ 步：
- 刷新支持 (Refresh Support)： 将低幅度的更新位置替换为高梯度的非活跃位置。
- 适配拓扑 (Adapt Topology)： 重新评估参数重要性，并将模型剪枝回目标稀疏度 $\rho$ 。
输出最终的稀疏模型 $\theta'_T + \delta_T$ 。

3. 主要贡献

论文概述了四个主要贡献：

SEFT 框架： 一种专为稀疏 LLM 定制的创新微调方法，它能动态演化稀疏拓扑（包括更新位置和活跃权重），以实现有效的任务特定适配。
敏感性引导适配 (Sensitivity-Guided Adaptation)： 一种通过使用基于敏感性的剪枝准则来确定哪些权重保持活跃的机制，从而在不降低性能的情况下保持目标稀疏度。
效率提升： 证明了与之前的稀疏性保持微调方法相比，SEFT 具有更优的内存使用和训练效率。
全面验证： 在多种架构（LLaMA, DeepSeek, Mistral）、模型规模（7B–13B）以及任务（常识推理、MMLU, GSM8K）上的广泛实验，验证了该方法的通用性，涵盖了通用领域和监督学习设置。

4. 实验结果

作者在经由 Wanda 和 SparseGPT 剪枝至 60%–80% 稀疏度的稀疏 LLM 上对 SEFT 进行了评估。

通用领域微调： 在 LLaMA 模型（7B, 8B）上，SEFT 的困惑度 (PPL) 始终低于基线模型（如 LoRA*, SPP, 和 SQFT），且 LM-eval 分数更高。例如，在 70% 稀疏度的 LLaMA2-7B 上，SEFT 达到了 47.95 的 LM-eval 分数，优于 SPP (47.27) 和 SQFT (47.09)。
监督式微调： 在常识推理任务（BoolQ, RTE 等）中，SEFT 在 7B、8B 和 13B 模型上均优于所有基线模型。值得注意的是，它在 OBQA 和 ARC-c 任务中表现出强劲的增益。
跨架构性能： SEFT 在 DeepSeek-7B-Chat 和 Mistral-7B-v0.1 上展示了鲁棒性，在 MMLU 和 GSM8K 基准测试中取得了最高分。
高稀疏度场景： 随着稀疏度水平上升（例如 $\rho=0.8$ 时），SEFT 的性能优势愈发明显（在 LM-eval 上比最强的基线高出 1.36 点）。
效率：
- 内存： SEFT 比 SQFT 需要更少的 GPU 显存（在某些情况下减少了高达 50%），因为它避免了 LoRA 式适配器引入的辅助激活张量。
- 训练速度： 与其他保持稀疏性的方法相比，SEFT 每步所需的训练时间更短。
- 推理： 使用 DeepSparse 引擎部署时，经 SEFT 微调的稀疏 LLM 在 70% 稀疏度下比对应的稠密模型实现了高达 2.5 倍的加速。

消融研究：

移除探索剪枝权重的能力 (SEFT w/o OOM)： 导致性能下降，证实了重新激活先前被剪枝的权重至关重要。
移除动态支持刷新 (SEFT w/o DSU)： 导致显著退化，凸显了演化更新位置的必要性。
移除稀疏拓扑适配 (Sparse Topology Adaptation)： 导致模型变得比目标稍密，证实了维持效率需要拓扑恢复步骤。

5. 意义与主张

论文声称 SEFT 解决了稀疏 LLM 适配中的一个根本性差距。通过允许稀疏结构进行演化而非保持静态，SEFT 使模型的容量与下游任务的具体需求相匹配。

作者将 SEFT 定位为一个实用且有效的框架，它解决了适配质量与效率之间的权衡。不同于以往要么牺牲稀疏性（LoRA）要么冻结拓扑（静态 SFT）的方法，SEFT 在提供卓越任务性能的同时，保持了稀疏性的效率优势（低内存、高推理速度）。结果表明，对于高稀疏度场景，动态演化稀疏拓扑不仅是有益的，而且是实现最优适配所必需的。该方法被认为是模型无关且任务无关的，适用于广泛的现代 LLM 架构。