💬 NLP

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

本文提出了 Super 和 Supra，这两种稀疏参数高效微调方法利用激活感知剪枝信号来选择固定的可训练参数，并证明了将这些稀疏支撑与像 LoRA 这样的低秩适配器相结合，在微调大语言模型方面比现有配置取得了更优的准确率。

原作者： Ivan Ilin, Philip Zmushko, Peter Richtárik

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Ivan Ilin, Philip Zmushko, Peter Richtárik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级聪明的机器人大脑（大型语言模型），它几乎无所不知。但它太庞大、太沉重了，你无法随身携带它去教它一个新技巧，比如解决数学问题。通常情况下，要教它新东西，你必须调整它数十亿个微小的齿轮。这既耗时又费电，还需要一台像小房子一样大的计算机。

迎来 Super-Tuning（超级微调），这是一种教导这些巨大大脑的新方法，它就像是在使用“聚光灯”而不是“大锤”。

问题所在：为什么不直接修复一切？

把这个机器人大脑想象成一个拥有数十亿本书的巨大图书馆。如果你想教它一个新的数学技巧，旧的方法（全量微调/Full Fine-Tuning）就像是重写图书馆里的每一本书。这既累人又昂贵。

为了节省时间，科学家发明了 PEFT（参数高效微调）。这就像是说：“我们只需在几页纸上贴上几张便利贴，而不是重写整个图书馆。” 最著名的便利贴方法叫做 LoRA，它在书本上添加了一层小巧、灵活的笔记。它效果很好，但论文的作者们在想：如果我们对哪些页面贴便利贴更加挑剔一点，能不能做得更好？

核心创意：“聚光灯”策略

作者 Ivan、Philip 和 Peter 提出了一个聪明的疑问：“如果我们使用那些告诉我们大脑哪些部分是‘无用’（剪枝/pruning）的线索，来确定哪些部分最‘有用’进行调整，会怎样呢？”

他们提出了两种新方法：Super 和 Supra。

1. Super： “寂静角落”策略

想象你走进图书馆，观察每本书上面落了多少灰尘，以及人们触摸它的频率。

旧的方法（剪枝）： 通常，人们会扔掉那些落满灰尘、很少被触碰的书，因为他们认为这些书并不重要。
Super 的方法： 作者们意识到，也许那些落满灰尘、很少被触碰的书其实是写新数学笔记的完美场所！为什么？因为改变一本没人读的书不会破坏图书馆的主线故事，但它可能是添加新数学技巧的绝佳之地。

他们使用了一种特殊的“测尘仪”（称为 Wanda 分数），它观察两件事：

书有多“重”（其权重/weight）。
书被风吹动的程度（通过快速测试运行得到的激活值/activation）。

Super 并没有选择最活跃的书籍，而是选择了最安静的书籍（即 “BottomK” 或得分最低的部分）作为唯一允许学习的对象。这就像是说：“我们只让图书馆里最安静、最落灰的页面来贴上新的便利贴。”

结果： 在他们的数学测试中，这种“寂静角落”策略表现得非常出色。在一个 10 亿参数的模型上，它达到了 55.46% 的平均准确率，虽然略低于标准的 LoRA 方法（后者达到了 61.07%），但比随机挑选页面要好。

2. Supra： “混合动力”升级

作者们接着问道：“如果我们把‘寂静角落’策略与标准的‘便利贴’（LoRA）结合起来会怎样？”

见见 Supra。想象你有一个 560 万个“学习令牌”（针对较小的模型）或 2100 万个（针对较大的模型）的预算。

Supra 拆分了这个预算。它使用一部分令牌来调整“安静、落灰的页面”（Super 部分），剩下的则用于添加灵活的“便利贴”（LoRA 部分）。
他们测试了不同的拆分比例。对于较小的模型，最佳组合是将 80% 的预算用于“安静页面”，20% 用于“便利贴”。这个组合（Supra）达到了 62.23% 的平均准确率，超过了标准 LoRA 方法 1.16 个百分点。

对于较大的 80 亿参数模型，结果略有不同。表现最好的版本实际上是一个仅基于简单权重大小（忽略了测尘仪）的“安静页面”版本，其准确率达到了 79.12%。这表明对于更大的模型，仅仅挑选“最轻”的页面可能就足够了，添加复杂的“测尘仪”并不总是有帮助。

他们排除了什么（“禁区”）

论文非常谨慎地说明了它没有声称的内容：

它不是魔法： 他们明确表示，该方法并不是解决一切问题的“突破”。它只是一种挑选要转动哪些齿轮的新方法。
不是“顶级”之选： 他们尝试挑选了最活跃的页面（TopK），但其表现通常不如挑选最安静的页面（BottomK）。因此，“越响亮的书越适合修改”的观点在他们的实验中被排除了。
不是“动态”变化的： 他们的这种方法在训练开始前就选定了页面，并且不再更改。他们承认，如果有一种方法能在学习过程中改变主意并选择不同的页面，可能会更好，但他们没有测试这一点。
并非保证： 结果是基于单个“种子”（一个特定的随机起点）。作者们认为结果是很有前景的，但也承认他们并没有证明它在每种可能的情况下都能 100% 有效。

他们有多确定？

作者们的态度是审慎且克制的。他们说他们的结果“表明”简单的、受剪枝启发的想法可以奏效。他们并未声称已经“解决了”微调问题。

他们通过（测量）证明，在特定的数学测试（如 Math17K）中，他们的混合方法（Supra）在测试的所有设置中实现了最高的平均准确率（针对 1B 模型）。
他们测量出，对于 8B 模型，一个简单的“仅基于量级”（只看权重大小）的方法与他们更复杂的“测尘仪”方法一样出色。
他们模拟了效率并发现，虽然该方法节省了“便利贴”的空间（检查点大小），但由于计算机在后台仍需进行一些繁重的计算，它并不一定会让训练过程在当前的计算机上跑得更快。

总结

把 Super-Tuning 想象成一位聪明的图书管理员，他意识到要教一个巨大的大脑新的数学技巧，你不需要对着整个图书馆大喊大叫。你只需要对着最安静、最落灰的角落低声细语。有时，将这种低语与一些标准的便利贴结合起来（Supra），会给你带来最好的结果。

这是一个简单、廉价的小技巧，它表明我们可能一直以来都看错了大脑的部分。但正如作者警告的那样，这仅仅是个开始，我们需要进行更多测试才能确定它在任何地方都有效。

技术摘要：Super-Tuning：从激活感知剪枝到稀疏微调

问题陈述

由于全参数更新带来的内存、计算和存储需求，大型语言模型（LLMs）的微调计算成本极高。虽然像 LoRA（低秩自适应）这样的参数高效微调（PEFT）方法通过仅更新极小比例的参数缓解了这些成本，但仍需要能够进一步优化适配策略的方法。具体而言，本文研究了最初为剪枝（识别要移除的权重）开发的显著性信号，是否可以被重新利用，以识别模型在微调过程中应该在哪里进行适配。其目标是确定简单的、无需训练的排序度量能否为 PEFT 提供有效的固定稀疏支持，并探讨其与低秩适配器结合使用的潜力。

方法论

本文介绍了两种主要方法：Super 和 Supra。

1. Super：基于激活感知的稀疏微调

Super 是一种稀疏 PEFT 方法，它选择一个小的、固定的权重子集进行更新，而不需要梯度计算或额外的权重选择训练阶段。

评分度量： 它使用了一种 Wanda 式的激活加权幅度得分。对于权重 $W_{ij}$ ，得分计算为 $A_{ij} = |W_{ij}| \cdot \|X_{j:}\|_2$ ，其中 $X_{j:}$ 是对应列的输入激活向量，该向量通过对小型数据集（如 C4）进行单次校准传递得出。
选择策略： 该方法在每一层内平展这些得分，并根据目标参数预算选择一个固定的稀疏支持。本文探索了两种机制：
- TopK： 选择得分最高的权重。
- BottomK： 选择得分最低的权重。
训练： 一旦生成掩码，仅更新选定的权重（初始化为零增量），其余模型部分保持冻结。
基线： 作者还实现了一个 PaFi 式的仅幅度（magnitude-only） 基线（使用 $|W_{ij}|$ 而不进行激活加权），以隔离激活加权与预训练幅度先验的影响。

2. Supra：混合稀疏与低秩适配

Supra 是一种将 Super 的稀疏更新与 LoRA 相结合的混合策略。

架构： 适配后的权重矩阵定义为 $\tilde{W} = W + (M \odot U) + \gamma LR$ ，其中 $M \odot U$ 代表在固定支持 $M$ 上的稀疏更新，$LR$ 代表低秩 LoRA 更新。
预算分配： 该方法在严格的、匹配的训练参数预算下运行。预算的一个比例 $\lambda$ 分配给低秩组件，剩余部分分配给稀疏组件。
秩转换： 一个简单且透明的规则将预算比例 $\lambda$ 转换为每一层的 LoRA 秩 $r_i$ ： $r_i = \lfloor \lambda T_i / (c_i + b_i) \rfloor$ ，其中 $T_i$ 是该层的预算。这避免了自适应或学习型的秩分配。

核心贡献

Super： 一种稀疏微调方法，通过一种训练无关的、激活加权的幅度得分（Wanda 式）仅更新一小部分选定的权重。它证明了此类得分可以定义有用的固定稀疏支持，而无需梯度统计数据。
Supra： 一种混合 PEFT 策略，在显式的、匹配的标量参数预算下，将通过 Wanda 选择的稀疏更新与 LoRA 相结合。
预算匹配评估： 作者引入了一种透明的预算转换规则，通过确保各方法使用相同数量的可训练标量参数，来公平地比较稀疏、低秩和混合方法。
实证验证： 本文使用 Llama-3.2-1B 和 Meta-Llama-3-8B 在算术推理任务上评估了这些方法相对于 LoRA、SIFT、RoSA 以及随机稀疏支持的表现。

实验结果

实验在 Math17K 数据集上进行，在秩等效预算 $r_0 = 8$ 下评估了六个算术基准测试（AddSub, MultiArith, SingleEq, GSM8K, AQuA, SVAMP）。

Llama-3.2-1B (1B 模型)：
- 表现最佳的配置是 Supra (BottomK, $\lambda=0.8$ )，实现了 62.23% 的平均准确率。
- 这比最强的外部基线 LoRA (61.07%) 高出 1.16 个百分点。
- 仅稀疏的 Super (BottomK) 达到了 55.46%，表现低于 LoRA 但优于 TopK 变体。
Meta-Llama-3-8B (8B 模型)：
- 最佳结果由 Supra-Mag (BottomK, $\lambda=0.3$ ) 取得，该方法使用仅幅度选择，实现了 79.12% 的平均准确率。
- 这几乎与仅幅度的稀疏基线 (79.02%) 持平，并优于最强的 Wanda 式 Supra 变体 (78.66%) 以及 SIFT (RandK) 和 LoRA 等外部基线。
- 值得注意的是，在 8B 模型上，仅幅度的方法（PaFi 式）表现得非常有效，这表明低分值的预训练权重支持即使没有激活加权，在此特定设置下也是鲁棒的。
效率： 实现层面的测量表明，虽然稀疏方法减少了检查点大小和优化器状态存储，但由于当前实现中矩阵乘法和选定条目梯度计算的密集特性，它们并不一定会带来实际运行时间的加速。然而，它们提供了显著的存储节省。

意义与主张

本文声称，简单的、受剪枝启发的排序可以提供有用的固定稀疏支持用于 PEFT，特别是在与低秩适配器结合使用时。

重用剪枝信号： 本研究证明了旨在移除权重的显著性度量（如 Wanda）可以有效地识别哪些权重是安全且适合用于适配的训练权重，尤其是选择**低分值（BottomK）**权重时。
互补性： 结果表明，稀疏适配与低秩适配是互补的。将通过廉价校准过程选择的固定稀疏支持与 LoRA 结合，可以在相同的参数预算下产生匹配或超过标准 PEFT 基线的性能。
无需训练的选择： 本文强调的一个关键优势是，这些方法不需要梯度计算或多个训练阶段来确定适配掩码，而是依赖于单次校准传递或预训练权重幅度。

作者保持了谦逊的语气，指出结果是基于单种子实验和特定的算术推理任务。他们承认，“BottomK”的偏好是他们在该设置下的经验性发现，而非普遍规律，并且目前的实现效率提升主要体现在存储而非运行速度方面。