🤖 machine learning

SparseForge: Efficient Semi-Structured LLM Sparsification via Annealing of Hessian-Guided Soft-Mask

SparseForge 是一个后训练框架，它通过将海森矩阵引导的重要性估计与渐进式软掩码退火相结合，提升了半结构化大语言模型稀疏化的效率，在显著减少重训练令牌数量的同时，实现了优于现有方法的精度。

原作者： Liu Hanzuo, Chaofan Lin, Weixuan Sun, Yulong Wang, Key, Rayying, Mingyu Gao

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Liu Hanzuo, Chaofan Lin, Weixuan Sun, Yulong Wang, Key, Rayying, Mingyu Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座庞大且极其聪明的图书馆（即大型语言模型，或 LLM），它几乎知晓一切。然而，它如此巨大，以至于需要占据整个仓库，并需要一支庞大的图书管理员团队来运营。你想将这座图书馆缩小，使其能放入普通办公室并运行得更快，但你不能随意扔掉书籍；否则，图书馆将失去其意义。

这正是SparseForge所要解决的问题。

问题：“群体决策”困境

现代计算机芯片（如 NVIDIA 的芯片）非常擅长处理一种特定的“缩小”方式，称为2:4 稀疏性。这就像一条规则：四位朋友围坐在一张桌子旁，其中必须有两位离开，两位留下。

旧的方法试图通过逐一查看每本书，判断哪些书“最不重要”，然后强行让各组遵守规则来解决这一问题。

缺陷：这就像让四位朋友决定谁离开，但要求瞬间做出决定。如果你因思考不够充分而选错了两位离开的人，整个对话就会崩溃。为了修复这种崩溃的对话，旧方法不得不使用海量数据将图书馆重新训练数千次，这既缓慢又昂贵。

解决方案：“退火”过程

本文作者SparseForge提出了一种更聪明的方法。他们不像旧方法那样做出生硬、瞬间的决定，而是将决策过程视为金属加工。

加热（软掩码）：想象图书馆的书籍是由柔软、可塑的黏土制成的。系统不会立即决定“留下”或“离开”，而是为每本书分配一个介于 0 到 1 之间的“软”分数。这就像书籍变得略微可挤压。系统轻柔地推动黏土，让书籍探索不同的位置。此时，它尚未强制做出最终决定。
海森矩阵引导（专家雕塑家）：为了了解哪些书籍真正重要，系统使用一种特殊的“曲率传感器”（称为海森感知）。它不仅仅查看书籍有多“重”（幅度），而是查看如果移除特定书籍，图书馆的理解会受到多大“伤害”。这有助于系统精确找出每组四位朋友中哪两位是最关键、必须保留的。
淬火（硬化）：一旦系统探索了所有可能性并找到了完美的排列，它就会缓慢地“冷却”黏土。它将软分数逐渐转化为坚硬的“留下”（1）或“离开”（0）的决定。由于系统事先探索了各种选项，最终的硬性决定要准确得多。

结果：事半功倍

该论文声称，这种方法在效率方面具有革命性：

更少数据，同等智能：为了让其图书馆良好运行，SparseForge 仅需重新阅读50 亿个词（token）。
超越巨头：之前的顶级方法需要重新阅读400 亿个词才能获得类似结果。SparseForge 使用8 倍更少的数据，实现了同等（甚至略优）的智能水平。
更快更小：由于最终图书馆遵循“四留二”规则，它能更好地适应计算机内存（仅占用约 58% 的空间），并在现代硬件上运行速度快1.4 倍。

核心结论

SparseForge就像一位大师级雕塑家，他不会像旧方法那样直接用凿子胡乱砍削雕像。相反，他先加热石材，让其沉淀成完美的形状，然后冷却它以揭示杰作。这使得他们能够将庞大的 AI 模型缩小到可管理的尺寸，而不会损失其智能，从而在此过程中节省大量的时间和计算能力。

技术摘要：SparseForge

问题陈述

半结构化稀疏性（例如 2:4 模式）通过原生硬件支持（如 NVIDIA 稀疏张量核心）为加速大语言模型（LLM）提供了一条切实可行的路径。然而，在这些约束条件下进行训练后稀疏化面临一个关键瓶颈：显著的质量下降。

现有方法通常依赖于计算重要性得分，随后将其硬投影到稀疏结构中。在半结构化约束下，剪枝决策并非独立；权重在受限组内相互竞争。过早的硬性决策往往会移除那些 individually 重要但在不完美评分下并非最优的权重，从而导致精度损失。为了恢复性能，当前最先进（SOTA）的方法（例如 CAST）依赖于大规模稀疏重训练（例如 400 亿个 token），导致计算成本高昂，且精度与成本之间的权衡效率低下。

作者认为，根本瓶颈不在于重训练 token 的规模，而在于稀疏掩码的质量。

方法论：SparseForge

SparseForge 是一个训练后框架，旨在通过直接优化稀疏掩码而非扩大重训练 token 规模来提高恢复效率。它采用掩码退火流程，将掩码视为连续的可优化变量，随后将其转换为可硬件执行的二进制模式。

该框架通过三个核心机制运行：

1. 双轨重训练循环（“加热”阶段）

SparseForge 在一个统一循环中联合优化模型权重和显式的软掩码（ $m \in [0, 1]$ ）。

解耦优化：权重通过标准损失函数在每个步骤更新，而软掩码使用专用的学习规则以较低的频率（ $T_{update}$ 步）更新。这使掩码保持在连续状态，允许模型探索结构化替代方案，而无需在训练早期就做出脆弱的二进制决策。
SLoRB 分支：可选地采用稀疏低秩分支来补偿剪枝过程中损失的能力。

2. 海森感知的重要性估计

为了解决组内竞争（即 2:4 组内的多个权重争夺生存权），SparseForge 超越了基于简单幅值的评分。

二阶信号：它利用海森感知准则来估计损失对权重移除的敏感性。重要性得分推导为 $s = (H + \epsilon) \odot W^2$ ，其中 $H$ 是海森矩阵的近似对角线。
高效估计：由于构建完整海森矩阵代价过高，对角线使用带有 Rademacher 向量的 Hutchinson 风格随机估计器进行估计。
软门合成：这些得分被标准化并通过带有温度参数的 Sigmoid 函数处理，以生成软门，在保持连续性的同时编码每个组内的竞争。

3. 渐进式退火（“淬火”阶段）

为了弥合学习到的软掩码与所需的硬二进制掩码之间的差距，SparseForge 采用渐进式硬化策略：

二值偏好正则化器：在损失函数中添加一项 $L_{mid} = \sum m_{ij}(1-m_{ij})$ ，惩罚模糊的掩码值（0.5），并鼓励值趋向于 0 或 1。
渐进式混合：软门使用混合因子 $\beta$ 逐渐与“硬目标”（基于海森得分的每组中前 $N$ 个条目）进行混合。
温度退火：Sigmoid 温度 $T$ 按几何级数退火，以锐化决策边界。
最终投影：一旦掩码充分分离，通过最终插值步骤将软掩码转换为硬二进制 2:4 模式，随后进行短暂的微调阶段以吸收投影误差。

主要贡献

重新定义瓶颈：该论文指出，在半结构化约束下，稀疏恢复的限制因素更多在于掩码质量而非重训练规模。这一见解将焦点从扩展 token 数量转向优化掩码本身。
SparseForge 框架：一种新颖的训练后框架，显式优化软掩码并将其渐进式退火为可部署的二进制模式。它引入了海森引导的掩码更新规则和渐进式淬火机制。
效率突破：SparseForge 以显著更少的重训练 token 实现了最先进的恢复效果，证明了更好的掩码优化比单纯增加数据量是更高效的杠杆。

实验结果

作者在 2:4 稀疏性下对多种模型（GPT-2、OPT、LLaMA-2、Qwen3、DeepSeek-MoE）评估了 SparseForge。

LLaMA-2-7B 性能：
- SparseForge 仅使用50 亿重训练 token 就实现了**57.27%**的平均零样本准确率。
- 这超过了稠密模型的准确率（56.43%），并接近 SOTA CAST† 的结果（57.52%），而后者需要400 亿 token（训练成本降低了8 倍）。
- 它显著优于 Wanda、SparseGPT 和 MaskLLM 等其他方法。
跨模型一致性：该方法在不同模型家族中表现出一致的性能，即使对于 Qwen3-14B 和 DeepSeek-MoE 等较大模型，与稠密基线相比，准确率下降也较为温和（通常<3%）。
硬件加速：在 NVIDIA H800 GPU 上使用 TensorRT-LLM 进行的端到端推理测试显示，与稠密基线相比，吞吐量提升了1.40 倍–1.44 倍，内存占用减少了42%（7.31 GB 对比 12.55 GB）。
消融研究：移除海森感知重要性、SLoRB 分支或渐进式退火组件均导致显著的准确率下降，证实了每个组件的必要性。

意义与主张

该论文主张，以掩码为中心的优化是硬件对齐的稀疏 LLM 压缩的一个有前景的方向。通过将掩码视为连续变量并利用二阶信息指导其演化，SparseForge 证明了可以在不付出大规模重训练的 prohibitive 成本的情况下实现高质量的半结构化稀疏性。

作者谦逊地指出，该方法的性能对重训练语料的选择敏感（例如，面向推理的预训练与通用 C4 数据之间的不匹配可能会影响结果），并且虽然该框架可推广到其他模式（如 block-16），但其主要焦点和验证仍集中在 2:4 模式上。这项工作表明，在稀疏模型中实现稠密级性能时，优化的“如何”（掩码质量）至少与“多少”（token 规模）同样关键。