HEAPr: Hessian-based Efficient Atomic Expert Pruning in Output Space

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 HEAPr 的新方法，专门用来给大型人工智能模型（特别是“混合专家模型”，简称 MoE）“瘦身”。

为了让你更容易理解，我们可以把整个大模型想象成一家超级庞大的咨询公司。

1. 背景：为什么需要“瘦身”？

想象一下，这家咨询公司（大模型）拥有 6710 亿 名员工（参数）。

现状：虽然每次处理一个客户的问题时，公司只激活其中 370 亿 名员工（稀疏激活），但为了随时能调用任何人，公司必须把所有员工的档案都放在办公室的服务器里。
问题：这导致办公室（显存/内存）被塞得满满当当，租金（部署成本）高得吓人，普通公司根本租不起。
旧方法：以前的“裁员”方法比较粗暴。要么直接开除整个部门（专家级剪枝），要么把几个部门合并。
- 缺点：开除整个部门太狠了，可能把部门里最厉害的那个天才也一起开除了，导致公司业绩（模型精度）大跌；合并部门又容易把性格不合的人硬凑在一起，产生内讧。

2. 核心创新：什么是“原子专家”？

HEAPr 提出了一种更精细的“裁员”思路。

旧观念：一个部门（Expert）是一个整体，要么全留，要么全走。
新观念（原子专家）：HEAPr 把每个部门拆解成最小的、不可再分的**“原子员工”**（Atomic Experts）。
- 比喻：想象一个部门由 100 个“技能包”组成。以前我们只能决定“留下整个部门”或“开除整个部门”。现在，我们可以只开除部门里那 20 个“只会做 PPT 但不会写代码”的原子技能包，而保留那 80 个“核心代码能力”的原子技能包。
- 好处：这样既减少了员工总数（节省内存），又保留了部门的核心战斗力（保持精度）。

3. 核心难点：怎么知道该开除谁？

如果随便开除，可能会误杀人才。我们需要一种科学的方法来判断哪个“原子员工”对公司最重要。

传统方法（一阶导数）：就像看谁平时干活最慢（权重小），就开除谁。但这不够准，因为有些人虽然平时看着不起眼，但在关键时刻（特定输入下）能起决定性作用。
HEAPr 的方法（二阶信息/海森矩阵）：
- 原理：它借鉴了经典的“最优脑外科医生”（Optimal Brain Surgeon）理论。这就像给模型做一次精密的“体检”。它不仅看员工平时干得怎么样，还模拟一下：“如果我把这个人开除了，公司的总业绩（损失函数）会下降多少？”
- 挑战：这种“体检”计算量巨大，相当于要计算所有员工之间错综复杂的关系网，普通电脑根本算不过来（空间复杂度太高，是 $O(d^4)$ 级别）。

4. HEAPr 的“魔法”：如何变快？

HEAPr 做了一件非常聪明的事情，把复杂的计算变简单了：

发现“互不干扰”：它发现，同一个部门里的不同“原子员工”之间，其实互不干扰（数学上的交叉导数为 0）。这意味着我们不需要计算他们之间的复杂关系，只需要单独看每个人。
转换视角（从“参数”到“输出”）：
- 以前：我们要计算每个员工“脑子里”的复杂参数变化。
- 现在：HEAPr 直接看员工“交出来的工作成果”（输出）。
- 比喻：以前是去检查每个员工的“大脑结构”（参数），现在直接看他们“交出的报告”（输出）。如果一份报告对最终结果影响很小，那写这份报告的“原子员工”就可以被裁掉。
结果：通过这种转换，计算量从“天文数字”降到了“ manageable"（ $O(d^2)$ ）。现在只需要给模型看一小部分练习题（校准集），跑两次“正向思考”和一次“反向反思”，就能给所有“原子员工”排好重要性榜单。

5. 实验效果：真的好用吗？

作者在多个顶尖模型（如 DeepSeek、Qwen 系列）上进行了测试，效果惊人：

几乎无损：在剪掉 20%~25% 的“原子员工”后，模型的智商（准确率）几乎和原来一模一样，就像给一个胖子抽了脂，但肌肉力量没变。
大幅加速：因为员工少了，计算量（FLOPs）直接减少了近 20%。
对比优势：相比以前那些直接开除整个部门或简单合并的方法，HEAPr 更精准，既省了钱（内存），又没丢面子（精度）。

总结

HEAPr 就像一位高明的“精算师”兼“外科医生”：
它不再粗暴地砍掉整个部门，而是利用精密的数学工具（二阶信息），把大模型拆解成最小的“原子技能包”。它精准地识别出哪些“技能包”是多余的，然后只切除这些多余部分。

最终结果：模型变得更轻、更快，但依然聪明绝顶，让那些原本因为太贵而用不起大模型的公司，现在也能轻松部署了。

Each language version is independently generated for its own context, not a direct translation.

1. 研究背景与问题 (Problem)

MoE 模型的困境：混合专家（Mixture-of-Experts, MoE）架构通过稀疏激活机制，在保持高性能的同时降低了推理计算成本。然而，MoE 模型的所有参数（即使未激活）都必须存储在 GPU 显存中。例如，DeepSeek-V3 虽然每次推理仅激活 37B 参数，但需存储 671B 参数，导致部署成本极高。MoE 层通常占据模型总参数的 97% 以上，是存储瓶颈的主要来源。
现有剪枝方法的局限性：
- 粗粒度（专家级）剪枝：直接删除整个专家（Expert Dropping）或合并专家（Expert Merging）。这种方法虽然能直接加速，但往往导致显著的精度下降，因为删除整个专家会丢失互补的专家知识，且合并策略（如基于聚类的相似度）不稳定，易引发参数冲突。
- 细粒度（权重级）剪枝：虽然能保留精度，但在硬件上难以实现有效的加速（受限于内存带宽和稀疏性支持）。
- 现有分解方法：将专家分解为共享和专用组件的方法计算开销大，且仍伴随精度损失。
核心挑战：如何在保证精度的前提下，找到比“专家级”更灵活的剪枝单元，并高效地量化这些单元的重要性，同时避免二阶信息（Hessian 矩阵）带来的巨大计算和存储开销。

2. 方法论 (Methodology)

论文提出了 HEAPr (Hessian-based Efficient Atomic Expert Pruning in Output Space)，其核心思想是将专家分解为更小的“原子专家”（Atomic Experts），并利用二阶信息在输出空间进行重要性评估。

2.1 原子专家 (Atomic Expert) 的定义

分解机制：将 MoE 层中的每个专家 $E_i$ 分解为 $d_{inter}$ 个不可再分的“原子专家” $e^{(j)}_i$ 。
结构：每个原子专家对应 $W_{up}$ 和 $W_{gate}$ 的第 $j$ 行，以及 $W_{down}$ 的第 $j$ 列。
输出：完整专家的输出是多个原子专家输出的线性组合。剪枝原子专家可以直接移除对应的列/行，从而减少计算量（FLOPs）和参数量，且互不干扰。

2.2 基于二阶信息的重要性评估 (OBS 理论改进)

理论基础：借鉴 Optimal Brain Surgeon (OBS) 理论，通过损失函数的二阶泰勒展开来评估移除参数对损失的影响。
挑战：直接计算专家参数的 Hessian 矩阵复杂度为 $O((3d_{model} \cdot d_{inter})^2)$ ，计算和存储不可行。
关键优化 1：参数解耦
- 发现不同原子专家之间的参数是解耦的，即交叉 Hessian 项为零。
- 这使得 Hessian 矩阵可以分解为对角块，空间复杂度从 $O(d^4)$ 降低到 $O(d^2 \cdot d_{inter})$ 。
关键优化 2：从参数空间转移到输出空间
- 将剪枝约束从“参数空间”（强制参数更新后输出为 0）转移到“输出空间”（强制原子专家输出为 0）。
- 利用 Fisher 信息矩阵（在收敛模型中等同于期望 Hessian）来近似二阶信息。
- 利用原子专家输出的梯度共享特性（同一专家内的所有原子专家共享相同的输出梯度），只需计算一次梯度协方差矩阵。
- 最终复杂度：将空间复杂度进一步降低至 $O(d_{model}^2)$ ，使得在大规模模型上计算变得可行。

2.3 算法流程 (HEAPr Algorithm)

共享梯度协方差估计：在少量校准集（Calibration Set）上进行一次前向传播和一次反向传播。计算每个专家输出的梯度 $g_E$ ，并构建共享的梯度协方差矩阵 $\bar{G}$ 。
重要性计算：在一次前向传播中，计算每个原子专家的输出 $e_k(x)$ 。利用共享的 $\bar{G}$ 和原子专家的输出，计算其重要性得分 $s_k = \frac{1}{2} e_k^T \bar{G} e_k$ 。
全局剪枝：根据计算出的重要性得分，对所有 MoE 层中的原子专家进行全局排序，剪除贡献最小的 $r\%$ 的原子专家。

3. 主要贡献 (Key Contributions)

提出原子专家剪枝范式：首次将 MoE 专家分解为原子专家，实现了比专家级更细粒度、更灵活的剪枝，避免了粗粒度剪枝带来的精度损失。
高效的二阶信息近似方案：
- 提出了一种从专家参数空间到原子参数空间，再到原子输出空间的转换策略。
- 利用原子专家的解耦特性和梯度共享特性，将二阶信息的空间复杂度从 $O(d^4)$ 降低到 $O(d^2)$ 。
极简的计算开销：仅需在少量校准集上进行 2 次前向传播和 1 次反向传播 即可计算所有原子专家的重要性，无需微调（Fine-tuning）或复杂的分解操作。
全局一致性剪枝：证明了基于输出空间的二阶近似指标具有全局一致性，支持跨层级的统一剪枝决策，优于传统的逐层剪枝。

4. 实验结果 (Results)

实验在 DeepSeekMoE-16B-Base、Qwen1.5-MoE-A2.7B-Chat、Qwen2-57B-A14B 和 Qwen3-30B-A3B 等多个主流 MoE 模型上进行。

高精度压缩（Near-lossless）：
- 在 20%~25% 的剪枝率下，HEAPr 在大多数模型上实现了几乎无损的压缩（精度与原始模型持平）。
- 例如，在 DeepSeekMoE-16B-Base 上剪枝 20%，在 Qwen1.5-MoE 上剪枝 25%，平均准确率无明显下降。
- 即使在 40% 的高剪枝率下（Qwen2-57B），HEAPr 仍优于其他 SOTA 方法，且精度损失极小。
效率提升：
- 在保持高精度的同时，FLOPs 减少了近 20%。
- 在极端压缩比（90%）下，模型仍能保留约 38% 的基线精度，同时减少 55% 的 FLOPs。
对比优势：
- 优于现有的专家级剪枝（NAEE, MoE-I2）、专家合并（MC-SMoE, HC-SMoE）和分解方法（Sub-MoE, D2-MoE）。
- 优于并发工作 CAMERA-P（基于启发式能量评估），HEAPr 在 20% 剪枝率下平均精度高出 1.2。
鲁棒性：
- 对校准集的大小和来源（WikiText-2 vs C4）不敏感，表现出良好的泛化性。
- 全局剪枝策略（Global Pruning）优于逐层剪枝（Layer-wise Pruning）。

5. 意义与价值 (Significance)

解决部署瓶颈：HEAPr 为 MoE 模型提供了一种切实可行的压缩方案，显著降低了显存占用和推理成本，使得在资源受限设备（如边缘设备）上部署大参数 MoE 模型成为可能。
理论创新：成功将经典的 OBS 理论应用于现代 MoE 架构，并通过巧妙的数学变换（参数空间到输出空间）解决了二阶信息计算昂贵的难题，为结构化剪枝提供了新的理论视角。
细粒度控制：打破了“专家级”剪枝的粒度限制，证明了通过原子级操作可以在不牺牲性能的前提下实现更激进的压缩，为未来 MoE 架构的优化设计提供了重要参考。

总结：HEAPr 是一种高效、无需微调且精度损失极小的 MoE 剪枝算法。它通过原子化分解和输出空间的二阶近似，在计算效率和压缩性能之间取得了极佳的平衡，是目前 MoE 模型压缩领域的 SOTA 方法。