🤖 machine learning

CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

本文介绍了 CRePE，这是一种通过引入 2D 局部上下文和自适应系数来增强相对重要性评分的训练后剪枝方法，并提出了 PHO 以在数分钟而非数小时内高效优化这些超参数，从而在多种模型和稀疏设置下均实现了最先进的性能。

原作者： Cheonjun Park

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Cheonjun Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一座巨大且极其聪明的图书馆（大语言模型），它几乎无所不知。问题在于，这座图书馆实在太庞大了，占据了整个仓库，甚至需要一个庞大的图书管理员团队才能找到一本书。你想把这座图书馆缩小到可以装进背包的大小，同时又不损失它讲好故事或回答问题的能力。

这篇论文介绍了一种名为 CRePE 的新方法来帮助缩小这些“图书馆”，并提供了一种超级快速的方法来寻找最佳的缩小方案。

以下是使用简单类比进行的拆解：

1. 问题所在：“一维”错误

以往的方法试图通过一种非常简单的方式来决定丢弃哪些书（权重）。想象一位图书管理员正在观察书架：

旧方法 (RIA)： 管理员只看行（书所在的架子）和列（书上方和下方的垂直堆叠）。如果一本书在这些直线方向上有许多邻居，他们就会认为这本书很重要。
缺陷： 这就像仅凭左/右和上/下邻居就来判断一本书的重要性。但实际上，书也会受到其对角线相邻书籍的影响。此外，旧方法将“行”和“列”视为同等重要，但作者发现，观察“行”实际上比观察“列”更有帮助。

2. 解决方案：CRePE（“二维邻域”图书管理员）

作者创建了 CRePE，一位更聪明的图书管理员，它采用了 2D 邻域 方法。

环顾四周： CRePE 不仅仅是看上下左右，它还会观察特定书籍周围的一整个小方块区域（例如 3x3 或 5x5 的网格）。它明白，一本书的价值受其整个局部邻域的影响，而不仅仅是一个十字形区域。
自适应权重： CRePE 还意识到某些方向更为关键。它使用“可调节的旋钮”（系数）来决定在多大程度上信任行、列以及对角线邻居。它不会把它们都同等对待，而是通过学习来确定哪些方向对于保持图书馆知识完整性最为关键。

结果： 通过使用这种更聪明的 2D 视角，即使在丢弃了一半书籍后，CRePE 也能比旧方法更好地保留图书馆的智能。

3. 速度问题：“试吃”瓶颈

这里有一个限制。为了找到这些“可调节旋钮”的最佳设置，旧方法需要管理员实际缩小图书馆，测试其效果（通过阅读一本测试书），然后再次尝试。

旧方法： 这个“试吃”过程对于一个大型图书馆来说需要大约 11 小时。这违背了追求快速高效的初衷！

4. 修复方案：PHO（“水晶球”捷径）

为了解决速度问题，作者发明了 PHO（基于代理的超参数优化）。

洞察： 他们发现了一个被称为 基尼系数 (Gini Coefficient) 的“水晶球”指标。与其测试整个图书馆，他们只观察第一个层级（模型的第一个层）的第一部分内容。
神奇之处： 他们发现这个微小部分的“不均匀性”（基尼系数）与整个图书馆的表现几乎完全相关（95% 的匹配度）。
结果： PHO 不进行 11 小时的完整测试，而是对这个微小的部分进行快速模拟。它能在约 20 分钟 内找到最佳设置。这实现了 30 倍的加速。

5. 它在任何地方都有效吗？

作者在许多不同的“图书馆”（如 LLaMA、Qwen、Phi 和 DeepSeek 等模型）以及不同的缩小方式（随机切割 vs. 有结构的 2:4 模式）上测试了 CRePE。

一致的赢家： CRePE 始终优于之前的最佳方法。
兼容并蓄： 它像一个通用适配器。你可以将 CRePE 与其他技巧（如打乱书籍顺序或稍后重新切割图书馆）结合使用，使其效果更好。
一次搜索，多种模型： 如果你找到了一个小图书馆（LLaMA-7B）的最佳设置，这些相同的设置也可以完美适用于更大的图书馆（LLaMA-13B），而无需重新搜索。

总结

CRePE 是一种更聪明的决定如何裁剪 AI 部分的方法，它通过观察数据的 2D 邻域而非仅仅是十字形区域来进行判断。
PHO 是一个快速搜索工具，它利用一个微小的“代理”测试，在 20 分钟内找到最佳设置，而不是 11 小时。
两者结合，使缩小 AI 模型变得更快、更智能，在保持 AI “大脑”完整的同时，使其体积大幅缩小。

技术摘要：用于训练后剪枝的 CRePE 与 PHO

问题陈述
部署大语言模型（LLMs）会带来显著的内存和计算成本。训练后剪枝（Post-training pruning, PTP）提供了一种无需重新训练的解决方案，即在不进行训练的情况下移除权重。虽然最近的方法如 RIA（相对重要性）通过对行和列之和进行归一化权重实现了最先进的准确率，但它们存在两个根本性的局限性：

1D 局限性： RIA 仅依赖于 1D 交叉形状（行/列）的方向信息，忽略了权重矩阵固有的 2D 结构，即对角线相邻元素也会对重要性产生贡献。
均匀权重分配： RIA 对行和列的贡献进行等同对待。初步实验表明，这些方向对剪枝质量的贡献是不对称的（例如，在 LLaMA-2-7B 上，行向 RI 的困惑度（perplexity）低于列向 RI），因此均匀处理并非最优。

此外，优化改进评分方法的超参数通常需要大量的搜索时间。使用朴素的基于 PPL（困惑度）的爬山算法来寻找最优系数大约需要 11 小时，这削弱了 PTP 的效率优势。

方法论
本文提出了 CRePE（具有高效搜索能力的卷积感知训练后剪枝相对重要性）和 PHO（基于代理的超参数优化）。

1. CRePE：增强型重要性评分
CRePE 通过以下两种方式扩展了 RIA 评分机制：

2D 邻域上下文： 它引入了一个邻域项 $N^{(k)}_{ij}$ ，用于捕捉每个权重 $W_{ij}$ 周围的局部 2D 上下文，排除了 RIA 已覆盖的交叉形状邻居。该项通过对绝对权重矩阵进行带掩码核的 2D 卷积来高效计算。
自适应系数： 它分别为行、列和邻域项分配了不同的可学习系数 ( $\alpha, \beta, \gamma$ )。这使得模型能够显式地考虑这些组件的不对称贡献。
公式： 最终的重要性得分计算如下：
$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$
当 $\alpha=\beta=1$ 且 $\gamma=0$ 时，CRePE 退化为 RIA。

2. PHO：高效的超参数搜索
为了避免使用基于 PPL 的搜索来寻找超参数 ( $k, \alpha, \beta, \gamma$ ) 所带来的高昂成本，作者提出了 PHO：

代理发现： 通过对多种模型的 Spearman 相关性分析，作者发现，第一层 $q\_proj$ 模块中已剪枝权重的基尼系数 ( $Gini_{pruned}$ ) 与 PPL 表现出强正相关性 ( $\rho = 0.953$ )。
搜索框架： PHO 利用 $Gini_{pruned}$ $G in i_{p r u n e d}$ 作为代理目标。它采用两阶段过程：
1. 代理筛选： 使用 CMA-ES（协方差矩阵自适应进化策略）采样器生成 60 个候选方案，仅针对 $Gini_{pruned}$ 进行评估（每个候选方案约 6 秒）。
2. PPL 验证： 仅对前 10 个最优候选方案进行完整的模型剪枝和 PPL 评估（每个约 90 秒）。
效率： 这将总搜索时间从约 11 小时缩短至约 20 分钟（实现 30 倍加速）。

核心贡献

CRePE： 一种新的评分方法，它整合了 2D 邻域上下文和自适应系数，以建模行、列和邻域项的差异化重要性。
PHO： 一种高效的优化框架，利用剪枝权重的基尼系数作为 PPL 的代理，极大地减少了超参数搜索时间。
泛化性： 在多种模型（LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek）和不同稀疏设置（非结构化、2:4、4:8）下，证明了其相对于基准方法（SparseGPT, Wanda, RIA）的一致性改进。
正交性： 验证了 CRePE 可以与现有技术结合使用，包括通道置换（Channel Permutation）、非均匀稀疏分配（OWL, AlphaPruning, DLP）以及重剪枝方法（DSnoT）。

实验结果

困惑度（Perplexity）： CRePE 的困惑度始终低于 RIA。例如，在 LLaMA-2-7B 进行 50% 非结构化剪枝时，CRePE 的 PPL 为 6.74，而 RIA 为 6.81。在 2:4 结构化剪枝下，差距进一步扩大（10.74 vs 11.29），表明精细化的评分在更严格的结构化约束下特别有效。
零样本性能： 在 LLaMA-2-7B 上，CRePE 在六项任务中的平均零样本准确率达到 62.18%，优于 RIA (61.14%)。
超参数可迁移性： 通过 PHO 在 LLaMA-2-7B 上找到的最优超参数可以有效地迁移到 LLaMA-2-13B 而无需重新调优，在不同模型规模下保持了性能增益。
组合效应： 当与通道置换（LSA CP）或非均匀分配（DLP）结合时，CRePE 进一步降低了困惑度，证实了其与这些技术的正交性。

意义与局限性
论文声称 CRePE 提供了一种实用的、无需训练的方法，可以在保持仅评分方法效率的同时，显著提高 LLM 剪枝的准确性。PHO 的引入确保了必要的超参数调优不会抵消 PTP 的省时优势。

作者指出了一些局限性：

在极端稀疏水平（>70%）下，CRePE 与 RIA 之间的性能差距缩小，这表明仅靠重要性评分可能不足，可能需要进行权重重建。
$Gini_{pruned}$ 与 PPL 之间的强相关性是经验性的；严谨的理论分析仍是一个开放性问题。
该方法目前仅限于稠密线性层，尚未扩展到诸如混合专家模型（MoE）路由等结构化组件。
尚未系统评估在不同硬件环境下执行额外卷积操作的影响。