🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve 是一种针对大语言模型的免训练结构化剪枝方法，它通过利用二阶泰勒展开式来捕捉费舍尔矩阵（Fisher matrix）中的跨模块依赖关系，从而共同优化注意力单元与前馈网络（FFN）单元的移除，并借此通过单次二次规划实现高效且无需标签的压缩，且无需进行微调。

原作者： Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个由数十亿个微型齿轮和弹簧组成的巨大、超级聪明的机器人大脑。这就是大语言模型（LLM），一种可以写故事、解数学题、甚至编写软件的 AI 类型。但问题在于，这些大脑如此庞大且沉重，运行起来极其昂贵且思考缓慢。为了让普通人也能使用它们，科学家们需要将它们缩小，就像把一座巨大的图书馆装进一本口袋大小的书里。这个过程被称为“剪枝”（pruning）。

把剪枝想象成编辑一部长电影。你想剪掉那些无聊的场景，让电影变得更短、更快，但你又不想破坏剧情。长期以来，编辑们（科学家）认为最好的剪枝方式是逐一检查每个场景。如果某个场景本身看起来很枯燥，他们就会把它剪掉。他们假设，如果剪掉了一堆枯燥的场景，电影只会变短一点，而故事本身保持不变。他们把电影看作是一系列独立的片段。

然而，这篇论文指出，一部电影（或一个 AI 大脑）并不只是独立片段的列表。它是一个复杂的网络，其中的场景会相互对话。有时候，一个本身看起来很无聊的场景，实际上是连接另外两个重要场景的秘密胶水。如果你剪掉了那个“无聊”的场景，整个故事可能会崩塌，即使你没有剪掉其他场景。旧的编辑方法忽略了这些隐藏的联系。

进入 CoCurve：绘制连接图谱的侦探

来自南洋理工大学的研究人员引入了一种名为 CoCurve（跨模块协同剪枝曲率）的新方法。CoCurve 不仅仅是观察单个齿轮是否脆弱，它更像是一个侦探，负责绘制出每一个齿轮是如何与其它所有齿轮相连的地图。

以下是他们是如何做的，我们用一个简单的类比：想象 AI 大脑是一个巨大的城市，其中有两种类型的建筑：注意力塔（Attention Towers，帮助 AI 聚焦特定词汇）和 FFN 工厂（FFN Factories，负责处理和理解这些词汇）。

旧方法（“节点优先”的错误）： 传统方法会走遍这座城市，逐一检查每栋建筑，然后说：“这座塔看起来有点空荡，把它拆了吧，”或者“这家工厂似乎效率很低，把它关了吧。”他们假设拆掉几栋空置的建筑不会对城市造成伤害。但他们忽略了一个事实：有些“空旷”的塔实际上是连接两座繁忙工厂的唯一桥梁。拆掉它们会导致交通堵塞，从而使整个城市停摆。
CoCurve 方法： CoCurve 不仅仅检查建筑，它还检查建筑之间的桥梁。它使用一种巧妙的数学技巧（对“KL 散度”进行二阶泰勒展开，这是一种衡量当你隐藏 AI 的某部分时，其回答变化程度的高级方法）来绘制城市的地图。
- 地图上的对角线显示了单个建筑自身的权重（就像旧方法那样）。
- 非对角线线条则显示了“协同剪枝曲率”。这是指如果你同时拆除两栋特定的建筑所造成的额外破坏。它揭示了有时，两栋看似虚弱的建筑其实是一个超强的团队，你必须同时保留它们。

神奇的技巧：无需训练

通常，弄清楚这些连接需要大量的繁重工作，比如重新训练 AI 或进行数百万次测试。但 CoCurve 是一种“无需训练”的方法。它就像一个一击即中的魔术。

研究人员提取了一小段无标签的文本（比如书中的几页内容）。
他们让 AI 运行这段文本，但每次只“遮盖”（hide）一个建筑，以观察 AI 的回答如何产生波动。
利用一个精妙的数学捷径（格拉姆乘积/Gram product），他们只需通过这些单次测试，就能计算出整个连接地图。他们不需要测试每一对可能的建筑组合（那会耗费无穷的时间），也不需要更新 AI 的权重。这一切都是一次性完成的。

他们的发现

该团队在四个不同的 AI 模型上测试了 Co循环 CoCurve，这些模型的参数量从 30 亿到 240 亿不等。他们将其与九种流行的剪枝方法进行了对比。

结果： CoCurve 表现持续优于其他方法。它让 AI 保持得更聪明、更强大，尤其是在编写代码或解决数学问题等棘手任务中，其他方法往往会让 AI “崩溃”并彻底失效。
巨大的胜利： 在一个拥有 240 亿参数的大型模型上，当他们剪掉 40% 的大脑时，CoCurve 在预测下一个词（一种称为困惑度/perplexity 的指标）方面的表现比次优方法好出了 14.5 倍。
“桥梁”的发现： 论文证明，这种提升并非仅仅来自于找到了“最好的”建筑。提升专门来自于跨模块边缘——即注意力塔与 FFN 工厂之间的连接。当他们在数学运算中移除这些连接时，该方法的表现大幅下降，这证明了这些隐藏的桥梁正是成功的关键所在。

何时有效？

研究人员还发现了一个关于何时进行这种侦探工作的规则。如果一个模型拥有过多的冗余建筑（比如一个拥有 100 家完全相同的工厂都在做同样事情的城市），连接图谱就会变得嘈杂且混乱。在这种情况下，CoCurve 有一个“安全开关”（阻尼因子/damping factor），它会关闭复杂的桥梁映射功能，转而采用简单的“检查每个建筑”的方法。这确保了它在面对那些连接关系并非至关重要的模型时，绝不会让情况变得更糟。

总结

CoCurve 改变了游戏规则，它教会我们：在一个复杂的 AI 大脑中，你不能只剪枝节点（部分），你必须同时剪枝边缘（连接）。 通过尊重不同部分之间隐藏的团队协作，CoCurve 创建了更小、更快且不会丧失智能的模型。这是一种更聪明的“编辑电影”的方式，确保即使在运行时缩减一半的情况下，剧情依然完整。

技术摘要：CoCurve

问题陈述

结构化剪枝通过移除整个计算单元（如注意力头和前馈网络 (FFN) 通道组）来压缩大语言模型 (LLM)。虽然无训练方法因其无需数据和计算资源而更受青睐，但它们通常存在一个关键的盲点：它们独立地对可移除单元进行排名。

大多数现有方法假设移除一组单元的损失等于这些单元各自损失之和 ( $\Delta L(S) \approx \sum \Delta L(u)$ )。这种假设在通过共享残差流耦合子层的 Transformer 架构中并不成立。因此，两个在单独评估时表现较弱（低显著性）的单元，可能在联合层面是不可或缺的。独立评分无法察觉这种耦合关系，并经常会将这些“桥接单元”与其所支持的单元一同移除，从而对模型的生成能力造成不成比例的破坏，尤其是在代码和数学任务中。

方法论：CoCurve

作者引入了 CoCurve (Cross-Module Co-Pruning Curvature，跨模块协同剪枝曲率)，这是一种仅需校准、无需训练的方法，通过建模注意力与 FFN 单元之间的相互作用来进行联合剪枝。

1. 剪枝风险作为二阶自蒸馏

该方法将剪枝风险定义为在无标签文本上，冻结的全量模型（教师）与其掩码副本（学生）之间的逐 Token Kullback-Leibler (KL) 散度。

零阶与一阶： 在零剪枝状态下，分布一致，因此风险及其梯度消失。
二阶： 其泰勒展开的主项是纯二次项： $R(s) \approx \frac{1}{2} s^\top H s$ 。
Fisher 矩阵 ( $H$ )： 该单一矩阵 $H$ $H$ 包含：
- 对角线 ( $H_{uu}$ )： 经典的节点显著性（类似于 Optimal Brain Damage）。
- 非对角线 ( $H_{uv}$ )： 协同剪枝曲率边，代表同时移除单元 $u$ 和 $v$ 时产生的额外失真。

2. 通过单单元消融进行实际估计

计算完整的 $M \times M$ 交互矩阵通常需要 $O(M^2)$ 次成对消融。CoCurve 通过推导出一个闭式估计器避免了这一点：

非对角线项 $H_{uv}$ 被证明是单单元 Logit 扰动特征的 Gram 积。
通过仅执行 $M$ 次单单元消融过程（每个单元一次）并计算其 Logit 偏移的 Fisher 加权点积，即可恢复完整的交互矩阵。
这不需要梯度、不需要 Hessian-向量积，也不需要成对扫描。

3. 一次性贪婪求解器

剪枝被建模为一个带预算的二进制二次规划问题。作者采用了一种 成本归一化贪婪求解器，该求解器：

根据边际风险选择要移除的单元，该风险既包括节点显著性，也包括与已选单元的累积交互。
在注意力单元和 FFN 单元之间使用 共享预算，允许优化过程确定最佳分配，而非手动固定比例。
包含一个 置信区域标量 ( $\lambda$ )，用于在高剪枝率下（此时二阶近似性能下降）抑制边项的影响。该 $\lambda$ 是基于 FFN 通道冗余度的无标签规则确定的。

4. 补偿（可选）

对于激进的剪枝比例，可以通过一个闭式补偿步骤，对保留的 FFN 组的输出进行重新缩放，以吸收由移除单元引起的残差流偏移。该步骤同样是无梯度的，并使用在选择过程中计算的相同边块。

核心贡献

从“节点到边”的目标函数： 推导出了一个二次剪枝风险，其中非对角线项代表了注意力与 FFN 之间的跨模块协同剪枝曲率，超越了单纯的独立节点排名。
实用的估计器与求解器： 证明了完整的交互矩阵是单单元消融特征的 Gram 积，可以通过 $O(M)$ 次过程恢复。该方法在单次运行中解决选择问题，无需权重更新或恢复。
可解释的机制： 该方法明确保护了“桥接单元”（低显著性但高连接性），而传统的“节点优先”方法会丢弃此类单元。它将结构化剪枝置于经典二阶方法 (OBD/OBS) 的连续体之中。
预测性规则： 一个单一的校准统计量（FFN 通道冗余度）可以预先预测何时应当信任或抑制边项，从而将经验观察转化为架构级规则。

结果

作者在四个稠密 LLM（3B–8B）上评估了 CoCurve，并在一个 24B 模型上进行了缩放研究，对比了九种强力的无训练基准方法，涵盖 14 个基准测试（包括语言建模、常识、知识、数学和代码）。

性能： CoCurve 一致优于强大的无训练基准方法。在主打模型 (Llama-3.1-8B-Instruct) 进行 20% 剪枝时，它在语言建模、世界知识和代码生成方面取得了最佳得分，并在常识任务中取得了最高平均分。
脆弱任务： 该方法在脆弱的生成任务（代码和数学）上表现出最大的增益，而在这些任务中其他方法往往会崩溃。在 24B 模型的 40% 剪枝下，CoCurve 的困惑度比最强的有效基准低 14.5 倍。
消融实验：
- 移除非对角线边项会将性能降低至仅使用对角线（OBD 风格）的选择器水平，证实了边项驱动了性能提升。
- 联合进行注意力与 FFN 剪枝的效果优于单独剪枝其中之一。
- 边的收益与 FFN 通道冗余度成反比；该方法包含一个门控机制，在面对高冗余模型（如 Qwen2.5-32B）时会抑制边项，以防止性能退化。

意义与主张

本文重新定义了结构化 LLM 剪枝的任务：“剪枝边，而不只是剪枝节点。”

机制： 作者声称，现有方法的失败源于忽略了异构模块（注意力与 FFN）通过残差流产生的耦合。CoCurve 通过推导出的 Fisher 曲率矩阵捕捉到了这种耦合。
效率： 该方法严格属于无训练范畴，不需要标签、微调或迭代估计。它计算高效，仅需通过单单元消融进行前向传播。
鲁棒性： 该方法提供了一种“优雅的回退”机制。在边项可能产生误导的高冗余模型上，该方法会自动回归为强大的对角线（OBD 风格）选择器，确保其表现绝不会差于强大的经典基准。
适用范围： 作者将 CoCurve 定位为 中度压缩 阶段（约 30-40%）的解决方案。他们承认，与所有无训练方法一样，在没有恢复机制的情况下，在极端剪枝比例下性能会呈超线性下降，但与独立的排名方法相比，它显著扩展了可用的压缩边界。

论文得出结论：跨模块交互不仅是装饰性的，而且是维持复杂生成所需的功能性计算的承重结构，而建模这些交互对于有效的结构化剪枝至关重要。