Large Language Model Compression with Global Rank and Sparsity Optimization

本文提出了一种结合鲁棒主成分分析与概率全局分配策略的两阶段大语言模型压缩方法，通过自动检测层间冗余并优化秩与稀疏度的全局资源分配，有效解决了低秩与稀疏矩阵的协同及权重分配难题，显著超越了现有最先进技术的压缩性能。

要点

这篇论文提出了一种名为 CAP 的新方法，用来给巨大的“大语言模型”（LLM）减肥瘦身，同时尽量不让它变笨。

想象一下，大语言模型就像一个超级博学但极其臃肿的图书馆。这个图书馆里有几亿本书（参数），虽然知识渊博，但搬运起来太慢，占地方太大，普通人根本用不起。

以前的“减肥”方法主要有两种：

1. 直接扔书（剪枝）：像 Wanda 或 SparseGPT 那样，直接扔掉一些看起来不重要的书。但这就像扔书时没看目录，容易把关键知识也扔了，导致图书馆变笨。
2. 把书压缩成摘要（低秩近似）：像 SVD 那样，把厚书变成薄摘要。但这就像把一本精彩的小说强行压缩成一句话，丢失了太多细节，特别是那些独特的“梗”或冷知识。

CAP 方法的核心思想是：既保留“骨架”，又保留“亮点”。

我们可以用**“装修房子”**的比喻来理解 CAP 是如何工作的：

第一步：把房子拆成“结构”和“装饰” (RPCA 分解)

想象你要精简一个装修豪华但杂乱的房子。

• 以前的做法：要么直接拆墙（扔参数），要么把家具都换成最小号的（低秩）。
• CAP 的做法：它先请了一位**“超级鉴定师”（RPCA，鲁棒主成分分析）**。这位鉴定师把房子拆成两部分：
  1. 承重墙和梁柱（低秩部分 L）：这是房子的骨架，代表了通用的、整体的结构（比如“这是一个客厅”、“那是厨房”）。这部分虽然重要，但很多是重复的，可以精简。
  2. 独特的装饰画和摆件（稀疏部分 S）：这是房子里最亮眼、最特别的东西（比如“墙上那幅名画”、“角落里的古董”）。这些虽然数量少，但一旦扔掉，房子的灵魂就没了。

关键点：这一步不是为了直接扔掉多少东西，而是为了把“骨架”和“亮点”分得清清楚楚，避免在扔东西时误伤。

第二步：全球资源大调配 (概率策略优化)

现在房子分成了“骨架”和“亮点”两堆。老板（用户）说：“我要把房子面积压缩 50%，但必须住得舒服。”

• 以前的做法：通常是“一刀切”。比如“每层楼都扔掉 50% 的砖头”或者“每层楼都扔掉 50% 的画”。但这不合理，因为有的楼层（模型层）本来就很空，有的楼层（模型层）全是干货。一刀切会导致有的楼层塌了，有的楼层却浪费空间。
• CAP 的做法：它派出了一个**“智能管家”（策略梯度算法）**。
  • 这个管家手里有一个**“智能投票器”**。它会拿着每一块砖（骨架）和每一幅画（亮点）去试：“如果我把这块砖拿走，房子会塌吗？如果我把这幅画拿走，房子会失去灵魂吗？”
  • 管家不是凭感觉（人工设定阈值），而是通过**“试错学习”**（在少量样本上测试）。它发现：
    • 有些层的“骨架”很结实，可以大胆拆掉很多。
    • 有些层的“亮点”非常珍贵，必须保留。
    • 有些层的“骨架”其实很脆弱，不能动。
  • 最终，管家制定了一份**“全球最优拆迁方案”**：在总预算（参数总量）限制下，哪里该拆骨架，哪里该留亮点，哪里该拆亮点，全部自动算出来。

为什么 CAP 这么厉害？

1. 不用重新装修（无需微调）：
   很多旧方法在扔完东西后，发现房子歪了，还得花大力气重新装修（微调/训练）。CAP 因为拆得科学，拆完直接就能住，省去了昂贵的重新训练成本。

2. 自动识别“哪里该瘦”：
   它不像以前那样死板地规定“每层减 50%"。它知道有些层（比如处理简单任务的层）可以减得狠一点，有些层（处理复杂推理的层）要留得多一点。这种**“量体裁衣”**的能力让它比“一刀切”的方法聪明得多。

3. 既快又省：
   因为保留了“骨架”（低秩矩阵）和“极稀疏的亮点”（高稀疏度矩阵），在电脑运行时，计算速度反而比那些均匀稀疏的方法更快。就像**“把厚重的实木家具换成了轻便的框架，只保留几件珍贵的艺术品”**，既轻又快。

总结

这篇论文就像是在教我们如何**“聪明地给大模型减肥”**：

• 不要盲目地扔东西。
• 先分清什么是**“通用的骨架”，什么是“独特的灵魂”**。
• 然后派一个**“智能管家”**，根据每一层的实际情况，自动决定保留多少骨架、保留多少灵魂，在满足“瘦身目标”的同时，保证模型依然聪明、反应快。

实验结果表明，用这种方法压缩后的模型，在回答问题、逻辑推理等任务上，比目前最先进的方法都要好，而且不需要额外的训练时间。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《Large Language Model Compression with Global Rank and Sparsity Optimization》（基于全局秩与稀疏性优化的大语言模型压缩）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

大语言模型（LLM）虽然性能强大，但其巨大的参数量带来了存储、内存和计算资源的严峻挑战。现有的压缩方法主要分为量化、剪枝和低秩近似等，但“低秩 + 稀疏”复合近似（Low-rank plus Sparse）虽然是一个自然的压缩思路，却面临两个核心挑战：

1. 低秩与稀疏矩阵的交互与协同：现有方法通常将低秩部分和稀疏部分视为相对独立的优化对象，缺乏有效的协同机制，导致更新过程中两者未能充分互补。
2. 跨层资源分配的不确定性：LLM 不同层之间的冗余度差异巨大。现有方法往往使用手动设定的阈值或统一的剪枝策略，无法根据每一层的具体冗余特性进行全局协调的资源分配（即决定哪一层保留多少秩，哪一层保留多少稀疏度）。

2. 方法论 (Methodology)

作者提出了一种名为 CAP (Compression with Adaptive Pruning) 的两阶段压缩框架，旨在通过全局资源分配来优化秩（Rank）和稀疏度（Sparsity）。

第一阶段：基于 RPCA 的原则性分解 (Principled Decomposition via RPCA)

• 目标：将巨大的优化空间缩减为低维子空间和稀疏子空间，而非直接进行剪枝。
• 技术：利用鲁棒主成分分析 (Robust Principal Component Analysis, RPCA) 将权重矩阵 $W$ 分解为低秩矩阵 $L$ 和稀疏矩阵 $S$。
  • 优化目标：$\min \|L\|_* + \lambda \|S\|_1 \quad \text{s.t.} \quad W = L + S$。
  • 其中 $\|L\|_*$ 是核范数（低秩约束），$\|S\|_1$ 是 $L_1$ 范数（稀疏约束）。
• 优势：RPCA 通过凸优化问题，理论上保证了将全局相关性（低秩）与局部异常/关键特征（稀疏）进行最优分离，为后续剪枝提供了高质量的候选池。此阶段不直接控制压缩率，而是构建候选空间。

第二阶段：基于策略梯度的可学习概率剪枝 (Learnable Probabilistic Pruning)

• 目标：在满足总参数量预算 $K$ 的前提下，从 $L$ 和 $S$ 中联合选择保留哪些奇异值和稀疏元素。
• 技术：
  • 伯努利采样 (Bernoulli Sampling)：为 $L$ 中的每个奇异值和 $S$ 中的每个非零元素引入伯努利随机变量，其保留概率 $s$ 为可学习参数。
  • 策略梯度 (Policy Gradient)：在小型校准集（Calibration Set）上，通过策略梯度（REINFORCE 算法）优化这些保留概率，以最小化任务损失。
  • 基线去方差：引入移动平均基线（Moving Average Baseline）来降低梯度估计的方差。
  • 全局资源分配：优化后的概率反映了参数在“效用 - 成本”比上的重要性。最终，根据这些概率对所有候选参数进行全局排序，选取前 $K$ 个参数生成最终的二值掩码。
• 特点：该方法无需手动设定阈值，无需对原始 LLM 参数进行反向传播（Training-free），且能自动检测不同层的冗余度差异。

3. 主要贡献 (Key Contributions)

1. 两阶段压缩框架：提出了一种结合 RPCA 分解和基于伯努利采样的全局资源分配的新方法，有效解决了低秩与稀疏组件的协同问题。
2. 训练-free 且自适应：消除了对手动阈值和逐层迭代反向传播的依赖。该方法能自动适应不同层的冗余特性，实现全局最优的秩与稀疏度分配。
3. 理论分析与实证优势：提供了理论分析证明该方法在参数效率上的优越性，并通过大量实验证明其在多种模型和压缩比下均优于现有最先进（SOTA）方法。

4. 实验结果 (Results)

作者在多个主流模型（LLaMA-1/2/3, Phi-3, Qwen2.5, OPT, BERT 等）上进行了广泛评估：

• 性能超越 SOTA：在 30%、40%、50% 的压缩比下，CAP 在零样本推理任务（如 GLUE, PIQA, HellaSwag）和语言建模（WikiText Perplexity）上均显著优于现有的非结构化剪枝方法（如 SparseGPT, Wanda）和联合压缩方法（如 SLiM, LoSparse）。
  • 例如，在 LLaMA-3.1-8B 上，50% 稀疏度下，CAP 在 GSM8K（推理任务）上的准确率比 Wanda 高出 11.2%。
• 长上下文与推理能力：在 LongBench-v2 和 GSM8K 等挑战性任务上表现优异，证明了保留低秩主干对维持复杂推理电路的重要性。
• 推理效率：由于稀疏矩阵 $S$ 达到了极高的稀疏度（>85%），CAP 在 A100 GPU 上的推理吞吐量（176.5 tok/s）优于均匀稀疏的 Wanda（163.4 tok/s），且显存占用更低。
• 消融实验：证明了 RPCA 分解的必要性（仅靠阈值剪枝会导致性能崩溃）以及全局概率优化优于启发式阈值策略。

5. 意义与影响 (Significance)

• 解决核心痛点：CAP 成功解决了“低秩 + 稀疏”方法中资源分配僵化和组件交互不足的问题，提供了一种无需微调（Training-free）即可实现高效压缩的通用方案。
• 硬件友好性：通过生成极高稀疏度的稀疏矩阵，充分利用了现代 GPU 对稀疏矩阵乘法（SpMM）的加速支持，实现了压缩率与推理速度的双赢。
• 方法论创新：将强化学习中的策略梯度思想引入模型压缩的离散选择问题，为 LLM 压缩领域提供了一种新的优化范式，即通过概率学习来自动发现最优的层间资源分配策略。

总结：这篇论文提出了一种创新的、无需微调的 LLM 压缩方法，通过 RPCA 分解和策略梯度优化的结合，实现了低秩与稀疏组件的全局协同优化。实验结果表明，该方法在保持模型性能的同时，显著提升了压缩效率和推理速度，为大规模模型的实际部署提供了强有力的技术支撑。