💻 computer science

Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

该论文通过基于领域感知的激活相似性分析，揭示了视觉语言模型解码器层剪枝中存在“低预算敏感、中预算趋同、高预算结构主导”的三阶段规律，并提出了一种能针对不同数学或通用任务动态选择关键层的剪枝策略，在保持模型性能的同时有效降低了深度冗余。

原作者： Saeed Khaki, Nima Safaei, Kamal Ginotra

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Saeed Khaki, Nima Safaei, Kamal Ginotra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要研究了一个非常实际的问题：如何给“看图说话”的超级 AI 模型（视觉语言模型）“瘦身”，让它跑得更快、更省内存，同时还能保持它做数学题和看懂复杂图片的能力。

想象一下，现在的 AI 模型就像一个拥有几百层楼的超级图书馆。每一层楼（Transformer 层）都负责处理信息的一部分。但是，研究人员发现，这个图书馆里有很多“空房间”或者“重复的书架”，它们对某些任务（比如做数学题）来说，其实是在“摸鱼”，并没有真正干活。

这篇论文就是教我们如何精准地拆掉这些“摸鱼”的楼层，而不是盲目地乱拆。

以下是用通俗语言和比喻对论文核心内容的解读：

1. 核心难题：拆哪层楼？

如果你要拆除一座大楼的一部分，你肯定不想拆掉承重墙，也不想拆掉电梯井。

以前的做法：很多方法只是随机拆，或者根据“谁长得像邻居”来拆。这就像随机拆楼层，或者把长得像的楼层拆掉。结果往往是：拆了不该拆的，模型就“变傻”了，特别是做数学题时，逻辑链条一断，全崩了。
这篇论文的做法：它给模型装上了“监控摄像头”。在模型处理数学题和普通看图（比如数苹果、描述风景）时，它会观察每一层楼到底在干什么。
- 如果某一层楼在处理数学题时，输入和输出几乎没变化（就像一个人进房间没说话就出来了），那说明这层楼对数学题来说是多余的。
- 如果某一层楼在处理普通图片时很忙碌，但在做数学题时很闲，那它可能对数学不重要，但对看图很重要。

2. 三种“拆楼”策略（就像三种装修方案）

研究人员提出了三种不同的“拆楼”标准：

数学特供版：专门盯着做数学题时的表现。如果某层楼对数学题没贡献，就拆掉。这能最大程度保留数学能力，但可能会牺牲一点看图能力。
通用特供版：专门盯着普通看图任务。拆掉那些对看图没帮助的楼层。
混合平衡版（最佳方案）：给数学和看图各打个分，然后综合起来。就像装修时既要保留书房（数学），又要保留客厅（看图），找到一个最佳平衡点（论文中设定为 70% 看重通用能力，30% 看重数学能力）。

3. 发现的“三个装修阶段”

论文最有趣的发现是，随着拆除力度（预算）的增加，模型的表现会经历三个不同的阶段，就像装修房子有三个不同的风险期：

阶段一：小心谨慎期（低拆除量，比如拆 10%）
- 比喻：这时候就像在墙上挂画，挂哪面墙、拆哪块砖非常关键。
- 现象：如果你用“混合平衡版”策略，精准拆掉那些“摸鱼”的楼层，模型几乎不会变笨，甚至因为去掉了干扰项，反应更快。这时候，选对拆哪层比拆多少更重要。
阶段二：混乱过渡期（中等拆除量，比如拆 25%）
- 比喻：这时候开始拆承重结构了，各种方法的效果开始互相撞车。
- 现象：不管你怎么拆，模型都开始变笨了。因为拆掉的楼层太多，原本紧密的逻辑链条开始断裂，这时候谁的方法都不如谁，大家表现都差不多烂。
阶段三：结构决定期（高拆除量，比如拆 40%）
- 比喻：这时候大楼已经快被拆空了，剩下的结构是否连贯成了救命稻草。
- 现象：这时候，谁拆得“有规律”（比如每隔几层拆一层，保持楼层间距），谁就能活下来。如果拆得东一榔头西一棒子（随机拆），大楼就塌了。论文发现，一种叫"Interlace"（交错式）的拆法，因为保证了楼层间距，在这个阶段反而表现最好。

4. 为什么要这么做？（现实意义）

省钱省时间：现在的 AI 模型太大，运行起来需要昂贵的显卡，耗电量大。通过精准“瘦身”，可以让模型在普通的电脑甚至手机上跑得更快。
不丢核心能力：以前的方法一瘦身，AI 做数学题就废了。这篇论文证明了，只要知道哪层楼是专门干数学活的，哪层是干杂活的，就能在瘦身时保住它的“数学大脑”。

总结

这就好比你要给一个全能型运动员（既能做奥数题，又能玩滑板）减肥。

以前的教练可能让他随机少吃几顿饭，结果他饿得没力气做奥数题，或者没力气玩滑板。
这篇论文的教练（作者）先观察他：发现他做奥数题时主要靠“大脑皮层后部”，玩滑板主要靠“小脑和前部”。
于是，教练制定了一个精准食谱：在保持他核心肌肉（关键楼层）不动的前提下，只切除那些多余的脂肪（冗余层）。
结果发现：如果只切一点点，切哪里最重要；如果切太多，怎么切（保持身体结构完整）最重要。

这篇论文不仅让 AI 模型变轻了，还让我们更明白了 AI 内部到底是怎么工作的——不同的任务，确实依赖不同的“楼层”。

1. 研究背景与问题定义 (Problem)

背景：
基于 Transformer 的视觉语言模型（VLMs）在视觉感知、指令跟随和多模态推理方面表现出色，但其庞大的深度带来了高昂的部署成本（延迟和内存）。虽然模型中存在显著的深度冗余，但现有的剪枝策略大多基于聚合质量指标，缺乏对特定领域（如数学推理）与通用视觉语言任务之间差异的深入理解。

核心问题：

领域特异性冗余： 在 VLM 中，哪些层对于数学推理是冗余的，哪些对于通用任务（如 OCR、物体识别）是冗余的？
剪枝机制的敏感性： 随着剪枝预算（移除层数的比例）的增加，VLM 的性能下降是否遵循特定的“机制（Regimes）”？即，在低、中、高不同剪枝比例下，选择移除哪些层是否至关重要？
数学推理的脆弱性： 数学问题通常需要感知（符号、图表）与多步语言推理的紧密耦合。微小的结构变化是否会导致不成比例的性能崩溃？

2. 方法论 (Methodology)

作者提出了一种**领域感知的解码器层剪枝（Domain-Aware Decoder Layer Pruning）**方法，旨在在保留数学推理能力的同时维持通用视觉语言能力。

2.1 核心思想：输入 - 输出激活相似度

假设：如果一个层在处理特定领域输入时，其输入隐藏状态与输出隐藏状态非常相似（即变换很小），则该层对该领域是冗余的。

2.2 具体流程

领域探测（Domain Probing）：
- 使用两类提示词对模型进行前向传播：
  - 数学领域： 包含数学 CoT、直接求解、重述、形式化、验证等 5 种子任务。
  - 非数学领域： 包含图像描述、实体列表、计数 VQA、指代表达 grounding 等 4 种子任务。
- 记录每个解码器层的输入激活（ $H_{in}$ ）和输出激活（ $H_{out}$ ）。
冗余评分计算：
- 计算每个层在 Token 级别的输入 - 输出余弦相似度。
- 按领域聚合得分，并进行 Z-score 标准化，得到 $\hat{S}^{(math)}$ 和 $\hat{S}^{(nonmath)}$ 。
领域感知排序策略 (Ranking Strategies)：
- Math-Aware： 仅基于数学冗余评分排序，优先移除对数学推理影响最小的层。
- Non-Math-Aware： 基于通用任务冗余评分排序。
- Mixed（混合）： 结合两者，公式为 $R_\ell(\alpha) = \alpha \hat{S}^{(nonmath)} + (1-\alpha) \hat{S}^{(math)}$ $R_{ℓ} (α) = α \hat{S}^{(n o nma t h)} + (1 - α) \hat{S}^{(ma t h)}$ 。
  - 实验发现 $\alpha=0.7$ （即更重视通用能力）能取得最佳平衡，因为 OCR 和 grounding 是理解图像的基础。
剪枝执行与微调：
- 保护机制： 保留第一个和最后一个解码器层（负责多模态融合和最终预测），仅剪枝中间层。
- 后剪枝稳定化： 剪枝后使用混合了数学和通用指令的数据进行简短的有监督微调（SFT），以恢复模型稳定性。

3. 实验设置 (Experiments)

模型： 基于 Qwen3-VL-2B-Instruct 和 Qwen3-VL-4B-Instruct。
基准对比：
- CKA 剪枝： 基于中心核对齐（Centered Kernel Alignment）衡量层间表示相似度。
- Interlace 剪枝： 结构感知策略，强制层删除之间保持间隔，避免连续空洞。
- 随机剪枝： 随机移除层。
数据集：
- 训练/微调： Snapask（30 万张真实作业照片，含 CoT）、LLaVA-OneVision（通用多模态指令）。
- 评估： Snapask、NuminaMath-CoT（高难度数学）、ChartQA、ScienceQA、RealWorldQA、VStar。
剪枝预算： 10%、25%、40%。

4. 关键结果与发现 (Key Results)

实验揭示了一个一致的三阶段剪枝机制（Three-Regime Structure）：

阶段一：低预算（0-15%）—— 排序敏感区 (Ranking-Sensitive Regime)

现象： 性能高度依赖于移除哪些层。
结果： **领域感知排序（尤其是 Mixed 和 Math-Aware）**表现最佳。
- 在 10% 预算下，领域感知方法在数学基准（Snapask, NuminaMath）上显著优于 CKA 和随机剪枝。
- 数学推理对特定层的移除非常敏感，错误的移除会导致性能大幅下降。
洞察： 数学推理主要依赖中后层，而通用感知依赖前中层。领域感知策略能精准避开关键计算层。

阶段二：中等预算（15-32%）—— 过渡区 (Transition Regime)

现象： 随着结构损伤累积，不同方法的性能开始收敛。
结果： 所有方法的性能均显著下降，但领域感知方法仍保持相对优势，尤其是在通用任务上。

阶段三：高预算（32-40%）—— 结构主导区 (Structure-Dominated Regime)

现象： 模型性能受限于结构连续性。
结果： **Interlace（间隔剪枝）**策略开始占据主导，因为它避免了连续移除相邻层，保持了残差流的完整性。
- 此时，单纯基于冗余度的排序（如 CKA 或领域感知）效果不如保持结构间隔的策略。
- 随机剪枝在所有阶段表现最差，因为它经常破坏早期或中层的连续性。

数学与通用能力的权衡 (Trade-off)

Pareto 前沿： 领域感知方法（特别是 Mixed 策略）在“数学准确率”与“通用 VL 准确率”的权衡图上位于 Pareto 前沿。
CKA 与随机剪枝在两个维度上均被支配（表现较差）。
Interlace 在通用任务上表现尚可，但在高预算下数学能力下降更剧烈。

5. 主要贡献 (Contributions)

提出领域感知剪枝方法： 基于输入 - 输出激活相似度，为 VLM 设计了 Math-Aware、Non-Math-Aware 和 Mixed 三种排序策略，无需重新训练即可识别领域特定冗余。
揭示剪枝机制（Regime Analysis）： 首次系统性地定义了 VLM 深度剪枝的三个机制（排序敏感、过渡、结构主导），解释了为何在不同预算下需要不同的剪枝策略。
实证基准测试： 在两个 SOTA 模型和广泛的数学/通用基准上进行了验证，证明了领域感知策略在低预算下的优越性，以及结构策略在高预算下的必要性。

6. 意义与启示 (Significance)

理论价值： 澄清了深度在 VLM 中如何贡献于特定领域行为。数学推理并非均匀分布在整个网络中，而是集中在特定层，且这些层对结构破坏极度敏感。
实践价值：
- 提供了一种可解释且实用的模型压缩方案。
- 指导开发者：在轻度压缩时，应优先使用领域感知排序以保留核心能力；在重度压缩时，应转向**结构感知（如保持间隔）**以防止模型崩溃。
- 证明了在保留数学推理能力的同时，可以通过剪枝显著减少模型深度，而无需牺牲通用的视觉语言理解能力。

总结： 该论文不仅提供了一种高效的剪枝算法，更重要的是通过实验揭示了 VLM 内部不同任务对网络深度的依赖模式，为未来的模型压缩和架构设计提供了重要的理论依据。