🤖 machine learning

CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models

本文介绍了 CAPA，这是一个针对大型视觉语言模型的高效框架，它通过识别基于注意力贡献度指标的低贡献视觉标记，并近似处理中间层中冗余的前馈网络计算，从而提高了推理速度。

原作者： Samyak Jha, Junho Kim

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Samyak Jha, Junho Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型视觉语言模型（LVLM）视为一位极其聪明但又极其忙碌的艺术评论家。当你向它展示一张图片并提出问题时，它并不只是“看”这张图片，而是将图像分解成数千个微小的拼图碎片（称为视觉标记/visual tokens）。然后，它会将这些碎片与你的文本一起阅读，试图弄清楚哪些部分是重要的。

问题在于，这位评论家被压得喘不过气了。它试图用同样的专注度去处理每一个拼图碎片，甚至包括那些无聊、空白的背景部分。这使得整个过程既缓慢又昂贵，就像为了寻找一个特定的事实而去读整部百科全书一样。

这篇论文介绍了一种名为 CAPA（贡献感知剪枝与 FFN 近似，Contribution-Aware Pruning and FFN Approximation）的新方法，旨在帮助这位评论家在不产生困惑的情况下工作得更快。你可以把 CAPA 想象成一个聪明的助手，它教会了评论家两个新窍门：

窍门 1：“真实影响”过滤器（贡献感知剪枝）

旧方法（有缺陷的直觉）：
以前，评论家根据这些碎片获得了多少“注意力”来决定忽略哪些碎片。如果图像的一个部分（比如一片蓝天）得到了文本的大量关注，评论家就会保留它。如果获得的关注很少，评论家就会把它扔掉。

问题： 这就像仅凭观众的欢呼声大小来评判电影场景。有时候，一个角色可能会引起很多噪音（注意力），但实际上却没说任何重要的话。在论文的术语中，这些被称为**“概率堆积/Probability Dumps”**。它们虽然吵闹，但毫无用处。相反，一些安静的部分可能承担着所有的重任，却因为不够“响亮”而被忽视。

CAPA 的方式（智能过滤器）：
CAPA 改变了规则。它不再仅仅听从“噪音”（注意力分数），而是检查**“真实影响”**（注意力贡献）。

类比： 想象一个建筑工地。“噪音”是针对某块砖头有多少人在喊叫；而“影响”是这块砖头实际承载了多少重量。
- A 类（概率堆积）： 一块大家都在对着它大喊大叫，但其实是泡沫塑料做的砖头。它承载不了任何重量。CAPA 说：“把它扔掉，这只是噪音。”
- B 类（结构锚点）： 一块没人对着它喊叫，但却撑起了整个屋顶的砖头。CAPA 说：“保留它！它正在做真正的实事。”
结果： CAPA 保留了那些承担重任的“重型砖头”，并扔掉了那些“泡沫砖头”，确保评论家不会丢失重要的细节，同时忽略掉无意义的空间。

窍门 2：枯燥任务的“捷径”（FFN 近似）

旧方法（沉重的负担）：
在观察完拼图碎片后，模型必须通过一个被称为**前馈网络（FFN）**的复杂大脑回路来处理它们。你可以把这想象成一个非常昂贵、高功率的计算器，对每一条数据进行复杂的数学运算。

问题： 论文发现，对于图像碎片（视觉标记）来说，这个复杂的计算器往往是大材小用。在模型的中间层，计算器进行的数学运算几乎只是一条直线（线性）。这就像是用一台超级计算机去计算 2 乘以 2。这是一种能量的浪费。

CAPA 的方式（捷径）：
CAPA 识别出了这些不需要复杂数学运算的“枯燥”层。

类比： 想象你有一个厨师，他正用一台价值 10,000 美元的工业搅拌机来切一片生菜叶。虽然能用，但效率极低。CAPA 说：“在这个特定步骤中，只需使用一把简单的菜刀。”
执行： CAPA 不再运行昂贵且复杂的数学运算，而是用一个简单的、轻量级的“哈达玛积/Hadamard product”（一个高级术语，指逐元素相乘）来代替。这就像是将工业搅拌机换成了快速的手切。
结果： 模型节省了大量的能量（计算量），因为它停止了在只需要简单工具的地方使用重型机械。

终极对决：CAPA 如何取胜

通过结合这两个窍门，CAPA 创建了一个超高效的系统：

它剪掉垃圾： 它剔除了那些浪费时间的“泡沫砖头”（无用的视觉标记）。
它简化数学： 它在安全的情况下，将“工业搅拌机”（昂贵的计算）更换为“简单的菜刀”（轻量级的数学）。

结果：
论文在几种流行的 AI 模型（如 LLaVA 和 Qwen）上测试了这一点。结果显示，CAPA 就像一名脱去了不必要负重并切换到更高效步幅的马拉松选手。

它运行得快得多（减少了高达 78% 的计算工作量）。
它不会在终点线前摔倒（它保持了极高的准确性）。
它比其他仅仅靠猜测哪些碎片该扔掉的方法能更好地处理复杂任务（如阅读图像中的文字或解决谜题）。

简而言之，CAPA 教会了 AI 停止对着虚空大喊大叫，也停止用大锤去砸坚果，从而在不丧失锋芒的前提下，让它变得更快、更聪明。

技术摘要：CAPA —— 用于高效大型视觉语言模型的贡献感知剪枝与 FFN 近似

1. 问题陈述

大型视觉语言模型（LVLMs）面临着显著的计算瓶颈，这是由于处理数千个视觉标记（visual tokens）的高昂成本造成的，尤其是在处理高分辨率图像时。虽然视觉标记剪枝已成为一种主要的加速策略，但现有方法过度依赖原始注意力分数或基于这些分数的启发式指标来识别不重要的标记。作者认为，注意力分数是衡量实际标记重要性的不完美代理，因为它们忽略了相关联的值向量（value vectors）的幅度。

此外，当前的方法通常对视觉标记和文本标记进行统一处理。然而，最近的证据表明，LVLM 主干网络对这些模态的处理方式存在差异。具体而言，关于视觉标记在馈送前向网络（FFN）中的冗余性问题，目前仍很大程度上未被探索。此前在 LLM 领域的研究探讨了 FFN 近似（例如，稀疏近似、MoE），但这些技术尚未扩展到 LVLM 中视觉标记的特定冗za模式。

2. 实证分析与关键观察

作者对 LVLMs（LLaVA-1.5, Qwen2.5-VL, InternVL3）进行了实证分析，以解构视觉标记的行为，从而得出两个关键观察结果：

视觉注意力汇点（Attention Sinks）的异质性：
- 传统的“注意力汇点”（具有不成比例的高注意力质量的标记）在功能上并不统一。
- 通过引入一个新的指标——注意力贡献度（Attention Contribution），作者将此类汇点分为两类：
  - I 型（概率堆积器/Probability Dumps）： 具有高注意力权重但低值向量幅度的标记。它们充当多余概率质量的被动接收器，对残差流（residual stream）的贡献微乎其微。这类标记可以安全地被剪枝。
  - II 型（结构锚点/Structural Anchors）： 同时具有高注意力权重和巨大值向量幅度的标记。这些标记对于维持模型性能至关重要；移除它们会导致表示崩溃。
- 结论： 仅依赖注意力分数无法区分这两类标记，从而导致误剪关键标记。
模态相关的 FFN 冗余性：
- 作者通过计算输入隐藏状态 $x$ 与残差输出 $x + \text{FFN}(x)$ 之间的余弦相似度，测量了 FFN 变换的线性度。
- 发现： 在大多数中间层中，图像标记表现出近乎恒等映射（相似度 > 0.96），这表明对于视觉数据，FFN 变换实际上是线性的且具有冗余性。相比之下，文本标记在早期和中期层表现出显著的非线性。
- 结论： 在中间层中，针对视觉标记的高昂 $O(d^2)$ FFN 计算可以通过轻量级的线性近似来替代，而不会损害表示的完整性。

3. 方法论：CAPA 框架

基于上述发现，作者提出了 CAPA（贡献感知剪枝与 FFN 近似），这是一个双策略框架：

A. 贡献感知剪枝

不同于使用原始注意力分数，CAPA 为每个视觉标记 $i$ 计算注意力贡献得分 ( $C_i$ )。该得分通过将注意力概率与由输出矩阵投影的值向量幅度进行加权来计算。

公式： $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
机制： 在生成过程中，系统动态选择具有最高贡献得分的前 $k$ 个视觉标记保留在键值（KV）缓存中，并剪掉那些贡献微乎其微的标记。这确保了“结构锚点”得以保留，而“概率堆积器”被移除。

B. 冗余识别与 FFN 近似

对于被识别为具有高冗余性的层（即输入-输出余弦相似度超过阈值 $\eta$ 的层），CAPA 将标准的稠密 FFN 替换为轻量级的哈达玛积（Hadamard product）。

近似： 残差块 $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ 被近似为 $\hat{y}^{(l)} = x^{(l)} \odot \alpha$ ，其中 $\alpha$ 是一个学习到的逐元素缩放向量。
复杂度降低： 这将该层的计算复杂度从 $O(d^2)$ 降低到 $O(d)$ 。
优化： 最优缩放向量 $\alpha$ 是利用校准集上的普通最小二乘法（OLS）解解析得出的，从而避免了迭代梯度下降。

4. 实验结果

该框架在三个 LVLM 主干网络（LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B）上，并在六个基准测试（VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU）上进行了评估。

性能对比基准： CAPA 在所有基准测试中均一致优于现有的剪枝基准（FastV, Feather, Uniform pruning）。特别是在剪枝最为敏感的关键“转换层”中，CAPA 能够保持接近原始 Vanilla 模型的性能，而基准模型则会出现显著退化。
鲁棒性： CAPA 在高稀疏度水平下表现出卓越的鲁棒性。当基准模型在超过 50% 剪枝后出现性能骤降时，CAPA 在 75% 剪枝下仍能保持接近原始模型的准确度。
效率提升：
- 标记剪枝： 降低了与序列长度相关的二次方成本。
- FFN 近似： 消除了冗余层中占主导地位的 $O(d^2)$ 成本。
- 总影响： 结合后的方法在保持任务性能的同时，实现了 78% 的总 FLOPs 减少。
消融研究：
- 逻辑差异（Logit Divergence）： 基于注意力贡献度的剪枝比基于注意力分数的剪枝具有更低的 Hellinger 距离（更接近原始模型的输出分布），尤其是在长文本生成中。
- FFN 替换： 单纯跳过 FFN 层会导致性能下降，但使用哈达玛积进行替换成功恢复了大部分损失的性能，验证了线性假设。

5. 意义与主张

本文声称 CAPA 通过识别视觉标记在注意力机制和 FFN 处理中的不同行为，解决了 LVLM 优化中的关键空白。

剪枝范式的转变： 作者认为注意力分数不足以用于标记选择。通过引入注意力贡献度，他们提供了一个更可靠的信号，用于识别哪些视觉标记在功能上是必要的。
模态特定优化： 该工作强调，LVLMs 的效率提升需要针对视觉和文本模态采取不同的策略。具体而言，对视觉 FFN 中线性冗余性的识别，允许进行一种不适用于文本处理的架构简化。
效率-性能权衡： CAPA 实现了良好的权衡，在不损害模型鲁棒性或任务性能的前提下，提供了实质性的推理加速（78% 的 FLOPs 减少），并优于现有的仅限标记剪枝的基准方法。

6. 局限性

作者承认 CAPA 是一种作用于固定预训练主干网络的**事后（post-hoc）**策略。因此，它无法充分利用联合学习的标记选择与模型计算的优势。未来的工作方向建议包括：

设计用于自适应标记保留的学习控制器。
开发具有原生、高效 FFN 模块（专为视觉标记定制）的视觉-语言主干网络。
在多样化的分布偏移下评估这些策略，并研究学习策略的可解释性。