🤖 AI

CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

本文提出了跨注意力令牌剪枝（CATP）方法，通过利用多模态模型中的跨注意力层及改进的投票策略来精准筛选重要令牌，从而在显著提升推理效率的同时，实现了远超现有方法的精度保持。

原作者： Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CATP（交叉注意力令牌剪枝）的新技术，它的核心目标是：让大型多模态模型（既能看图又能聊天的 AI）跑得更快，同时还能保持“聪明”不“变傻”。

为了让你更容易理解，我们可以把整个 AI 模型想象成一家繁忙的“图文翻译事务所”。

1. 背景：事务所的困境

想象一下，这家事务所（BLIP-2 模型）由三部分组成：

摄影师（图像编码器）：负责拍照，把图片变成数据。
翻译官（Q-Former）：负责把图片里的信息“翻译”成文字能懂的语言。
大作家（LLM 大语言模型）：负责根据翻译好的内容，写出最终的回答。

问题出在哪里？
这家事务所里，大作家（LLM）占据了 87% 的精力和成本。他非常忙，每次处理任务时，都要阅读一大堆“便签条”（Token，即输入的信息片段）。

以前的做法是：为了让他快一点，直接随机扔掉一半的便签条。
后果：大作家因为少看了关键信息，写出来的回答经常驴唇不对马嘴，准确率暴跌。这就好比为了赶时间，把客户最重要的需求描述给撕了，只留了个“你好”，作家当然不知道写什么。

2. 核心方案：CATP（聪明的“便签筛选员”）

这篇论文提出了一种新的筛选方法，叫 CATP。它不再随机扔便签，而是派了一位**超级聪明的“筛选员”**来工作。

这位筛选员是怎么工作的？

他手里有两份资料：

图片便签（来自摄影师的原始图片信息）。
问题便签（来自用户的具体问题，比如“图里那只猫在干什么？”）。

以前的筛选员（旧方法）：
只看“问题便签”自己长得漂不漂亮（比如看字的大小、或者它自己盯着谁看），觉得重要的就留着。这往往抓不住重点。

CATP 筛选员（新方法）：
他会把“问题便签”和所有的“图片便签”放在一起，进行**“交叉对质”**（Cross-Attention）。

他会问：“这张图片里的‘猫’，和这个问题里的‘干什么’，关系有多紧密？”
如果关系紧密，这张便签就非常重要，必须保留。
如果关系疏远（比如图片里有个无关的杯子，但问题问的是猫），这张便签就可以扔掉。

投票机制（Voting Strategy）

为了更精准，CATP 还搞了一个**“全员投票”**：

事务所里有好多层“审核小组”（模型的不同层）和好多位“审核员”（不同的注意力头）。
每一张“图片便签”都会给“问题便签”投票。
投票规则：如果某张“问题便签”被很多“图片便签”强烈关注，它的得分就高；如果没人理它，得分就低。
最终决定：得分最低的便签被直接“剪掉”（Pruning），得分高的留下来。

比喻：就像在选代表去开会。以前的方法是随机抓人；CATP 的方法是，让所有参会者（图片信息）给候选人（问题信息）投票，谁被大家关注得最多，谁就留下来，确保留下的都是最能代表大家意见的“关键人物”。

3. 实验结果：快且准

研究人员在“看图说话”（VQA）的任务上测试了这种方法：

旧方法：如果只保留一半的信息，准确率可能从 50% 跌到 10% 以下（大作家彻底懵了）。
CATP 方法：即使只保留一半的信息，准确率依然能保持在 40% 以上，甚至接近不剪枝的水平。
提升幅度：相比旧方法，CATP 的准确率提升了 6.6 倍到 12.1 倍！

这意味着，我们可以让 AI 处理速度变快（因为要读的信息少了），但它依然能像以前一样聪明地回答问题。

4. 进一步的优化：给投票加“权重”

论文还发现，并不是所有的“图片便签”都一样重要。

有些图片区域（比如猫的眼睛）本身就很重要。
CATP 后来升级了：在投票时，重要的图片便签拥有更大的投票权。
这就像在选举中，资深专家的一票比普通路人的一票更重。这样筛选出来的结果更精准，准确率又提升了一截。

总结

CATP 就像是一个精明的“信息过滤器”。
它不再盲目地为了速度而牺牲质量，而是利用**“图片”和“文字”之间的深层联系**，精准地识别出哪些信息是核心，哪些是废话。

对普通用户的好处：未来的 AI 聊天机器人或看图工具，反应会更快，而且不会变笨，能更准确地理解你的意图。
核心思想：不要扔掉所有信息，要扔掉不相关的信息。

这篇论文证明了，通过巧妙地利用模型内部的“交叉注意力”机制，我们可以在不牺牲智能的前提下，让 AI 跑得像风一样快。

以下是基于论文《CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference》的详细技术总结：

1. 研究背景与问题 (Problem)

背景：大型多模态模型（如 BLIP-2）在视觉 - 语言任务（如图像描述、视觉问答 VQA）中表现卓越。BLIP-2 由冻结的图像编码器、冻结的大语言模型（LLM）解码器以及连接两者的查询 Transformer（Q-Former）组成。
核心挑战：
1. 计算成本高昂：BLIP-2 的参数量中，LLM 解码器占比超过 87%（27 亿参数），是推理时间的主要消耗者。
2. 现有剪枝方法失效：现有的状态最先进（SOTA）剪枝策略（如基于幅度的剪枝或基于自注意力概率的剪枝）在应用于 BLIP-2 时，虽然能降低计算成本，但会导致模型精度大幅下降。
3. 多模态特性未被利用：传统的单模态剪枝规则无法有效处理多模态模型中不同模态（图像与文本）之间的复杂交互关系。
目标：设计一种端到端的后训练剪枝流程，在显著减少计算量的同时，保持多模态模型在 VQA 等任务上的推理精度。

2. 方法论 (Methodology)

论文提出了 CATP (Cross-Attention Token Pruning)，一种针对 BLIP-2 模型的查询令牌（Query Token）剪枝方法。其核心思想是利用 Q-Former 中的**交叉注意力（Cross-Attention）**机制来判断查询令牌的重要性。

核心机制：

重要性评估依据：
- 查询令牌的重要性取决于它与图像令牌（Image Tokens）之间的交叉注意力概率。
- 与图像令牌高度相关的查询令牌必须保留，以维持模型精度。
- 由于交叉注意力概率经过 Softmax 处理，直接累加会导致总和为 1，无法区分绝对重要性，因此不能简单累加。
投票策略 (Voting Strategy)：
- 分层与多头聚合：CATP 利用 Q-Former 中每隔一个块插入的交叉注意力层（共 6 层，每层包含多个注意力头）。
- 投票过程：
  - 对于每个查询令牌，每个图像令牌根据其与该查询令牌的交叉注意力概率进行“投票”。
  - 具体规则：对于每个注意力头，图像令牌将 $L_0 - n$ 分投给交叉注意力概率排名第 $n$ 的查询令牌（ $L_0$ 为查询令牌总数）。
  - 分数累积：将每个查询令牌在所有层（Layers）和所有头（Heads）中获得的票数累加，得到最终的重要性分数。
- 剪枝执行：根据重要性分数，剔除分数最低的 $p$ 比例的查询令牌（ $p$ 为剪枝率）。
进阶优化 (Advanced Variants)：
- 图像令牌加权投票：引入图像令牌自身的自注意力分数作为权重。自注意力分数高的图像令牌被认为更重要，其投票权重相应增加。
- 层重要性分析：研究发现，Q-Former 中不同层的交叉注意力信息价值不均。初始层和最终层提供的信息比中间层更有价值，因此在剪枝决策中应更重视这些层。

3. 关键贡献 (Key Contributions)

提出 CATP 框架：首次将交叉注意力机制专门用于多模态模型的查询令牌剪枝，解决了单模态剪枝方法在多模态场景下精度骤降的问题。
创新的投票聚合算法：设计了一种将交叉注意力概率转化为重要性分数的投票机制，有效解决了概率归一化带来的信息丢失问题，能够更准确地识别关键令牌。
多模态信息融合：通过利用交叉注意力，CATP 在计算重要性时同时考虑了文本（查询）和图像（上下文）的信息，实现了比单一模态剪枝更精准的决策。
细粒度优化策略：提出了基于图像令牌权重的加权投票策略，并揭示了不同注意力层对剪枝效果的差异性，为后续优化提供了理论依据。

4. 实验结果 (Results)

实验在 BLIP-2 (blip2-opt-2.7b) 模型和 10% 采样率的 VQA 数据集上进行，对比了 L2 范数基线和自注意力（SpAtten）基线。

精度提升显著：
- 在保持 1/2 令牌的情况下，CATP 的准确率（41.14% - 44.17%）远高于 L2 范数基线（9.50%）和自注意力基线（44.22% 在特定条件下，但在高剪枝率下表现极差）。
- 在保持 1/8 令牌的高压缩率下，CATP 仍能保持 23.27% - 30.17% 的准确率，而基线方法几乎失效（L2 范数仅 8.91%，自注意力仅 1.92%）。
性能倍数：
- 相比 L2 范数基线，CATP 的准确率提升了高达 6.6 倍。
- 相比自注意力基线，CATP 的准确率提升了高达 12.1 倍。
加权投票效果：引入图像令牌重要性加权后，在激进剪枝率（如保留 1/8）下，准确率从 23.27% 提升至 29.30%，进一步验证了加权策略的有效性。
层重要性发现：仅使用第 1 层或第 6 层（首尾层）的交叉注意力进行剪枝，其效果优于使用中间层，最高可达中间层效果的 3.2 倍。

5. 意义与价值 (Significance)

解决效率与精度的权衡：CATP 成功打破了多模态模型剪枝中“效率提升必然导致精度崩塌”的困境，为在资源受限设备上部署大型多模态模型提供了可行方案。
方法论创新：证明了在多模态模型中，利用模态间的交互信息（交叉注意力）比利用模态内部信息（自注意力）更能准确评估令牌重要性。
通用性潜力：虽然目前基于 BLIP-2 验证，但其利用交叉注意力进行令牌筛选的思路可推广至其他基于 Transformer 架构的多模态模型（如 LLaVA 等），对推动多模态大模型的轻量化发展具有重要意义。

总结：CATP 通过巧妙利用 Q-Former 中的交叉注意力机制，设计了一套基于投票的令牌重要性评估体系，在大幅降低 BLIP-2 推理计算成本的同时，奇迹般地保留了甚至提升了模型在视觉问答任务上的精度，是目前多模态模型剪枝领域的一项突破性工作。