💻 computer science

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

HAWK 是一种无需训练的多模态大模型视觉 Token 剪枝方法，它通过感知不同注意力头在视觉任务中的重要性差异，结合文本引导机制精准保留关键视觉信息，从而在大幅降低推理延迟和显存占用的同时，实现了在主流基准测试中保持甚至超越原模型精度的效果。

原作者： Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HAWK（头重要性感知视觉 Token 剪枝）的新方法，旨在让多模态大语言模型（MLLM，即能“看”能“说”的 AI）变得更聪明、更快速、更省钱。

为了让你轻松理解，我们可以把 AI 处理图片的过程想象成一位侦探在分析案发现场。

1. 背景：侦探的“信息过载”危机

现在的 AI 侦探（多模态模型）非常强大，但有一个大毛病：太贪心，记性太好，导致脑子转不动。

现状：当 AI 看一张照片时，它不会像人眼那样直接“看”整体，而是把照片切成几千个小方块（称为 Visual Tokens，视觉令牌）。
问题：这些方块太多了！比如一张图可能产生 1000 多个小方块，而文字指令只有几十个。AI 的大脑（注意力机制）需要同时处理所有这些方块，计算量呈爆炸式增长。
后果：这就好比侦探在案发现场，不仅要看指纹、鞋印，还要把墙上的每一粒灰尘、每一根头发都拿放大镜看一遍。结果就是：反应太慢（延迟高），太费电（显存占用大），甚至根本跑不起来。

2. 旧方法的误区：平均主义

为了解决这个问题，以前的方法（Visual Token Pruning）试图扔掉一些不重要的方块，只保留关键的。

旧思路：以前的方法假设 AI 大脑里的所有“分析员”（Attention Heads，注意力头）都是能力平均、分工相同的。它们认为：只要把大家觉得重要的方块加起来，取个平均值，就能知道哪些该留、哪些该扔。
比喻：这就像是一个侦探团队，队长认为所有警员（分析员）看东西的角度都一样。于是，只要有一个警员觉得“这粒灰尘不重要”，大家就都把它扔了。
缺陷：实际上，每个警员（注意力头）的特长是不同的！有的擅长找文字，有的擅长找颜色，有的擅长找形状。如果把它们混为一谈，可能会误删掉某个专家眼中的关键线索，导致破案失败（AI 变笨）。

3. HAWK 的突破：识人善任，精准剪枝

HAWK 的核心思想就是：承认每个“分析员”（注意力头）的特长不同，并据此决定保留哪些信息。

第一步：给每个“分析员”打分（静态权重）

HAWK 首先做了一个实验：它把 AI 大脑里的每个“分析员”轮流“关禁闭”（屏蔽掉），看看谁缺席时，AI 破案能力下降得最厉害。

发现：确实，有的头一缺席，AI 就瞎了；有的头缺席，AI 几乎没感觉。
结果：HAWK 给每个头打上了重要性分数。这就好比给侦探团队排了个座次：老张（头 A）是找线索的专家，必须留着；小李（头 B）是看背景的，可以少留点。

第二步：结合“侦探的指令”（动态引导）

光知道谁厉害还不够，还得看案子是什么。

如果用户问：“图里有猫吗？”那么“找猫”的专家（头）就特别重要。
如果用户问：“图里的字是什么？”那么“找字”的专家就特别重要。
HAWK 会实时分析用户的文字指令，动态调整每个“分析员”的权重。

第三步：精准“断舍离”

HAWK 把**“谁厉害（静态权重）”和“现在需要什么（动态指令）”结合起来，给照片里的每一个小方块算出一个综合重要性得分**。

操作：得分高的方块（关键线索）坚决保留；得分低的方块（无关紧要的灰尘）果断扔掉。
比喻：这就像侦探在整理证据时，不再是一刀切，而是根据老张、小李各自的特长，结合案情，只把最核心的证据（比如指纹、凶器）收进档案袋，把那些没用的废纸全扔了。

4. 效果：快、准、狠

实验结果显示，HAWK 的效果非常惊人：

保留率极高：在 Qwen2.5-VL 模型上，HAWK 扔掉了 80.2% 的视觉方块（相当于把 100 个证据只留 20 个），但 AI 的准确率依然保留了 96.0%！
速度快了：推理速度（延迟）提升了约 26%，就像侦探从“慢慢翻遍整个房间”变成了“直奔核心证据”。
省内存：显存占用也大幅降低，让 AI 能在更普通的电脑上运行。
无需训练：最棒的是，HAWK 不需要重新训练 AI 模型（Training-free），就像给现有的侦探团队换了一套更聪明的“整理档案”流程，直接就能用。

总结

HAWK 就像是一位经验丰富的侦探队长。
他不再让所有警员平均用力，而是清楚知道每个警员的特长，并且根据案件需求，只保留最关键的线索，扔掉所有垃圾信息。

这样做的好处是：

AI 变快了（不用处理垃圾信息）。
AI 变聪明了（没误删关键线索）。
AI 变便宜了（省了算力和内存）。

这项技术让多模态大模型在实时应用（如自动驾驶、实时视频分析）中变得真正可行。

HAWK 论文技术总结

1. 研究背景与问题 (Problem)

在多模态大语言模型 (MLLMs) 中，视觉输入（如图像、视频）通常被编码为大量的视觉 Token。随着分辨率提高或视频长度增加，视觉 Token 的数量急剧上升（远超文本 Token）。由于基于 Attention 的模型计算复杂度随 Token 长度呈二次方增长，这导致了显著的推理延迟和计算/显存开销，使得 MLLM 难以在实时或资源受限的场景中部署。

现有方法的局限性：
目前的视觉 Token 剪枝（Visual Token Pruning）方法主要分为基于相似度、基于微调和基于 Attention 的三类。然而，大多数现有方法存在一个核心假设缺陷：它们假设所有 Attention Head（注意力头）在视觉理解中贡献均等。

实际上，不同的 Head 捕获不同的视觉语义，在视觉处理中扮演不同的角色。
简单地对所有 Head 进行算术平均或同等对待，会导致保留冗余 Token 的同时，意外剪除具有高语义价值的 Token，从而损害模型性能。

2. 核心方法：HAWK (Methodology)

HAWK (Head Importance-Aware Visual Token Pruning) 是一种无需训练 (Training-free) 的视觉 Token 剪枝方法。其核心思想是感知并量化不同 Attention Head 的重要性，结合文本引导的注意力机制，更精准地评估视觉 Token 的保留价值。

2.1 核心组件

HAWK 的工作流程包含以下三个关键步骤：

静态视觉 Head 重要性权重 (Static Visual Head Importance Weights)
- 原理：通过消融实验（Ablation Study）量化每个 Head 对视觉理解的贡献。
- 实现：在多个基准数据集上，依次“屏蔽”（Ablate）每个 Head 对视觉 Token 的访问，测量模型性能下降幅度 ( $\Delta S$ )。
- 计算：将性能下降幅度归一化并跨数据集平均，得到每个 Head 的权重向量 $W$ 。权重越高，说明该 Head 越重要。
动态文本引导注意力分数 (Dynamic Text-Guided Attention Scores)
- 原理：视觉 Token 的重要性是动态的，取决于当前的文本指令（User Instruction）。
- 实现：利用 LLM 第一层的 Query ( $Q$ ) 和 Key ( $K$ ) 投影矩阵，计算文本 Token 与视觉 Token 之间的注意力分数。
- 去偏处理：为了消除位置编码（RoPE）带来的位置偏差，确保注意力仅反映语义对应关系，HAWK 在此步骤刻意省略了 RoPE 操作。
- 聚合：对所有文本 Token 的注意力分数进行平均，得到每个视觉 Token 在特定 Head 下的文本相关性分数 $C$ 。
Head 感知剪枝 (Head Importance-aware Pruning)
- 融合：将静态的 Head 权重 $W$ 与动态的文本相关性分数 $C$ 结合，计算每个视觉 Token 的最终重要性得分 $I$ ：
  $I_k = \sum_{i=1}^{N_h} w_i \cdot c_{i,k}$
- 剪枝：根据预设的剪枝比例，保留得分 $I$ 最高的 Top-K 个视觉 Token，丢弃其余冗余 Token。

2.2 方法特点

无需训练：仅需一次离线计算 Head 权重，推理时直接应用，无需微调模型参数。
即插即用：可无缝应用于不同的 MLLM 架构（如 Qwen2.5-VL, InternVL 等）。
语义感知：既考虑了 Head 的内在重要性，又考虑了当前任务指令的上下文相关性。

3. 主要贡献 (Key Contributions)

发现与量化：首次系统性地揭示了 MLLM 中不同 Attention Head 在视觉处理中扮演不同角色，并提出了量化 Head 重要性的方法。
提出 HAWK：设计了一种全新的、完全无需训练的 Head 感知视觉 Token 剪枝框架，通过融合 Head 权重和文本引导注意力，实现了更精准的剪枝。
SOTA 性能：在多个主流视觉 - 语言基准测试中，HAWK 在大幅减少 Token 数量的同时，保持了优于现有所有基线方法（如 FastV, DivPrune, CDPruner）的精度。

4. 实验结果 (Results)

实验在 Qwen2.5-VL-7B 和 InternVL3-8B 模型上进行了广泛验证，涵盖图像理解（固定分辨率、原生分辨率）和视频理解任务。

精度保持 (Accuracy Retention)：
- 在 Qwen2.5-VL 上，剪枝 80.2% 的视觉 Token 后，HAWK 保留了 96.0% 的原始准确率（平均相对性能）。
- 相比之下，次优方法（如 FastV）在同等剪枝率下仅保留了约 92.6% 的性能。
- 即使在极端剪枝率（90%）下，HAWK 仍能保持 89.7% 的性能，显著优于其他方法。
效率提升 (Efficiency Gains)：
- 延迟降低：端到端推理延迟降低至原始时间的 74.4%（即加速约 1.34 倍）。
- 显存优化：显著减少了 KV Cache 大小和 GPU 显存占用（例如在 80% 剪枝率下，显存从 16.9GB 降至 15.7GB，KV Cache 从 668MB 降至 148MB）。
泛化能力：
- 在 InternVL3 模型上同样表现出色，剪枝 80% 后保留 94.1% 性能。
- 在视频理解任务（VideoMME, WorldSense）中，HAWK 同样保持了领先地位，证明了其在长序列处理中的有效性。

5. 意义与价值 (Significance)

理论突破：打破了以往“所有 Attention Head 贡献均等”的假设，为理解 MLLM 内部视觉处理机制提供了新视角。
实用价值：提供了一种低成本、高效率的推理加速方案。由于无需训练，该方法可以立即应用于现有的开源或闭源 MLLM，极大地降低了部署门槛。
应用前景：对于实时视频分析、移动端多模态应用等对延迟和显存敏感的场景，HAWK 提供了极具竞争力的解决方案，使得在资源受限设备上运行高性能多模态模型成为可能。

总结：HAWK 通过敏锐地捕捉 Attention Head 的异质性，实现了“去粗取精”的 Token 剪枝，在大幅压缩计算量的同时，最大程度地保留了模型的核心推理能力，是目前多模态模型推理优化领域的 State-of-the-Art 方法。