🤖 AI

Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning

本文提出了一种熵感知密集剪枝（Entropy-Aware Dense Pruning, EADP）框架，该框架通过利用统计熵过滤文本噪声，并利用次模最大化优化视觉标记选择，从而在密集指令下保留细粒度线索，进而提升视觉语言模型的效率。

原作者： Xuehui Wang, Xuankun Yang, Wei Shen

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuehui Wang, Xuankun Yang, Wei Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有点不知所措的助手（一个视觉-语言模型），它正试图回答一个关于图片的问题。这张图片是由数千个微小的拼图碎片（即 Token）组成的。助手会观察每一个碎片来寻找答案。

问题在于？观察每一个碎片太慢了，而且助手会感到疲劳。所以，我们通常尝试扔掉那些“无聊”的碎片，只保留重要的部分。这被称为Token Pruning（Token 剪枝）。

然而，论文的作者发现目前这种做法在两个特定的、有趣的方式上出了问题。他们构建了一个名为 EADP（熵感知密集剪枝，Entropy-Aware Dense Pruning）的新系统来修复这些问题。

以下是他们如何修复这些问题的，使用了简单的类比：

两个大问题

1. “静态噪声”问题（文本噪声）
想象一下，你正根据一段描述试图在一个拥挤的房间里找到一个特定的人，描述是：“图中是否有狗？”

旧方法： 助手将整个句子作为一个大块来倾听。它听到了“狗”，但也听到了“是”、“有”、“一只”和“在”。因为它把整个句子当作一个整体，这些无聊的词（“是”、“一个”）产生了大量的背景静态噪声。这种静态噪声淹没了重要的词（“狗”），导致助手看向了房间里错误的地方（比如空地板），而不是看向狗。
论文的解决方法： 他们意识到有些词（如“是”或标点符号）之所以具有“噪声”，是因为它们并不指向图像中的任何具体事物。他们使用了一种叫做熵（Entropy）（衡量混乱或随机性的指标）的数学技巧来检测这些有噪声的词。如果一个词的注意力像房间里的静态噪声一样散乱，他们就会将其过滤掉。如果一个词很集中（比如“狗”），他们就会保留它。这清理了指令，让助手明确知道该寻找什么。

2. “单点聚焦”问题（冗余）
想象一下，助手终于知道要看狗了。

旧方法： 它使用了一个“Top-K”规则。它找到了看起来最像狗鼻子的那块拼图碎片，并保留了它。然后它又找到了另一块看起来像鼻子的碎片，并再次保留。结果它得到了一堆 10 块看起来都只是狗鼻子的拼图碎片，却把耳朵、尾巴和身体都扔掉了。助手的鼻子很灵，但完全不知道狗的其他部分长什么样。
论文的解决方法： 他们意识到我们需要的是一个平衡的视角，而不只是“最好的”视角。他们将选择过程改为了一个名为**“设施选址”（Facility Location）**的游戏。
- 类比： 想象一下你在城市中布置消防站。你不会仅仅把 10 个站点都放在火灾最多的那个社区（那是“Top-K”的错误）。相反，你会布置这些站点，使得城市的每一个部分都靠近某个站点。
- EADP 对图像也这样做。它挑选出的 Token 能够覆盖整个狗（鼻子、耳朵、尾巴），而不会在重复内容上浪费空间。它确保最终缩减后的 Token 集合能讲述完整的故事，而不仅仅是一个微小的细节。

EADP 是如何工作的（分步说明）

清理指令： 它扫描文本提示，识别出“有噪声”的词（如“是”或“？”），并将它们移除。它保留那些“响亮”的词（如“烤箱”或“大象”），这些词真正指向图像中的物体。
制作地图： 它创建一张图像的热力图，显示重要事物所在的位置，但它会对热力图进行平滑处理，以免它只强调某一个微小的像素点。
智能选择： 它不再仅仅挑选地图上最热的点，而是玩起了“消防站”游戏。它挑选出一组分布足够广泛的 Token，以覆盖整个图像，确保没有重要的部分被遗漏。

结果

作者在许多不同的 AI 模型和困难问题（例如寻找图像中的微小文字或回答关于视频的复杂问题）上测试了该方法。

速度： 通过扔掉 80-90% 无用的图片碎片，AI 的运行速度提升了 2 到 5 倍。
聪明程度： 与其他在面对复杂图片或棘手问题时会感到困惑的方法不同，EADP 保持了 AI 的聪明才智。在某些情况下，它的得分甚至比原始的、未经过剪枝的 AI 还要高，因为这减少了 AI 被噪声干扰的情况。

简而言之： EADP 就像是 AI 视觉领域的一个智能编辑师。它剪掉了指令中无聊的词汇，并确保 AI 保留一组多样化且完整的图片碎片，从而在不损失细节观察能力的前提下，让运行速度变得更快。

技术摘要：熵感知密集视觉标记剪枝 (EADP)

问题陈述

视觉语言模型 (VLMs) 面临着由于处理密集图像块标记（visual patch tokens）所带来的二次方自注意力计算成本导致的显著计算瓶颈。虽然视觉标记剪枝是缓解这一问题的标准策略，通过仅保留一部分具有信息量的标记来降低开销，但现有方法在严格的部署约束下往往表现不佳。作者识别了当前范式中的两个关键失效模式：

文本噪声弥散 (Textual Noise Dispersion)： 标准的密集引导策略会计算每个文本标记与视觉标记之间的跨模态相似度，但这极易受到功能性词汇和标点符号的影响。这些元素会产生广泛弥散且近乎均匀的相似度响应，从而制造出一个无差别的“噪声底座”，淹没了具有实际语义意义的局部特征峰值。
特征碎片化与冗余 (Feature Fragmentation and Redundancy)： 标准的 Top-K 选择策略往往过度集中于少数极具判别性的局部区域（例如，反复采样物体的头部），而忽略了完整的语义部分。这导致了特征碎片化，并使得有限的标记预算被浪费在冗余的局部极大值上，无法提供全面的视觉表示。

方法论：熵感知密集剪枝 (EADP)

EADP 将视觉标记剪枝重新定义为一个由两个主要阶段组成的结构化压缩问题：鲁棒的指令相关性评分和非冗余的标记选择。

1. 弥散感知密集评分 (Dispersion-Aware Dense Scoring)

为了解决文本噪声问题，EADP 引入了一种用于指令相关性评分的熵引导去噪机制：

密集相似度计算： 计算非 EOS（终止符）CLIP 文本标记与投影后的视觉标记之间的跨模态余弦相似度。
熵引导过滤： 将每个文本标记的空间相似度分布转换为概率分布。通过计算该分布的信息熵（Information Entropy）来量化其弥散程度。高熵标记（表示注意力弥散，常见于功能性词汇）会被过滤掉，而低熵标记（表示注意力集中在特定实体上）则会被保留。
加权聚合： 保留的文本标记根据其熵进行加权（熵越低，权重越高），并进行聚合以形成密集引导得分 ( $S_D$ )。
得分融合： 该密集得分与源自 CLIP EOS 标记的全局引导得分 ( $S_G$ ) 进行融合，以平衡细粒度细节与宏观语义上下文，从而产生一个鲁棒的指令相关性得分 ( $S_I$ )。

2. 空间平滑与次模函数选择 (Spatial Smoothing and Submodular Selection)

为了解决特征碎片化和冗余问题，EADP 使用结构化方法取代了朴素的 Top-K 选择：

空间连续性与极化： 将相关性得分图重塑为二维形式，并使用高斯核进行平滑处理，以将激活传播到相邻的结构部分。随后应用非线性得分极化步骤（指数级锐化）来重新放大显著区域并抑制平滑后的背景噪声。
次模最大化 (Submodular Maximization)： 将标记选择建模为一个设施位置次模最大化 (Facility Location Submodular Maximization) 问题。其目标函数旨在最大化加权相似度之和，确保原始图像中的每一个标记都能由其在所选子集中最相似的对应项得到良好的表示。
贪心优化： 该目标函数具有次模性，允许使用一种高效的贪心算法，并具有 $(1 - 1/e)$ 的理论近似保证。这确保了所选子集能够覆盖图像的所有语义部分，同时惩罚局部冗余。

核心贡献

识别剪枝瓶颈： 本文系统地分析并识别了密集引导中的文本噪声弥散以及标准 Top-K 选择中固有的特征碎片化，认为这些是导致现有剪枝方法性能下降的主要原因。
熵感知密集评分： 提出了一种新颖的机制，通过统计熵来量化和过滤文本噪声，而无需依赖外部 NLP 解析器。这产生了一个细粒度且对噪声具有鲁棒性的指令相关性得分。
带有空间先验的次模标记选择： 作者将标记选择重新表述为设施位置次模最大化问题。结合空间平滑和得分极化，该方法保证了整体特征的代表性，并显式地惩罚了冗余，克服了贪心“追逐峰值”的局限性。

实验结果

EADP 在多种 VLM 架构（LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL, Qwen3-VL）以及多样化的基准测试（VQAv2, GQA, MME, MMBench, MM-Vet, DocVQA 等）上进行了评估。

性能： EADP 在所有测试的标记预算下均一致实现了最先进的 (SoTA) 性能。例如，在 LLaVA-1.5-7B 保留 128 个标记（77.8% 剪枝率）的情况下，EADP 达到了 63.5 的平均准确率，超越了 CDPruner (63.2) 和 DivPrune (62.5) 等强力基线模型。
鲁棒性： 该方法在极端压缩（例如仅保留 32 个标记）和高分辨率输入（如拥有 2880 个标记的 LLaVA-NeXT）下展现出了卓越的鲁棒性，能够保持与全量标记基线模型接近的无损性能。
效率： 虽然由于密集评分和次模优化的存在，EADP 引入了轻微的计算开销，但它显著提升了端到端推理延迟（例如实现 1.5x–2.0x 的加速），并将 FLOPs 相比未剪枝模型降低了高达 66%。
泛化能力： 该方法在不同模型规模（从 3B 到 13B 参数）和不同模态（静态图像和视频）之间实现了有效的泛化，特别是在需要细粒度推理和文档理解的任务中表现出色。

重要性与主张

本文主张，视觉标记剪枝不仅仅是一个评分任务，而是一个需要兼顾噪声鲁棒显著性和整体视觉覆盖率的结构化压缩问题。通过解决文本噪声弥散和特征碎片化这两个特定瓶颈，EADP 显著提升了 VLM 的精度-效率权衡。作者断言，他们的框架提供了一个具有数学原理的解决方案，能够在严格的标记预算下稳健地保留细粒度的视觉线索，使其非常适用于实时及资源受限的多模态应用。这项工作表明，未来的剪枝策略必须超越简单的 Top-K 启发式方法，转而整合结构化先验和噪声感知评分机制。