💻 computer science

UniPrune: Unified Progressive Visual Token Pruning with Information-Aware Budget Allocation for Efficient LLaVA-Style Vision Language Models

UniPrune 是一个统一的渐进式视觉标记剪枝框架，它通过将编码器阶段的语义重要性-多样性剪枝与 LLM 阶段的金字塔型丢弃进行协同结合，并辅以信息感知预算分配和跨阶段信息连续性机制，从而使 LLaVA 式视觉语言模型即使在极端的压缩比下也能实现卓越的效率和性能。

原作者： Jianhua Cui, Meizhou Ding, Ziru Niu, Wei Wang, Lifeng Han, Peng Zhao

发布于 2026-08-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jianhua Cui, Meizhou Ding, Ziru Niu, Wei Wang, Lifeng Han, Peng Zhao

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代能够看和说的智能人工智能系统正变得异常强大，但它们也带来了沉重的计算负担。这些视觉语言模型的工作原理是首先将图像转换为长序列的小型数字碎片，通常称为“标记”（tokens），这些碎片代表了图像的不同部分。一张标准的照片可能会被分解成数百个这样的碎片。随后，系统会将整个序列与文本一起进行处理，就像人类在看图表的同时阅读句子一样。问题在于，连接这些碎片所需的数学运算量会随着碎片数量的增加而呈指数级增长。如果一张图像生成了 576 个标记，计算机必须进行大量的计算工作来理解它们之间的相互关系，即便其中许多标记代表的是像白墙或一片天空这样无关紧要的背景细节。这种低效使得在标准硬件上运行这些强大的系统，或将其用于视频分析等实时任务变得十分困难。

研究人员长期以来一直试图通过在系统开始工作前移除不必要的碎片来解决这个问题。有些方法在最开始阶段就充当过滤器，仅根据图像本身的外观来丢弃标记。另一些方法则在系统开始同时处理文本和图像后才介入，移除那些对特定问题看似无关的碎片。然而，这两种方法都存在盲点：早期的过滤器往往会丢弃重要的细节，因为它们不知道用户在问什么；而后期的过滤器则在执行删除操作之前，就浪费了处理整张图像的能量。一项新研究引入了一种统一的方法，结合了这两种方法的优点，为这些智能系统创造了一条更高效的路径。

由崔建华（Jianhua Cui）和丁梅州（Meizhou Ding）领导的研究小组开发了一个名为 UniPrune 的框架，该框架将标记缩减视为一个两步走的旅程，而非单一事件。想象一下，你正在为旅行打包行李，但还不确定具体的天气。你既不会把所有东西都扔进去然后听天由命，也不会在已经装好整个包之后才决定保留哪些物品。相反，你可能会先将相似的物品归类并保留最具代表性的那些，然后一旦知道了目的地，再进行更精确的选择。这本质上就是 UniPrune 所做的：它首先利用视觉模式对图像数据进行广泛的清理，然后随着系统开始理解问题的语境，进行第二次更精准的清理。

第一步过程发生在图像被扫描之后、语言模型介入之前。系统根据相似性将视觉标记进行聚类，就像根据大致主题对一堆混合的照片进行分类一样。从每个组中，它保留最重要的标记并丢弃其余部分。这消除了明显的冗余，例如代表同一片蓝色天空的多个标记。然而，研究人员意识到，在这个阶段仅仅将标记数量减半是有风险的。如果系统过早地进行过度激进的裁剪，可能会丢失在稍后回答特定问题时至关重要的标记。为了解决这个问题，他们引入了一种动态预算策略。系统不再使用固定规则来决定第一阶段保留多少标记，而是测量图像的复杂程度。一个主体清晰的简单图像会获得更紧凑的预算，而一个复杂、繁忙的场景则被允许保留更多标记。这确保了系统既能保留足够的细节来处理难题，又不会在处理简单问题时浪费能量。

完成初步选择后，剩余的标记将被传递给大型语言模型，模型开始将其与文本一起处理。在这里，系统采用了类似于金字塔结构的第二种剪枝策略。随着数据在模型的更深层移动，系统会逐渐移除更多的标记。其逻辑在于，随着模型在问题的语境下更好地理解图像，哪些信息不再需要就会变得更加清晰。研究人员发现，分配这两个阶段工作的最有效方式不是平均分配标记，而是遵循特定的数学平衡。他们发现，第一阶段之后保留的理想标记数大约是起始数量与最终目标数量乘积的平方根。他们将这一经验法则称为“感知信息的预算”，它使系统能够在节省足够计算能力的同时，又不牺牲回答问题的准确性。

为了确保第一阶段不会意外删除第二阶段可能会用到的标记，研究人员增加了第三层智能。他们分析了视觉标记在图像编码器内部是如何相互作用的。他们发现，有些标记充当全局整合器，连接着整个图像的信息，而另一些则只是局部检测器。通过在第一次裁剪期间给予这些全局整合器额外的权重，系统确保了传递给语言模型的标记构成了一个高质量的基础。这种“跨阶段连续性”意味着第二阶段拥有一个更好的起点，使其能够对后续的移除决策做出更明智的选择。

该框架在两个主要视觉语言模型家族上的测试结果令人瞩目。当研究人员将系统推向极端极限，仅保留极小比例的原始标记（有时仅为 576 个中的 24 个）时，这种新方法显著优于现有技术。尝试一次性完成所有裁剪的单阶段方法在这些条件下准确率大幅下降。相比之下，两阶段的 UniPrune 方法保持了高性能，能够正确回答其他方法会错过的关于物体和场景的问题。例如，在一项标准的视觉理解测试中，新方法在仅使用一小部分计算能力的情况下，保留了完整未压缩模型 90% 以上的性能。

除了准确性之外，该研究还测量了在实际硬件上运行这些模型的实用效益。通过在过程早期减少标记数量，系统大幅降低了运行模型所需的峰值内存。对于在资源有限的设备上部署这些技术而言，这是一个关键因素。研究人员计算出，与运行没有任何剪枝的模型相比，该方法减少了一半以上的总计算工作量，且比那些等待到最后才剪枝的方法效率更高。由新的智能预算和评分机制带来的额外开销微乎其微，占总时间的比例不到 1%，这意味着效率提升几乎完全是纯粹的。

这项研究表明，高效人工智能的关键不仅在于如何“走捷径”，还在于理解在哪里以及何时进行裁剪。通过承认视觉冗余具有两种不同的形式——一种基于图像本身，另一种基于任务本身——研究人员创建了一个能够同时处理这两者的系统。研究结果表明，多阶段统一方法优于试图用一步解决问题的做法。这项工作为使强大的视觉语言模型更快、更易普及提供了一条清晰的路径，证明了只要策略得当，我们就可以在剥离冗余的同时，保留这些系统之所以智能的本质。

技术摘要：UniPrune

问题陈述

LLaVA 式视觉语言模型（VLM）由于视觉 Transformer（ViT）生成的视觉标记（tokens）过多，面临着严重的效率瓶颈。像 LLaVA-1.5 和 LLaVA-NeXT 这样的当代模型，尽管经验证据表明大约 70% 的标记携带的语义信息微乎其微，但仍会为每张图像生成数百到数千个标记（例如 576 到 2880 个）。由于 Transformer 的自注意力计算成本随序列长度呈二次方增长，这种冗余严重影响了推理速度和内存使用。

现有的压缩策略分为两种单阶段范式，各具局限性：

编码器阶段剪枝（Encoder-Stage Pruning）： 这些方法在视觉编码器之后但在大型语言模型（LLM）之前对标记进行剪枝。虽然这些方法能有效减少早期层的计算，但由于缺乏文本引导的上下文，在极端压缩率下（例如保留 <5% 的标记）会导致严重的性能下降，因为它们无法区分任务相关标记与视觉冗余标记。
LLM 阶段剪枝（LLM-Stage Pruning）： 这些方法通过跨模态注意力在 LLM 层内逐步丢弃标记。虽然它们利用了任务上下文，但无法节省早期 LLM 层的计算，因为在这些层中仍必须处理所有原始标记，从而导致了 FLOPs 的浪费。

识别出的核心挑战在于，这两种单阶段方法都未能捕捉到完整的视觉标记冗余全貌：即视觉语义冗余（基于外观的全局冗啦）和任务条件冗余（相对于特定文本查询的冗余）。

方法论：UniPrune 框架

UniPrune 提出了一种统一的多阶段视觉标记剪枝框架，该框架协同结合了编码器阶段和 LLM 阶段的压缩。该流水线由五个关键步骤组成：

1. 信息感知预算分配 (IABA)

在开始剪枝之前，框架会根据最终目标预算 ( $N_2$ )，动态确定要从编码器传递到 LLM 的中间标记预算 ( $N_1$ )。

几何平均值规则： 经验分析表明，最优的 $N_1$ 遵循近乎几何平均值的规则： $N_1^* \approx \beta \sqrt{N \cdot N_2}$ ，其中 $\beta \in [1.3, 1.8]$ 。
图像适应性： 预算根据图像的信息密度 ( $\rho$ , 通过标记相似度计算) 进行调整。复杂的图像（高密度）获得较大的 $N_1$ ，而简单的图像则允许更激进的早期压缩。

2. 第一阶段：语义重要性-多样性剪枝 (SID-Prune)

该阶段在编码器输出处运行，将标记数量从 $N$ 减少到 $N_1$ 。

PSCA 分组： 使用主成分语义分析 (PSCA) 和截断奇异值分解 (SVD) 将标记划分为 $K$ 个语义连贯的组。
组内非极大值抑制 (Intra-Group NMS)： 在每个组内，根据增强的重要性得分对标记进行排名。非极大值抑制 (NMS) 保留得分最高的标记，并抑制高度相似的标记，直到满足该组的配额。
跨阶段信息连续性 (CSIC)： 为了确保传递给 LLM 的标记在结构上适用于跨模态注意力，重要性得分通过“LLM 友好度”得分进行了增强。该得分源自 CLIP-ViT-L/14 第 22 层的注意力熵 (attention entropy)。具有较高熵（作为全局信息整合器）的标记比低熵（局部特征检测器）的标记更受优先考虑。

3. 第二阶段：LLM 内的金字塔式丢弃 (Pyramid-Drop)

$N_1$ 个标记被投影并与文本标记拼接，然后由 LLM 处理。

渐进式丢弃： 遵循 PyramidDrop 策略，视觉标记在多个 LLM 阶段（例如 4 个阶段）中被逐步丢弃。
金字塔调度： 丢弃比例随层深度呈算术级数增加。早期层保留更多标记以支持丰富的跨模态推理，而深层层则在日益压缩的表示上进行操作。

核心贡献

两阶段协同流水线： UniPrune 是第一个系统地结合编码器阶段语义分组与 LLM 阶段渐进式丢弃的框架，利用了视觉语义冗余与任务条件冗余的互补性。
信息感知预算分配 (IABA)： 一种基于经验驱动且具有图像适应性的策略，能够优化两个阶段之间的压缩预算分配，防止了激进早期剪枝导致的“信息丢失”以及延迟剪枝导致的“计算浪费”。
跨阶段信息连续性 (CSIC)： 一种通过使用特定 ViT 层的注意力熵来为标记评分，从而连接两个阶段的新颖机制，确保编码器阶段保留对 LLM 后续注意力机制最有益的标记。
无需训练的效率： 该框架不需要额外的训练或可学习参数。IABA 和 CSIC 的计算开销极小（<1% 的总推理时间）。

实验结果

实验在 LLaVA-1.5 (7B 和 13B) 和 LLaVA-NeXT (7B) 上针对五个基准测试（GQA, MME, POPE, MMBench, SEED-Bench）进行。

极端压缩下的性能： 在 4.2% 的标记保留率（24 个标记）下，UniPrune 实现了 90.2% 的平均性能，显著优于最佳编码器阶段基线（PruneSID: 85.2%）和最佳 LLM 阶段基线（PyramidDrop: 70.2%）。在 1.4% 保留率（8 个标记）下，UniPrune 维持了 77.1% 的性能，而单阶段方法分别跌至 67.5% 和 51.1%。
效率提升： 在 LLaVA-1.5-7B 上，UniPrune 将总推理 FLOPs 从 3.82 TFLOPs（未压缩）降低到 1.53 TFLOPs，同时将峰值 GPU 显存从 19.0 GB 降低到 15.7 GB。这代表了巨大的效率提升，而性能仅下降了约 9.8%。
泛化能力： 该框架在不同模型规模（7B vs. 13B）和分辨率（标准 vs. 高分辨率 LLaVA-NeXT）下均展示了持续的改进。

意义与主张

论文声称，UniPrune 通过认识到视觉标记冗余是多维度的，解决了单阶段压缩的根本局限性。通过证明编码器阶段和 LLM 阶段的方法捕捉到的冗余类型基本不同（交并比 IoU 仅为 0.12–0.23），作者认为统一的多阶段方法对于实现最优效率是必要的。

作者将 UniPrune 定位为一个实用的、无需训练的解决方案，它能够在实现**极端压缩率（<5% 标记保留）**的同时，避免以往研究中出现的严重精度下降。他们总结道，这项工作为视觉标记压缩提供了一个新的视角，为研究高效多模态推理中的多阶段、跨模态冗余削减提供了动力。