🤖 AI

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

本文介绍了 TOPS，一种无需训练且与模型无关的视觉 Token 修剪方法，它通过基于任务相关性、信息覆盖度和语义多样性来构建最优保留集，从而在保持甚至提升性能的同时，显著提高多模态大语言模型（MLLM）的推理效率。

原作者： Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个巨大的图书库（视觉标记/visual tokens），一个超级聪明的机器人（多模态大语言模型）需要阅读这些书来回答问题。问题在于，这个图书馆实在太庞大了，导致机器人感到应接不暇，阅读速度极慢，并且仅仅是翻页就会耗尽所有的能量。

长期以来，人们一直试图通过告诉机器人“跳过那些无聊的页面！”来提供帮助。但旧的方法有点笨拙：

“注意力”（Attention）方法：就像一个只看那些字体最大、最粗黑页面的机器人。它经常会因为某些细节是用小字写的就忽略掉重要的细节，或者因为它看起来很相似就对着同一个段落反复阅读五遍。
“多样性”（Diversity）方法：就像一个试图挑选看起来各不相同的页面的机器人。它可能会选出一页关于猫的页面和一页关于车的页面，但它可能会在不经意间扔掉了那页真正能回答用户特定问题的页面。

TOPS 登场：聪明的图书管理员

这篇论文介绍了一种名为 TOPS（Token Optimal Preservation Sets，标记最优保留集）的新方法。TOPS 不再只是靠猜测来决定保留哪些页面，而是像一位遵循第一性原理、高度组织化的图书管理员，在决定哪些内容留在书架上之前，会提出三个具体的问题：

“这个页面与问题相关吗？”（任务相关性/Task Relevance）
- 类比： 如果用户问“汽车是什么颜色的？”，图书管理员立刻就知道要保留有汽车的那一页，并扔掉关于天空的那一页。
“这个页面涵盖了新内容吗？”（信息覆盖度/Information Coverage）
- 类比： 如果我们已经有一页描述了汽车的红色车漆，我们就不需要第二页也说同样的话。我们需要的是能告诉我们一些新东西的页面，比如汽车的车牌号。
“这个页面与我们已选中的其他页面相比是否独特？”（语义多样性/Semantic Diversity）
- 类比： 我们不想要一叠五页都说“汽车是红色的”页面。我们想要一页说“红色”，一页说“快速”，再一页说“陈旧”。这确保了我们在不重复的情况下获得完整的图景。

在现实生活中是如何运作的

论文表明，TOPS 不需要经过专门训练（它是“无需训练”的/training-free）。它可以被插入到不同的机器人大脑（如 LLaVA、Qwen 或 InternVL）中，并立即投入使用。

“两阶段”清理法： 想象机器人正在阅读一段长视频。
- 第一阶段： TOPS 进行快速扫描，在机器人开始深度思考之前，就把明显的垃圾信息（如空白帧或模糊镜头）扔掉。
- 第二阶段： 在机器人阅读的过程中，TOPS 会密切关注对话。如果机器人开始谈论某个特定的细节，TOPS 会确保最相关的视觉页面仍然存在，从而针对该特定问题对选择进行精细化调整，达到完美效果。

结果：少即是多

论文声称，通过使用这种聪明的“三问法”，TOPS 可以扔掉高达 90% 的视觉页面（标记/tokens），而机器人的回答水平依然能与阅读了所有内容时一样出色。

神奇的数据： 在一个特定模型（LLaVA-NeXT）上，TOPS 移除了 77.8% 的视觉数据，但实际上甚至略微提升了机器人的性能（达到 100.6%）。
为什么？ 论文指出，通过迫使机器人忽略“废话”和冗余页面，它实际上阻止了机器人产生困惑或编造事实（幻觉）。这就像清理杂乱的桌面；有时，拥有更少的资料反而能帮你更快地找到正确的东西，并让你思考得更清晰。

总结

TOPS 是一种让 AI 模型更快、更聪明的新方法，它扮演着一个更严格、更聪明的编辑角色。它不再仅仅是挑选那些“最响亮”或“最不同”的视觉线索，而是构建了一套完美的、紧凑的线索集，这些线索既相关于问题，又覆盖了所有必要的信息，且彼此不重复。其结果是，机器人思考得更快，占用内存更少，并且能给出更好的答案。

技术摘要：TOPS - 基于第一性原理的视觉标记剪枝

1. 问题陈述

多模态大语言模型（MLLMs）在推理和理解方面取得了显著进展，但面临着高计算和内存开销的问题。这种低效源于在标记化过程中生成的海量视觉标记（tokens），这些标记需要通过所有的 Transformer 层进行处理。由于自注意力机制的复杂度随序列长度呈平方级增长，高分辨率图像和视频输入造成了严重的性能瓶颈。

现有的视觉标记剪枝方法试图通过移除冗余标记来缓解这一问题，但它们依赖于启发式评分方案，而非基于原则性的目标。目前的方法大致分为三类，每类都有其特定的局限性：

基于注意力的方法： 保留具有高注意力得分的标记，但往往会保留语义冗余的标记。
基于多样性的方法： 鼓励语义分散性，但往往忽略了用户指令，可能丢弃任务关键性的证据。
结合类方法： 虽然集成了多种标准，但缺乏对标记剪枝内在目标的根本性公式化定义，仅将其视为一个排名问题，而缺乏关于为何特定标准是充分的理论依据。

2. 方法论：第一性原理公式化

作者提出了 TOPS（Token Optimal Preservation Sets，最优标记保留集），这是一个基于信息论、从第一性原理出发推导出的无需训练且与模型无关的剪枝模块。

2.1 理论基础

标记剪枝的核心目标是找到一个子集 $S \subseteq V$ （其中 $V$ 是完整的视觉标记集合），使得该子集与视觉标记及文本查询 $Q$ 的联合分布之间的互信息最大化：
$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$

通过应用互信息的链式法则，作者将该目标分解为三个基本原则：

任务相关性 ( $I(S; Q)$ )： 子集必须包含有关用户查询的信息。
信息覆盖度 ( $I(S; V | Q)$ )： 在给定查询的情况下，子集必须保留关于原始视觉集合 $V$ 的足够信息，使条件熵 $H(V | S, Q)$ 最小化。
语义多样性： 源自条件互信息的上界，该原则规定在固定预算下，标记必须与已选择的标记在语义上保持差异，以实现信息增益最大化。

2.2 TOPS 算法

TOPS 在每个剪枝点贪婪地构建最优标记子集。该过程包括：

评分： 对于每个候选标记 $i$ $i$ ，算法计算：
- 任务相关性 ( $r_i$ )： 通过文本-标记器注意力（或早期阶段的 CLS 注意力）进行估计。
- 信息覆盖度 ( $c_i$ )： 基于候选标记与剩余未选标记之间的最大相似度进行计算，并根据其与已选标记的相似度进行调整。
- 语义多样性 ( $d_i$ )： 测量为 $1 - \max_{j \in S} \text{sim}(h_i, h_j)$ ，确保新标记与当前集合保持差异。
选择： 算法将这些分数组合成一个信息保留分数：
$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$
其中 $\alpha$ 和 $\lambda$ 是平衡因子。使该分数最大化的标记被添加到子集 $S$ 中。
多阶段流水线： 为了实现细粒度的缩减，TOPS 分两个阶段实现：
- 阶段 I： 应用于多模态投影器之后、LLM 之前。它使用 CLS 注意力进行相关性计算，以移除粗粒度的冗余。
- 阶段 II： 应用于 LLM 内部的指定层。它利用 LLM 的文本-视觉注意力进行文本感知的精细化处理。

3. 核心贡献

第一性原理视角： 本文将标记剪枝重新定义为一个基于信息论的最优子集选择问题，而非单纯的启发式排名问题。
三个基本原则： 识别并形式化了任务相关性、信息覆盖度和语义多样性作为有效剪枝的必要条件。
TOPS 模块： 一个即插即用、无需训练且与模型无关的剪枝算法，能够动态构建最优标记保留集。
广泛验证： 在 7 个 MLLM 后端（包括 LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3, 和 LLaVA-Video）和 14 个多样化基准测试中进行了全面的实验。

4. 实验结果

作者报告称，在各种压缩率和模型架构下，TOPS 始终优于现有的先进方法（如 FastV, VisionZip, DivPrune, SCOPE）。

LLaVA-NeXT： 在 7B 模型上，TOPS 移除了 77.8% 的视觉标记，同时保留了 100.0% 的原始性能。在更高压缩率下（88.9% 和 94.4% 的削减），它分别保留了 99.1% 和 96.4% 的性能。
LLaVA-1.5： 在 77.8% 的压缩下，TOPS 保留了 98.3% 的性能，超过了次优方法（SCOPE）0.5%。即使在极端压缩（94.4% 的削减，仅剩 32 个标记）的情况下，它仍能维持 94.6% 的性能。
先进架构： 在 Qwen2.5-VL-7B 和 InternVL3-8B 上，TOPS 在所有测试的剪枝比例中均达到了最高的准确率，证明了其与架构无关的有效性。
视频理解： 在 64 帧的 LLaVA-Video 上，TOPS 在减少 62.1% 标记时保留了 98.4% 的性能，在减少 90.5% 标记时保留了 92.3% 的性能，显著优于 FastV 等基准方法。
效率： 与基线相比，TOPS 实现了近 10 倍的 FLOPs 降低，并减少了 1.9GB 的 GPU 显存占用，同时显著提升了预填充（prefill）延迟表现。
幻觉缓解： 值得注意的是，在 HallusionBench 上，TOPS 显示出更强的抗幻觉能力，这表明移除冗余标记有时可以提高推理的保真度。

5. 重要性与声明

本文声称，有效的标记剪枝不应仅仅依赖于启发式的权重得分，而必须共同保留任务相关的、具代表性的且非冗余的视觉信息。通过将剪枝形式化为一个信息论优化问题，TOPS 为高效的多模态推理提供了原则性的基础。

作者指出，他们的工作为未来轻量化 MLLM 的设计提供了指导，并提到激进的剪枝有时可以减轻幻觉。然而，他们也承认了一些局限性，包括贪婪构建循环的计算开销 ($O(KN)$)、对用于获取相关性信号的注意力机制的依赖，以及在不同层和任务中使用固定超参数的问题。他们还注意到，该框架尚未在诸如医学成像或密集描述等高度专业化的领域进行系统性的评估。