🤖 AI

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

本文介绍了 F^3A，一种无需训练的视觉令牌剪枝路由器，它通过将剪枝视为任务条件证据搜索来动态分配固定令牌预算，从而在不需额外训练且不破坏原始解码流程的情况下降低多模态模型的推理成本。

原作者： YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

核心问题：我们实际上需要图片的多少部分？

想象你正在解一道谜题，有人递给你一张巨大且高分辨率的照片来帮你找到答案。这张照片细节丰富，包含数百万个微小的像素。

在人工智能的世界里，这些“像素”被称为视觉令牌（visual tokens）。当前的人工智能模型（多模态大语言模型）就像才华横溢的侦探，想要查看照片中的每一个像素，以确保不会遗漏任何线索。但查看数百万个像素既耗时又消耗大量电池电量（计算资源）。

研究人员提出了一个简单的问题：如果我们的时间和能量有限，为了得到正确答案，我们实际上需要保留多少像素？

当前方法的问题：“一次性”猜测

目前，大多数人工智能系统试图通过“一次性”规则来减少像素数量。它们只看一次照片，然后说：“哦，这部分很亮，所以很重要”，或者“这部分很模糊，所以把它扔掉”。

作者认为，这就像试图通过只查看干草堆的最顶层来寻找一根特定的针。如果针藏在深处或者是暗淡的颜色，简单的“亮度”检查就会漏掉它。他们称之为静态排序（static ranking）。这种方法不关心具体问题是什么，只是基于通用规则进行猜测。

解决方案：F3A（果蝇觅食策略）

这篇论文介绍了一种名为F3A（果蝇觅食算法，Fruit-Fly-Foraging Algorithm）的新方法。要理解它，可以想象一只正在寻找腐烂水果的果蝇。

气味（气味场）： 果蝇不仅仅是看水果，它还会嗅闻空气。它会绘制一张“地图”，显示气味最浓烈的地方。
- 在人工智能中： 人工智能不是只看图像，而是先阅读问题。它根据问题所问的内容创建一张“气味地图”。如果问题是“帽子的颜色是什么？”，人工智能就知道要“嗅闻”帽子，而不仅仅是寻找亮斑。
三步狩猎： 果蝇不会随机降落，它使用一种聪明的策略：
- 第一步：粗略搜索（大网）： 果蝇飞得高高的，寻找气味浓烈的大致区域。它此时不会挑选单片叶子，而是挑选整根树枝。
  - 在人工智能中： 系统查看图像的大块区域，以找到与问题相关的大致区域。
- 第二步：视觉锁定（变焦）： 一旦找到有希望的树枝，它就降落并仔细查看，以确认水果确实存在，而不仅仅是一片闻起来像水果的叶子。它避免挑选紧挨着的两片叶子（减少冗余）。
  - 在人工智能中： 系统放大这些特定区域，挑选确切的最佳令牌，确保不会重复挑选相同的内容。
- 第三步：救援跳跃（安全网）： 有时水果藏在果蝇错过的奇怪角落。果蝇有一条规则：“如果我还没找到足够的水果，我就跳到随机位置以防万一。”
  - 在人工智能中： 如果系统意识到它漏掉了一个微小但至关重要的细节（比如微小的文字标签或小物体），它就会“救援”这些令牌，以免它们丢失。

为何重要：结果

研究人员在各种不同的人工智能模型上测试了这种“果蝇”策略，从小型模型（20 亿参数）到巨型模型（2350 亿参数）不等。

“固定预算”测试： 他们告诉人工智能：“你只能看图片的 20%。”
- 结果： 果蝇人工智能（F3A）与查看整张图片相比，93.86% 的情况下给出了正确答案。其他方法（如“一次性”猜测者）的正确率低得多。
“固定目标”测试： 他们告诉人工智能：“你必须答对 97% 的问题，但使用的像素要尽可能少。”
- 结果： 果蝇人工智能只需要 39.9% 的像素就能达到该目标。而次优方法需要 50.1% 的像素。

核心结论

该论文声称，如何分配注意力比模型的大小更重要。

F3A 不再基于通用规则盲目地削减图像，而是将图像视为一张藏宝图。它利用问题来引导一个聪明的三步搜索（气味、锁定、救援），以找到所需的确切线索。这使得人工智能能够更快、使用更少的内存，同时不丧失其理解世界的能力。

简而言之： 不要仅仅因为图片看起来“冗余”就扔掉一半。利用问题来搜寻你需要的具体证据，就像果蝇寻找水果一样。

技术摘要：多模态语言模型需要多少视觉令牌？基于 F3A 的视觉令牌剪枝扩展

1. 问题陈述

随着视觉 - 语言模型（VLM）在规模和能力上的扩展，它们越来越依赖长视觉令牌序列来实现细粒度感知（例如 OCR、图表理解、视频分析）。然而，这些延长的序列带来了显著的计算成本，主导了预填充计算，扩大了 KV 缓存，并增加了端到端延迟。

本研究解决的核心问题是：随着多模态模型的增长，实际上需要多少视觉令牌，以及在固定的视觉令牌预算下应如何分配它们？

现有的免训练剪枝方法（如 FastV、VisionZip、DivPrune、CDPruner）通常将令牌剪枝视为基于单次代理信号（如解码器注意力、视觉相似性或条件多样性）的静态排名或子集选择问题。作者认为，这些方法是不完整的，特别是在激进压缩的情况下。一个令牌的价值不仅仅是其显著性或冗余度的函数，而是取决于其对当前查询的证据支持。标准方法通常无法根据特定任务在图像上动态分配令牌，导致在令牌预算紧张时性能次优。

2. 方法论：果蝇觅食算法（F3A）

本文提出了F3A，一种免训练路由器，它将视觉令牌剪枝重新框架化为任务条件的证据搜索。受果蝇优化算法的启发，F3A 在视觉塔之后、语言模型消耗图像令牌之前运行。它不需要模型训练、额外的 LLM 前向传递或解码流程的更改。

该方法包含三个连续阶段：

A. 构建任务气味场

F3A 在视觉令牌上构建一个低成本的全球证据图（即“气味场”）。

气味线索：F3A 不使用学习到的注意力，而是使用确定性模板和基础 MLLM 的冻结分词器/嵌入层来生成轻量级证据查询。这些包括全局线索（完整问题上下文）、目标线索（查询实体）和任务线索（例如 OCR、计数、空间关系）。
稀疏感知：线索使用冻结的稀疏感知头（随机投影）与视觉网格令牌进行匹配。这为每个令牌生成一个标量证据分数（ $a_i$ ），代表与提示相关的证据，而无需梯度更新。

B. 三阶段觅食过程

F3A 通过三个算子分配固定的令牌预算（ $K$ ）：

粗略搜索（探索）：
将视觉网格划分为不重叠的窗口。窗口根据其平均气味值进行评分。选择得分最高的窗口以形成候选池（ $P_1$ ），并保留一个“支架”子集（ $S_1$ ）以确保空间覆盖。这避免了过早过度承诺于孤立的得分高令牌。
视觉锁定（局部利用）：
在粗略池内，F3A 细化选择以确认局部证据并抑制冗余。
- 局部支持：令牌根据邻域支持以及与任务线索的一致性进行评分。
- 返回抑制：基于视觉相似性和与已选令牌的空间邻近性应用冗余惩罚。这鼓励选择多样化的、有局部支持的证据，而不是聚集的冗余块。
救援跳跃（探索/恢复）：
为了防止遗漏选定窗口之外的小物体、外围文本或反证，保留一部分预算（ $\alpha_{jump}$ ）。
- 不确定性/覆盖：基于高不确定性（例如多项选择题中选项分数之间的微小差距）或当前子集的低覆盖度来选择令牌。
- 此步骤确保覆盖不足的区域得到恢复，防止模型坍缩到狭窄的高分区域。

C. 序列重建

最终选定的令牌集在 LLM 预填充之前替换完整的视觉块。原始文本前缀、提示模板和模型权重保持不变。对于网格感知模型，令牌索引被映射回原始网格坐标以保留位置信息。

3. 主要贡献

重新框架化剪枝：作者将免训练视觉令牌剪枝重新框架化为跨尺度令牌分配问题，而非简单的压缩。他们评估了密集和 MoE 多模态模型中的令牌需求，以确定需要多少令牌来保留全令牌行为。
F3A 路由器：他们引入了 F3A，这是一种单通道、免训练的路由器，利用问题条件线索、稀疏感知和受觅食启发的三阶段过程（粗略搜索、锁定、救援）执行任务条件的证据搜索。
大规模评估：该方法在涵盖密集和 MoE 架构的 2B 到 235B 参数的Qwen3-VL 模型上进行了评估，跨越 11 个多模态基准。它还在 Qwen2.5-VL 和 InternVL3.5 骨干网络上进行了测试，以证明其可迁移性。

4. 实验结果

评估涵盖了 10 个模型和 3 个保留率（60%、40%、20%）。

性能保留：在所有模型规模下，F3A 始终优于基线（FastV、VisionZip、DivPrune、CDPruner）。
- 在20% 视觉令牌保留率下，F3A 平均保留了**93.86%**的全令牌性能。
- 在最大模型（Qwen3-VL-235B-A22B）上，即使在移除 80% 的视觉令牌后，F3A 仍保留了 93.86% 的性能。
固定保真度令牌需求：当目标是97% 的全令牌性能时，F3A 平均仅需39.9%的视觉令牌，而最强的竞争基线需要50.1%。在 235B 模型上，F3A 使用 41.2% 的令牌即可实现这一目标。
扩展行为：与其他方法不同，F3A 的优势随着模型扩展而持续存在并往往增长。在所有测试的 18 个模型 - 保留设置中，F3A 相对于最强基线的平均准确率增益均为正。
效率：F3A 改善了准确率 - 延迟权衡。在 20% 保留率下的 Qwen3-VL-8B 上，它将端到端延迟从 354.7 毫秒减少到 274.3 毫秒，KV 缓存占用从 117.7 MB 减少到 29.0 MB，同时在剪枝方法中保持最高准确率。
统计显著性：跨 30 个模型 - 保留设置的配对符号检验得出的 p 值为 $1.9 \times 10^{-9}$ ，证实 F3A 始终优于最强的非 F3A 基线。

5. 意义与主张

本文声称，可扩展的多模态推理不仅取决于模型规模，还取决于任务相关视觉证据的搜索结构化分配。

任务条件 vs. 静态：结果表明，将剪枝视为静态排名问题不足以进行激进压缩。这种“觅食”方法根据特定查询动态定位、细化和恢复证据，对于在紧张的令牌预算下保留更大模型的容量是必要的。
固定保真度视角：这项工作认为，“需要多少令牌”的答案不是一个通用的保留率，而是一个依赖于规模的分配问题。F3A 表明，有效的剪枝允许更大的模型以比之前认为可能的少得多的令牌实现其全部容量。
通用性：该方法被证明在不同模型系列（Qwen3、Qwen2.5、InternVL）和架构（密集 vs. MoE）中具有鲁棒性，表明任务条件证据搜索的原则是多模态令牌剪枝的通用解决方案。

作者总结道，F3A 提供了一条实用路径，可在不牺牲驱动其性能的细粒度感知能力的情况下，降低多模态模型的推理成本。