🤖 AI

OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning

OccamToken 是一种无需训练且能自适应预算的框架，它通过将脆弱的绝对令牌排名替换为基于寄存器锚定的相对证据测试，从而提升视觉 - 语言模型的推理效率，在实现极端令牌压缩（例如将 2,880 个令牌减少至约 40 个）的同时保留超过 93% 的原始准确率。

原作者： Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 OccamToken 论文的解释，将其拆解为简单概念并辅以日常类比。

核心难题：厨房里的噪音太多

想象你是一位厨师（AI），正试图根据顾客的订单（文本问题）和一大堆食材（图像）来烹饪一道菜。

在现代 AI 中，当你展示一张图像时，计算机会将其分解为成千上万个微小的部分，称为“令牌”（tokens）。如果你有一张高分辨率的照片，那就相当于拥有一堆 2,880 份食材。厨师在开始烹饪前，必须查看每一个食材。即使其中大部分食材只是背景噪音（比如柜台上的灰尘或一片模糊的天空），这也需要耗费巨大的时间和能量（计算能力）。

旧方法：“前 10 名”规则

过去，为了节省时间，人们试图扔掉“最不重要”的食材。他们使用类似这样的规则：“保留前 100 个最有趣的食材，扔掉其余的。”

这篇论文认为，由于以下两个原因，这条规则行不通：

“尖叫婴儿”效应：有时，一个无聊的食材（比如一面空墙）会因为计算机的计算方式而意外获得极高的“重要性评分”。这种巨大的噪音淹没了那些安静但重要的食材（比如照片中的微小细节），导致计算机误以为那些无聊的东西实际上是最重要的。
“一刀切”问题：固定的规则（比如“保留 100 个”）并不适用于每一张图片。
- 如果你在一张森林的照片中问：“有猫吗？”，你只需要检查几个位置。保留 100 个位置是浪费。
- 如果你在一张毛衣的照片中问：“织物的纹理是什么？”，你可能需要查看更多的位置。如果只保留 100 个，可能会让你错过答案。

新方案：OccamToken

作者们创造了一种名为 OccamToken 的新方法。他们不再问：“哪 100 个是前 100 名？”，而是问：“这个食材是否比我们的‘参考罐’更有用？”

以下是其逐步工作原理：

1. “参考罐”（注册令牌）

想象你在柜台上有一个特殊的罐子，里面装着“厨房里所有东西”的通用、平均样本。它不知道具体的猫或毛衣；它只持有房间的“背景氛围”。

为何有帮助：在旧系统中，“尖叫婴儿”（无聊的噪音）会窃取所有的注意力。但在新系统中，“参考罐”会吸收这些噪音。它充当了无用、响亮信号的海绵。
结果：现在，计算机可以清楚地看到哪些食材实际上是特殊的，因为噪音已经被抑制了。

2. 第一阶段：“图像清理”（冗余剪枝）

在厨师阅读顾客订单之前，厨房工作人员会进行一次快速清扫。

他们将每个食材与参考罐进行比较。
如果某个食材看起来就像罐子里的通用背景，它就会被扔掉。
类比：如果照片是一条繁忙的街道，工作人员会扔掉那 2,000 个仅仅是“天空”或“模糊路面”的令牌，因为参考罐已经知道那是什么样子的。他们保留那些看起来与罐子不同的令牌（汽车、行人）。
优势：这对每张图片都是自动进行的。简单的照片会被大量清理；复杂的照片清理得较少。

3. 第二阶段：“顾客订单”检查（相关性剪枝）

现在，厨师阅读具体的问题：“左边的男人站着吗？”

厨师查看剩余的食材。
他们再次将它们与参考罐进行比较，但这次他们问的是：“这个食材是否比通用背景更能帮助回答具体问题？”
类比：如果问题是关于那个男人的，厨师会保留显示那个男人和他站立的地面的令牌。如果问题是关于角落里的猫，厨师会保留那些令牌，而扔掉那个男人。
优势：保留的食材数量会根据问题而变化。简单的问题可能只需要 10 个令牌；困难的问题可能需要 50 个。

结果：工作量更少，味道不变

这篇论文在几个 AI 模型（如 LLaVA 和 Qwen）上测试了这种方法。

主张：他们成功扔掉了 98.6% 的食材（从 2,880 个令牌减少到约 40 个），并且仍然在 93% 的情况下得到了正确的答案。
类比：这就像意识到你不需要尝遍锅里每一粒米就能知道它是否咸了。你只需要尝对的那几勺。
无需训练：最好的一点是，他们不需要重新教导厨师如何烹饪。他们只是改变了厨师选择食材的规则。它可以“开箱即用”。

总结

OccamToken 是一个智能过滤器，阻止 AI 浪费时间查看无聊的背景噪音。它不使用僵化的“保留前 100 名”规则，而是利用“参考罐”来找出对于所提出的具体问题而言，什么是真正新颖且有用的。这使得 AI 运行得更快、成本更低，而不会使其变得“更笨”。

技术摘要：OccamToken

问题陈述

视觉 - 语言模型（VLM）依赖长序列的视觉令牌来编码图像，导致在预填充阶段和自回归解码过程中产生显著的计算和内存开销。现有的视觉令牌压缩方法主要遵循绝对排名范式：它们为令牌分配重要性分数，并保留固定的前 $K$ 个子集。作者认为，该范式在根本上是脆弱的，原因有二：

注意力汇聚（Attention Sinks）：低信息令牌（通常是具有高范数的异常值）会吸收过多的注意力质量，扭曲真正信息性令牌的重要性排名，并压缩分数分布。
静态预算不匹配：固定的前 $K$ 个截断无法适应注意力分数分布的样本间变化。它未能考虑图像冗余或查询依赖的证据需求，往往在简单情况下保留冗余令牌，而在复杂情况下丢弃关键证据。

此外，现有的自适应方法通常需要额外训练，或者依赖响应微弱的免训练统计量，这些统计量无法完全捕捉查询条件的证据需求。

方法论：OccamToken

作者提出了OccamToken，这是一个免训练、预算自适应的框架，用基于寄存器的相对证据测试取代了绝对令牌排名。核心见解在于，寄存器令牌（在最近的 Transformer 研究中引入以吸收注意力汇聚）自然地吸收低信息注意力模式，使其成为识别真正信息性视觉证据的稳定、非歧视性参考。

该框架分为两个阶段运行：

1. 核心机制：相对比较

OccamToken 不问“该令牌是否在前 $K$ 名中？”，而是问“该令牌是否比寄存器令牌提供更强的证据？”
剪枝规则定义为：
$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$
其中 $r(x)$ 是样本相关的参考令牌（即寄存器）， $s_x$ 是评分函数， $\lambda$ 控制剪枝强度。这使得保留的令牌预算能够根据输入的分数分布动态变化。

2. 两阶段剪枝流程

阶段 I：图像自适应冗余剪枝（AdapRP）
- 位置：视觉编码器的输出。
- 机制：通过构建一个测试时寄存器令牌，将来自稀疏神经元的高范数“汇聚”激活重定向到专用的寄存器令牌。[CLS] 令牌（或针对没有 [CLS] 架构的互评分方案）对所有视觉令牌和寄存器令牌进行联合评分。
- 操作：评分低于 $\lambda_1 \cdot s_1(r)$ 的令牌被剪除。这在令牌进入大型语言模型（LLM）之前移除了图像级冗余，创建了图像自适应的中间预算。
阶段 II：基于寄存器的相关性剪枝（RegRP）
- 位置：语言模型内部（在特定的解码层，例如第 11 层）。
- 机制：文本令牌充当查询条件评估器。对于每个幸存的视觉令牌，使用其从文本令牌接收到的最大注意力作为其分数（以捕捉局部相关性）。寄存器令牌从文本接收到的平均注意力作为动态阈值。
- 操作：评分低于 $\lambda_2 \cdot s_2(r)$ 的令牌被移除。这产生了一个查询自适应的最终预算，其中同一张图像会根据提出的具体问题生成不同的令牌数量。

主要贡献

基于寄存器的动态阈值：一种免训练机制，将注意力汇聚缓解与自适应剪枝联系起来。通过在注意力竞争中插入一个寄存器令牌，它吸收了由汇聚引起的扭曲，并充当分布自适应的阈值。
OccamToken 框架：一个两阶段、即插即用的剪枝系统，执行图像级冗余移除，随后进行查询级相关性选择，无需学习预测器或额外训练数据即可实现自适应令牌分配。
实证验证：大量实验表明，OccamToken 在多种架构（LLaVA-v1.5、LLaVA-NeXT、Qwen3-VL）和基准测试（GQA、POPE、MME 等）上优于最先进的免训练和基于训练的基线方法。

实验结果

精度 - 效率权衡：与固定预算和其他自适应方法相比，OccamToken 一致地改善了权衡表现。
极端压缩：在LLaVA-NeXT（处理 2,880 个视觉令牌）上，OccamToken 将令牌数量减少到约40 个（即1.4% 保留率），同时保留了**超过 93%**的原始全令牌精度。
鲁棒性：该方法在低预算区域保持了高相对精度（例如，在 LLaVA-v1.5 上使用 32 个令牌时达到 97.2%），并在保留任务相关证据至关重要的低预算区域显著优于固定预算基线。
效率：通过减少视觉序列长度，OccamToken 显著降低了 KV 缓存内存使用量（例如，在 LLaVA-v1.5 上从 313 MB 减少到 47 MB）和预填充延迟，尽管它引入了用于自适应评分逻辑的微小开销。
泛化性：该方法有效地迁移到非 LLaVA 架构（如 Qwen3-VL、Mini-Gemini）和视频 VLM，证明了基于寄存器的原则并不依赖于特定的令牌接口。

意义与主张

该论文主张，基于参考的自适应剪枝是扩展多模态推理的一个简单而有效的方向。通过将绝对排名转变为针对寄存器锚点的相对比较，OccamToken 在不需模型重训练的情况下，解决了注意力汇聚和静态预算的结构缺陷。作者强调，这种方法即使在极端区域（1.4% 保留率）也能实现稳定的视觉令牌压缩，同时保留多模态推理所需的证据。

这项工作将 OccamToken 定位为不仅仅是降低延迟的工具，而是平衡精度和效率的实用解决方案，特别是在资源受限的部署场景中，保留关键视觉证据至关重要。作者承认了其在依赖为特定 Transformer 骨干构建可靠的测试时寄存器令牌方面的局限性，并建议未来的工作可以将此扩展到更广泛的多模态架构。