🤖 AI

Not All Visual Tokens Are Equally Safe to Remove:Consequence-Sensitive Visual Token Compression

本文介绍了一种针对视觉语言模型的后果敏感型视觉标记压缩方法，该方法根据误差的潜在代价动态分配计算资源，与传统的基于内容或均匀分配策略相比，显著降低了高风险错误及整体加权误差率。

原作者： Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位繁忙餐厅的主厨，但你有一个严格的规矩：无论你烹饪的是什么菜肴，你只能使用固定数量的食材。通常情况下，厨师们试图通过均匀分配这些食材，让每一道菜的“平均”味道都尽可能好。但如果一道菜只是简单的薯条，而另一道菜却是救命的药物呢？如果你把薯条做砸了，那只是让人恼火；但如果你把药做错了，那就是一场灾难。大多数处理图像并回答问题的计算机程序（被称为视觉语言模型）就像那位传统的厨师。它们试图通过忽略图像中“无聊”的部分来节省计算能力，并假设它们犯下的每一个错误所消耗的能量都是一样的。但在现实世界中，一个错误不仅仅是一个错误，它还标着价格。这篇论文提出了一个简单且具有革命性的问题：如果我们不再试图让“平均”水平的每一餐都完美，而是将我们有限的食材集中在那些出错代价最高的菜肴上，会怎样呢？

由 Jingbo Wen 和 Liang He 领导的研究团队提出了处理这类计算机模型的一种新方法，称为“后果敏感型视觉标记压缩”（consequence-sensitive visual token compression）。为了理解他们的窍门，请不要把图像看作一张单一的照片，而要把它看作是由成千上万个被称为“标记”（tokens）的小瓷砖组成的马赛克。当计算机观察一张照片时，它会处理所有这些瓷砖。为了节省时间和金钱，现有的方法试图丢弃那些看起来不太重要的瓷砖，比如汽车照片中的蓝天。它们通过观察图像本身来决定保留哪些部分。作者认为这就像是“看书看封面”——有时看似“无聊”的背景瓷砖对于针对该图像提出的特定问题来说，实际上是至关重要的。

作者建议，不要只看图片，而是先看“问题”或“任务”。他们意识到，有些问题是“高风险”的（例如：“这张发票的总额是多少？”），而有些则是“低风险”的（例如：“背景是什么颜色？”）。他们的方法分为两步。首先，他们在离线阶段运行一个“校准”阶段，测试模型以确定它需要多少个瓷砖（标记）才能答对高风险问题与低风险问题。然后，当真实用户提出问题时，系统会检查答错该问题的“后果”。如果问题是高风险的，系统会为该图像分配大量的瓷砖预算，确保计算机能看到每一个细节。如果问题是低风险的，它获得的预算就会少得多，从而为重要的任务节省资源。

团队在一个复杂的设置上测试了这一方法，即针对完全相同的图像提出高风险和低风险的问题。这至关重要，因为它证明了改进并非源于图像的不同，而纯粹源于计算机如何决定如何分配其能量。他们发现，通过转移预算，他们可以在不增加总计算量的前提下，将昂贵的高风险错误减少一半以上（从 0.300 降至 0.133）。事实上，由于他们在处理简单问题上花费了更少的时间，整个系统实际上运行速度提高了约 21%。

论文还发现了一个“临界点”。当犯错的成本对每个问题都一样时，最好的策略仍然是平等对待每一个人。但一旦犯错的成本开始发生变化（例如，如果一份医疗报告的错误比一份天气报告的错误严重 5 倍），系统就应该开始将资源大量向危险的问题倾斜。研究人员展示了这种方法在不同类型的文档、图表甚至不同的计算机模型上都是有效的。他们得出结论：我们不应仅仅衡量一个模型的“平均准确率”；我们应该衡量它在多大程度上能有效防止现实世界中那些特定的、代价高昂的错误。

技术摘要：后果敏感型视觉标记压缩

1. 问题陈述

视觉语言模型（VLMs）的推理成本主要由视觉标记（visual tokens）驱动。现有的视觉标记压缩方法（如 FastV、SparseVLM）旨在在固定的计算预算下，通过基于输入衍生信号（如注意力、冗余度或不确定性）来剪枝标记，从而实现平均准确率的最大化。

然而，这些方法隐含地假设所有预测误差所带来的代价是相等的。在现实世界的下游应用中（例如文档分析、医学影像），误差的后果具有高度的不对称性。误读发票金额或交易标识符的代价，远高于误分类背景颜色或装饰性元素的代价。目前的分配策略无法利用这种不对称性，因为它们仅依赖于视觉内容属性，忽略了关于误差“后果”的推理时可观测信号（例如问题类型、任务身份）。

本文提出了一个新的优化问题：给定一个固定的总视觉标记预算和一组具有不同误差代价（ $c_i$ ）的请求，应如何在不同样本之间分配预算，以最小化**代价加权误差（Cost-Weighted Error, CWE）**而非平均准确率？

2. 方法论

作者提出了一种后果敏感型视觉标记压缩框架，遵循**“先校准，后分配”**的流程。

2.1 框架概述

该方法分为两个阶段运行：

离线校准： 利用验证集，系统估计特定层级（tier-specific）的误差-预算曲线（ $e_t(b)$ ）。样本根据可观测信号（问题中的关键词或任务元数据）被分组为不同的层级（例如，高后果 vs 低后果）。系统评估各种预算分配方案，以找到能够最小化估计的代价加权目标的策略。
在线推理： 对于每个传入的请求，系统使用可观测信号（如冻结的关键词规则或任务 ID）分配一个后果层级。预先校准好的该层级预算将在 VLM 推理前应用于输入。

2.2 优化公式

目标是最小化代价加权误差 $J$ ：
$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$
约束条件为：
$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$
其中 $n_t$ 是第 $t$ 个层级的样本数， $c_t$ 是后果权重， $e_t(b)$ 是在预算 $b$ 下的误差率。

由于标记预算具有离散性（一个 13 点网格）且误差曲线是非凸的，作者采用了对可行预算对进行穷举搜索的方法，而非依赖连续的拉格朗日导数。

2.3 预算实现机制

论文评估了两种实现分配的视觉标记预算的机制：

真实标记删除（True Token Deletion）： 以全分辨率进行编码，通过固定选择器（如冗余度）对标记进行排序，并严格删除未被选中的标记，同时保留空间坐标和位置 ID，以维持多模态位置编码的完整性。
分辨率重分配（Resolution Reallocation）： 通过调整输入图像的大小，使编码器自然地产生大约目标数量的标记。该机制不需要特定模型的代码，并被用作主要的部署方法。

2.4 评估协议

为了隔离来自内容信号而非后果信息的影响，作者引入了一个任务内基准测试（within-task benchmark）。高后果和低后果的问题均取自相同的密集文档图像分布（如 DocVQA）。这确保了不同层级之间的视觉内容是完全相同的，从而防止内容驱动的分配器利用视觉敏感性的差异。

3. 核心贡献

新公式： 引入了后果敏感型视觉标记压缩，通过利用推理时的可观测后果信号（而非仅仅是输入内容）来分配计算资源，以最小化代价加权误差。
受控评估： 设计了任务内基准测试，其中高后果和低后果问题共享相同的图像分布。这消除了内容驱动的捷径，证明了增益完全源于对后果的感知。
分配前沿表征： 作者推导出了一个分配前沿，显示出：
- 当误差代价对称（ $r=1$ ）时，均匀分配是最优的。
- 随着不对称性的增加，最优策略会向高后果样本转移标记。
- 存在一个过渡区间，在此区间内，标记转移带来的收益随代价差距的增大而增加。
泛化性与不变性： 该原理被证明与标记选择机制（冗余、注意力、显著性）是正交的，并且在不同的 VLM 架构（Qwen2.5-VL, LLaVA-OneVision）和预算实现方法下都是鲁棒的。

4. 实验结果

4.1 归因与任务内表现

在受控的任务内基准测试（DocVQA）上：

内容驱动的分配器（使用特征冗达度）的表现并不优于均匀分配，因为视觉输入在各层级间是相同的。
后果敏感型分配在相同的总标记预算下，将高风险误差从 0.300 降低至 0.133（降幅达 2.25 倍）。
这以牺牲非加权平均准确率（0.488 vs 0.337）为代价，证实了该方法确实是在针对特定的代价加权目标进行优化。
反向分配策略（将更多标记分配给低后果问题）显著增加了 CWE，验证了该方法的方向性。

4.2 分配前沿

对误差-预算曲线的分析显示，高后果和低后果问题的标记敏感度在统计学上是无法区分的（斜率分别为 0.00173 和 0.00171）。改进纯粹源于代价权重。

盈亏平衡比率： 随着代价比例（ $r$ ）的增加，最优分配从均匀分配转向后果偏向型分配。对于 DocVQA，转换发生在 $r \approx 2.8$ 时。
泛化性： 该方法推广到了 ChartQA 和 InfographicVQA。在 InfographicVQA 中，即使在代价比例较低（ $r=0.7$ ）时，该方法也降低了 CWE，表明信息密度较高的任务更受益于后果感知的分配。

4.3 不变性与机制

机制： 无论使用真实标记删除还是分辨率重分配，增益都持续存在。分辨率重分配（符合 Qwen2.5-VL 的训练方式）在保持后果感知分配相对增益的同时，实现了更好的绝对性能。
模型： 尽管存在架构差异，该原理在 LLaVA-OneVision 上同样成立。
选择器： 该分配策略与标记选择器是正交的。无论使用冗余、随机、显著性、FastV、SparseVLM 还是 VisionZip 进行标记选择，它都能提升性能。

4.4 混合工作负载与效率

在现实的混合工作负载（DocVQA, TextVQA, VQAv2）中：

与均匀分配相比，后果敏感型分配将代价加权误差降低了 38%。
与全分辨率推理相比，部署后的两层级分配（使用分辨率重分配）在降低 CWE 的同时，实现了约 21% 的延迟降低。

5. 意义与主张

本文主张，视觉标记压缩的评估不应仅关注保留了多少平均准确率，而应关注防止了哪些类型的错误。

正交性： 后果敏感型分配是现有内容驱动剪枝的一个正交维度。它并不取代标记选择方法，而是通过决定基于其下游风险向样本分配多少标记来对其进行补充。
实用性： 该框架是轻量级且面向部署的。它仅需要推理时的可观测信号（任务 ID 或问题关键词）和离线校准，避免了复杂的在线优化或强化学习。
基本洞察： 本研究确立了当误差代价不对称时，最优资源分配策略会从保留平均性能根本性地转向优先考虑高风险样本，即使这些样本在视觉上与低风险样本无法区分。

作者总结道，在下游决策承担不等风险的场景中，后果敏感型分配提供了一种原则性且有效的方法，可以在不牺牲关键准确性的情况下优化 VLM 的效率。