🤖 AI

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

本文介绍了 COAST，这是一种无需训练、基于对比的自适应语义令牌剪枝框架，它通过依据上下文分散度和对比路由动态保留关键视觉令牌来防止“视觉失语症”，在各类视觉 - 语言模型中实现了显著的推理加速，同时保持了接近原始的性能。

原作者： Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对论文《规避视觉失语症》的解释。

核心问题：“视觉失语症”故障

想象一下，你聘请了一位非常聪明的侦探（即人工智能），让他根据一张照片和一个具体问题来破解谜团。

大多数当前的人工智能模型就像那些过于急于讨好的侦探。当他们查看照片时，会立即聚焦于最大、最亮、最显眼的事物（例如沙漠中的一头巨型骆驼）。如果你问他们关于背景中微小细节的棘手问题（例如咖啡馆上的一个小招牌），他们往往会完全忽略背景，因为乍看之下它并没有引起他们的注意。

这篇论文将这种失败模式称为"视觉失语症"。这就像侦探突然失去了“看见”视觉证据的能力。他们仍然理解你的话语，但无法再将其与图片联系起来。因此，他们不是根据照片中实际存在的内容，而是根据故事中通常会发生的情况（语言先验）来进行猜测。

结果：你问：“这家咖啡馆叫什么名字？”人工智能看到一头骆驼，便自信地回答：“骆驼咖啡馆”，尽管招牌上清楚地写着“每日研磨（Daily Grind）”。

为什么会发生这种情况？

论文指出，当前的人工智能模型在早期就犯了一个错误。他们试图通过在一开始就丢弃图像中“无聊”的部分来加快速度。他们使用了一条简单的规则：“如果图像的某一部分此刻没有引起太多注意，就将其删除。”

但研究人员发现，这条规则是有缺陷的。图像中的一些部分起初看起来无聊，但后来却变得至关重要。

类比：想象你在读一本侦探小说。第一章中，一个角色随口提到了一扇“红门”。这似乎无关紧要。但在第十章，那扇红门却是破案的关键。如果你在第一章为了节省时间而删除了关于红门的句子，到了第十章你就会迷失方向。
现实：在人工智能中，“低注意力”标记（即那些无聊的部分）往往会在人工智能试图理清复杂关系（例如“骆驼后面是什么？”）时，转变为“高注意力”标记。如果过早地切断它们，人工智能就会失去正确回答问题所需的上下文。

解决方案：COAST（聪明的导游）

作者创建了一种名为COAST（对比自适应语义标记剪枝）的新方法。COAST 不像只是剪掉“无聊”部分，它更像是一位聪明的导游，确切知道该保留什么。

COAST 不仅仅依据单一分数来决定保留什么，而是采用两步策略：

“锚点”（主要景点）：
首先，它识别出图像中直接回答问题的特定部分（即“锚点”）。如果你问的是关于一顶帽子的问题，它就会保留帽子。这就是“语义证据”。
“上下文”（周围环境）：
这是神奇的部分。COAST 意识到，有时你需要背景来理解前景。它有意识地保留图像中一些“低注意力”的部分，这些部分充当地图或参考框架。
- 类比：如果你在人群中寻找一个特定的人，你不仅仅要看那个人，还需要看到站在他们旁边的人，才能知道他们是谁。COAST 会保留“站在人旁边的人”，即使他们不是主要焦点。

它如何决定保留什么（“熵”表）

COAST 拥有一个名为注意力熵的特殊仪表。你可以将其视为一个“困惑度计”。

低困惑（专注）： 如果人工智能非常确定它在看什么（例如“那是一只猫”），COAST 就会主要保留猫，并丢弃其余部分。
高困惑（分散）： 如果人工智能正在观察一个包含许多物体和关系的复杂场景，“困惑度计”的读数就会上升。COAST 看到这种情况后会说：“好吧，这很棘手。我需要保留更多的背景上下文，以帮助人工智能弄清楚。”

它会根据问题的难度，动态调整保留多少“主要主体”与“背景上下文”。

结果：更快更聪明

该论文在七个不同的基准测试（类似于人工智能的期末考试）中测试了 COAST。

速度：它将人工智能需要处理的图像片段（标记）数量减少了近78%。这使得人工智能的运行速度提高了2.15 倍。
准确性：尽管删除了如此多的数据，人工智能仍保留了其原始智能的98.6%。
胜利：与其他导致“视觉失语症”（产生错误答案的幻觉）的方法不同，COAST 让人工智能保持了现实根基。它通过保留背景中的小招牌，解决了“骆驼咖啡馆”问题，使人工智能能够正确读出“每日研磨”。

总结

旧方法：“删除当前不是主要焦点的一切。” -> 结果：人工智能感到困惑并产生幻觉。
COAST 方法：“保留主要焦点，但也保留足够的背景上下文以帮助我们理解关系，特别是当场景复杂时。” -> 结果：人工智能更快，但仍能看到全貌并给出正确答案。

论文得出结论，通过将图像压缩视为一个智能路由问题（决定保留什么，而不仅仅是削减多少），我们可以在不使人工智能“失明”的情况下使其速度更快。

技术摘要：COAST——面向视觉语言模型的对比自适应语义令牌剪枝

1. 问题陈述：令牌剪枝中的视觉失语症

大型视觉语言模型（LVLMs）通过处理稠密的视觉令牌序列来实现强大的多模态推理能力。然而，解码器自注意力机制的二次方复杂度 necessitates 视觉令牌的缩减，以提高推理效率。现有的免训练剪枝方法（例如 FastV、LLaVA-PruMerge）通常依赖浅层中的标量注意力分数对“低注意力”令牌进行排序并丢弃。

作者指出了该方法中存在的一种关键失效模式， termed 视觉失语症（Visual Aphasia）。这种现象发生在基于浅层注意力的过早剪枝移除了那些初始得分较低、但在深层中对于解析次要物体、空间关系和上下文线索至关重要的令牌时。当这些令牌被丢弃后，模型会失去视觉 grounding，转而依赖语言先验，从而导致幻觉（例如，当询问一张以骆驼为主、但包含一个小标志的图片时，模型回答“骆驼咖啡馆”）。本文认为，标量显著性 inherently 低估了组合推理所需的、随上下文涌现的视觉证据。

2. 方法论：COAST

为解决视觉失语症，作者提出了COAST（对比自适应语义令牌剪枝，COntrastive Adaptive Semantic Token Pruning），这是一种免训练框架，将视觉压缩重新定义为自适应语义路由。COAST 不再依赖单一的标量决策，而是将保留预算划分为两个互补的角色：语义证据（与查询对齐）和空间上下文（互补性）。

该框架在预定的剪枝层中分两个主要阶段运行：

A. 熵驱动的动态预算分配

COAST 复用原生的跨模态注意力来估计视觉证据的离散程度。

注意力熵计算：从前一层计算全局文本到图像的注意力熵（ $H$ ）。低熵表示注意力集中在特定区域，而高熵则表明证据分散，需要更广泛的上下文。
自适应分割：在预留查询特定的锚点后，剩余的令牌预算根据 $H$ $H$ 被分割为两部分：
- $n_1$ （语义证据）：与查询对齐的令牌。
- $n_2$ （互补空间上下文）：提供场景级上下文的令牌。
- 这种分割是自适应的：随着注意力熵的增加，预算向保留更多空间上下文（ $n_2$ ）倾斜，确保分散的线索不会丢失。

B. 锚点 - 参考对比语义路由

一旦预算分配完毕，COAST 便使用对比机制而非单一标量分数对候选令牌进行评分。

集合构建：
- 锚点（ $A$ ）：通过最后一个令牌的注意力选择（与查询高度相关）。
- 参考（ $R$ ）：通过全局注意力选择得分最低的令牌（低显著性上下文）。
- 候选（ $C$ ）：剩余的锚点以外的令牌。
对比评分：对于每个候选令牌 $c_i$ ，通过将其与锚点的相似度与其与参考集合的相似度进行对比来计算分数：
$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$
其中 $\text{Sim}_A$ 是与任意锚点的最大余弦相似度， $\text{Sim}_R$ 是与参考集合的平均余弦相似度。
双尾保留：
- Top- $n_1$ ：得分最高的候选者被保留为锚点对齐证据。
- Bottom- $n_2$ ：得分最低的候选者被保留为互补空间上下文。这些令牌与锚点不同，但对于维持场景覆盖和空间关系至关重要，而这些关系若采用标量剪枝则会被丢弃。
有序重组：保留的令牌（锚点 + Top- $n_1$ + Bottom- $n_2$ ）按其原始序列索引进行排序，以保留后续解码器层的空间布局。

3. 主要贡献

视觉失语症的识别：本文定义并展示了一种特定的失效模式，即激进的早期剪枝导致 LVLMs 失去视觉 grounding，转而依赖语言先验。
COAST 框架：一种免训练剪枝方法，将压缩视为自适应语义路由，利用熵来平衡语义证据和空间上下文。
对比路由机制：一种新颖的评分策略，同时保留高相关性锚点和低显著性互补上下文，避免了对最显著物体的“注意力坍塌”。
综合评估：在七个基准测试（MME、MMBench、AI2D、GQA、VizWiz、POPE、ScienceQA-IMG）和多个 LVLM 系列（LLaVA-1.5、LLaVA-NeXT、LLaVA-OneVision、Qwen2.5-VL）上进行了广泛的实验。

4. 实验结果

在七个基准测试中，与强基线（FastV、PDrop、SparseVLM、V2Drop、MMTOK）相比，COAST 展现了更优越的性能 - 效率权衡：

性能保持：COAST 将视觉令牌减少了77.8%（保留 128 个令牌），同时保留了原始平均性能的98.64%。在 192 个令牌的预算下，其性能下降仅为0.21%，显著优于基线（例如 SparseVLM 下降了 1.61%）。
延迟加速：COAST 实现了2.15 倍的延迟加速。值得注意的是，由于高效的路由和有序令牌重组，它在 FLOPs 缩减相当的情况下，实现了比基线更低的延迟。
泛化能力：该方法在不同模型规模（0.5B 到 13B）和架构中 consistently 优于基线，在中等和激进压缩设置下均表现出鲁棒性。
消融研究：
- 双尾保留：移除锚点对齐分支（ $n_1$ ）或互补上下文分支（ $n_2$ ）中的任何一个都会导致性能下降，证实了保留这两类证据的必要性。
- 熵驱动预算分配：基于注意力熵的自适应分割优于固定比例分割，特别是在需要复杂推理的基准测试（MME、GQA）上。
- 对比评分：锚点 - 参考对比分数显著优于标量注意力或仅 MaxSim 评分。

5. 意义与主张

本文主张自适应语义路由是单次标量剪枝的稳健替代方案。通过承认令牌的重要性是动态且依赖于上下文的，COAST 缓解了“视觉失语症”这一失效模式，使 LVLMs 即使在激进的令牌缩减下也能保持细粒度的视觉 grounding。作者强调，他们的方法无需微调，计算开销极小，并且适用于多种 LVLM 架构，为部署高效、高保真的多模态推理系统提供了实用解决方案。