VisionZip: Longer is Better but Not Necessary in Vision Language Models

本文提出了 VisionZip，一种通过筛选视觉编码器中冗余信息来提取关键信息令牌的高效方法，该方法在保持甚至提升视觉语言模型性能的同时，显著降低了计算成本并大幅提升了推理速度。

要点

这篇论文提出了一种名为 VisionZip 的新方法，旨在解决当前“视觉 - 语言模型”（VLM，即能看图说话的 AI）中一个非常浪费的问题：视觉信息的过度冗余。

为了让你轻松理解，我们可以把现在的 AI 看图过程想象成**“让一个学生读一本极其冗长的说明书来回答一个问题”**。

1. 现状：为什么现在的 AI 这么慢且贵？

想象一下，你给 AI 看一张照片，并问它：“图里的人在做什么？”

• 传统做法：现在的 AI（比如 LLaVA）会把这张照片切成几千个极小的碎片（Token），每一个碎片都变成一段文字描述，然后一股脑儿塞给大语言模型（LLM）去读。
  • 比喻：就像你为了告诉朋友“我在吃苹果”，却把苹果从种下、开花、结果到被咬的第一口、第二口……所有过程的几千个细节都写下来，让他读完几千字后再回答。
• 问题：
  1. 太慢了：AI 要处理几千个“文字碎片”，计算量巨大，就像让一个学生读几千页书才能回答一个问题，速度很慢。
  2. 太费钱了：处理这么多数据需要昂贵的显卡（GPU）和大量内存。
  3. 其实没必要：论文发现，这几千个碎片里，90% 以上都是废话。大部分碎片只是背景、天空或者重复的纹理，真正包含“苹果”这个关键信息的碎片只有几十个。

2. 核心发现：AI 其实只关注“重点”

研究人员观察了 AI 的“注意力机制”（就像人的视线聚焦），发现了一个有趣的现象：

• 比喻：当你看一张图时，你的眼睛会自动聚焦在“人”或“苹果”上，而自动忽略背景里的云朵或草地。
• 发现：现在的 AI 编码器（CLIP 等）在把图变成文字时，虽然生成了几千个词，但只有极少数几个词（Dominant Tokens）真正承载了核心信息，其他几千个词就像是一堆毫无意义的“背景噪音”。

3. 解决方案：VisionZip（视觉压缩）

VisionZip 就像是一个**“智能摘要员”或“精读老师”**，它在把图片交给大语言模型之前，先做了一步“压缩”工作。

它的工作流程分为两步：

第一步：抓重点（Dominant Token Selection）

• 做法：VisionZip 会先问 AI：“在这几千个碎片里，哪几个是你最关注的？”
• 比喻：就像老师让你读一篇长文章，直接让你把加粗的标题和关键句挑出来，其他的废话直接删掉。
• 结果：只保留那些真正包含核心信息的“主角”碎片。

第二步：合并同类项（Contextual Token Merging）

• 做法：对于那些被删掉的、但可能包含一点点细节的碎片，VisionZip 不会直接扔掉，而是把它们合并。
• 比喻：如果有一片草地有 100 个碎片，每个都差不多，VisionZip 不会保留 100 个，而是把它们压缩成 1 个代表“草地”的碎片。
• 结果：既保留了细节，又大大减少了数量。

4. 惊人的效果：小模型也能跑赢大模型

通过这种“压缩”，VisionZip 带来了立竿见影的效果：

• 速度飞起：
  • 比喻：以前 AI 读图需要“读完 1000 页书”，现在只需要“读 100 页精华版”。
  • 数据：论文显示，使用 VisionZip 后，AI 的预填充时间（开始回答前的准备时间）快了 8 倍！
• 以小博大：
  • 比喻：以前只有“博士”（13B 大模型）才能看懂复杂的图，现在用了压缩技术，连“本科生”（7B 小模型）都能看懂，而且13B 大模型用了 VisionZip 后，跑得比 7B 小模型还快，但理解得更深。
• 多轮对话更顺畅：
  • 比喻：以前的方法在聊多轮天（比如先问图里有什么，再问那个人的衣服颜色）时，容易“断片”或记错，因为它之前存下的“记忆”里全是废话。VisionZip 存下的全是精华，所以多轮对话更聪明、更连贯。

5. 总结：为什么要关注这个？

这篇论文告诉我们一个重要的道理：在 AI 领域，并不是“越多越好”（More is not always better）。

• 以前的思路：为了更聪明，我就把图片切得更碎，给 AI 塞更多的数据。
• VisionZip 的思路：数据太多反而有噪音。我们要学会**“去粗取精”**，只给 AI 看它真正需要的东西。

一句话总结：
VisionZip 就像给 AI 戴上了一副“智能眼镜”，帮它自动过滤掉图片里的背景噪音，只把最核心的信息传给大脑。这让 AI 变得更快、更省钱、更聪明，甚至让原本跑不动的大模型也能在普通设备上流畅运行。

技术摘要

以下是基于论文《VisionZip: Longer is Better but Not Necessary in Vision Language Models》的详细技术总结：

1. 研究背景与问题 (Problem)

背景：
近年来，视觉语言模型（VLMs，如 LLaVA 系列）通过将图像转换为视觉 Token 序列并输入到大语言模型（LLM）中，取得了显著进展。为了处理高分辨率图像或视频，现有的 SOTA 模型（如 LLaVA-NeXT）往往生成极长的视觉 Token 序列（例如 2880 个 Token），远超文本 Token 的数量。

核心问题：

1. 计算成本高昂： 过长的视觉 Token 序列导致巨大的显存占用和计算开销，限制了模型在边缘计算、自动驾驶等实际场景的部署。
2. 信息冗余严重： 作者通过观察发现，主流视觉编码器（如 CLIP、SigLIP）生成的视觉 Token 中存在巨大的冗余。注意力机制（Attention）往往高度集中在少数几个 Token 上，而大部分 Token 接收的注意力极低，包含的信息量很少。
3. 现有方法的局限性： 现有的高效 VLM 方法（如 FastV, SparseVLM）通常依赖 LLM 内部的文本 - 视觉注意力来筛选 Token。作者指出，由于视觉编码器内部的信息聚合机制（Pre-grouping），被文本相关的 Token 往往不是信息最丰富的“主导 Token"，导致性能下降，且这些方法难以适应多轮对话等复杂场景。

2. 方法论 (Methodology)

作者提出了 VisionZip，一种简单但高效的**文本无关（Text-agnostic）**方法，旨在在输入 LLM 之前减少视觉 Token 的冗余。该方法包含两个核心步骤：

A. 主导 Token 选择 (Dominant Token Selection)

• 原理： 利用视觉编码器内部的注意力分数来识别包含大部分图像信息的关键 Token。
• 实现：
  • 对于带有 CLS Token 的模型（如 CLIP）：选择被 CLS Token 高度关注的 Token。
  • 对于无 CLS Token 的模型（如 SigLIP）：计算每个 Token 接收到的平均注意力分数，保留分数最高的 Token。
• 目的： 直接提取出聚合了图像核心信息的“主导 Token"。

B. 上下文 Token 合并 (Contextual Token Merging)

• 原理： 为了防止丢弃那些虽然注意力低但可能包含重要细节（如小物体）的 Token，对剩余的非主导 Token 进行合并。
• 实现：
  1. 将非主导 Token 均匀分为“目标 Token"和“待合并 Token"。
  2. 利用 Key 向量的点积计算相似度。
  3. 将语义相似的待合并 Token 平均合并到最相似的目标 Token 中，生成“上下文 Token"。
• 优势： 在大幅减少 Token 数量的同时，保留了图像的语义相似性信息。

C. 高效微调 (Efficient Tuning)

• 问题： 直接减少 Token 数量会导致视觉空间与 LLM 空间的对齐出现偏差（Misalignment）。
• 解决方案： 仅使用极少量的数据（LLaVA-1.5 数据集的 1/10）和极短的时间（8 张 A800 显卡仅需 30 分钟），对**多模态投影层（Projector）**进行微调，其他组件冻结。这使得模型能快速适应减少后的 Token 输入空间。

3. 关键贡献 (Key Contributions)

1. 揭示了视觉 Token 的冗余性： 通过可视化分析证明，主流视觉编码器生成的 Token 中，大部分 Token 的注意力权重接近于零，信息高度集中在少数 Token 上。
2. 提出了 VisionZip 方法： 一种无需重新训练整个模型、文本无关的 Token 压缩方法。它结合了“主导 Token 选择”和“基于相似度的 Token 合并”，在推理阶段即可直接应用。
3. 实现了“更小更快更强”： 证明了在大幅减少 Token 数量（甚至减少 90% 以上）的情况下，模型性能不仅没有下降，反而在某些基准测试中超越了全量 Token 的基线模型。
4. 解决了多轮对话的痛点： 由于 VisionZip 是文本无关的，它提取的是图像本身最核心的信息，而非针对特定问题的 Token，因此非常适合多轮对话场景（Previous methods 往往因 KV Cache 中存储的 Token 与当前问题不相关而失效）。

4. 实验结果 (Results)

实验在 LLaVA-1.5, LLaVA-NeXT, Mini-Gemini 以及 Video-LLaVA 等多个模型和基准测试（Image & Video Understanding）上进行：

• 性能提升：
  • 在 LLaVA-1.5 上，当视觉 Token 从 576 减少到 64 时，VisionZip 在无需微调的情况下，平均性能比 FastV 高出 18.4%，比 SparseVLM 高出 8.2%。
  • 经过 30 分钟的高效微调（VisionZip‡），在保留 64 个 Token 时，性能达到了原始全量 Token 模型的 95.2%。
  • 在 LLaVA-NeXT 上，即使将 Token 从 2880 减少到 160（减少 94.4%），微调后的模型性能仍保持在原始模型的 95.5% 左右，且显著优于 SOTA 方法。
• 效率飞跃：
  • 推理速度： 预填充时间（Prefilling time）减少了 8 倍。
  • 模型大小与速度倒挂： 使用 VisionZip 的 LLaVA-NeXT 13B 模型，其推理速度比原始的 7B 模型更快，同时性能更优。
  • 显存节省： 显著降低了 CUDA 显存占用，支持更高分辨率或更长视频的输入。
• 视频理解： 在 Video-LLaVA 上，VisionZip 将视频 Token 从 2048 压缩至 136，在四个基准测试中平均性能达到 93.2%，比 SparseVLM 高出 6.7%。这意味着在相同显存下，模型可以处理 5-10 倍 时长的视频。

5. 意义与展望 (Significance)

• 范式转变： 论文挑战了“视觉 Token 越长越好”的固有认知，指出当前的瓶颈在于特征提取的质量而非 Token 的数量。未来的方向应转向开发冗余度更低的视觉编码器。
• 实际部署价值： VisionZip 极大地降低了 VLM 的推理成本和延迟，使其能够部署在资源受限的设备（如边缘设备、机器人）上，并支持长视频理解和多轮对话等复杂应用。
• 通用性与兼容性： 该方法作为即插即用（Plug-and-play）模块，兼容现有的量化技术（如 4-bit/8-bit），且适用于各种架构的 VLM，无需大规模重新训练。

总结： VisionZip 通过深入分析视觉编码器的注意力机制，提出了一种高效的 Token 压缩策略，成功在大幅降低计算成本的同时保持了甚至提升了模型性能，为视觉语言模型的高效化部署提供了重要的技术路径。