🤖 AI

Make Your LVLM KV Cache More Lightweight

本文提出了 LightKV，这是一种新颖的方法，通过提示引导的跨模态消息传递压缩视觉令牌键值缓存，显著降低了大型视觉 - 语言模型的 GPU 内存开销和计算量，在八个基准测试中保持性能的同时实现了高达 50% 的缓存缩减和 40% 的计算节省。

原作者： Xihao Chen, Yangyang Guo, Roger Zimmermann

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xihao Chen, Yangyang Guo, Roger Zimmermann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、多才多艺的助手（大型视觉 - 语言模型，或称 LVLM），它能够查看图片并回答相关问题。为了快速完成这一任务，助手会在其短期记忆中维护一个名为KV 缓存的“草稿纸”。这张草稿纸记录了助手在查看图片时所做的所有笔记，因此它在构思新答案时无需每次都重新阅读整张图片。

问题在于，当助手查看高分辨率照片时，它会将图像分割成数百甚至数千个微小片段（称为视觉 token）。每个片段都会在草稿纸上留下一条笔记。如果照片非常复杂，草稿纸会变得过于拥挤，耗尽计算机的全部内存，导致整体运行变慢，甚至使系统崩溃。

本文介绍了LightKV，一种在不丢失重要细节的前提下缩小该草稿纸的新方法。以下是其工作原理，辅以简单的类比说明：

问题：杂乱的办公桌

想象助手的办公桌上堆满了数千张便签，每张便签描述照片的一小块区域（一片叶子、一个车轮、一朵云）。

旧方法：助手保留每一张便签。如果你问“天空里有什么？”，助手必须扫描数千张关于叶子和车轮的便签，才能找到关于云的便签。这既缓慢，又占用了巨大的桌面空间（GPU 显存）。
先前修正方案的缺陷：有些人试图随机丢弃一些便签，或将外观相似的便签归为一组（例如“所有绿色的东西”）。但这存在风险。一张绿色的便签可能代表一棵树（重要），也可能代表一件绿衬衫（无关）。缺乏上下文的情况下，你可能会扔掉树而保留衬衫，从而毁掉答案。

解决方案：LightKV（智能编辑）

LightKV 扮演一位超级聪明的编辑角色，它确切地知道用户在问什么。它利用文本提示（即问题）作为指南，决定保留哪些笔记、合并哪些笔记。

以下是分步流程，通过隐喻进行解释：

1. “群聊”策略（窗口化）

LightKV 不再尝试将每一张便签与世界上的其他每一张便签进行比较（那将耗时无穷），而是将办公桌划分为多个小型、可管理的窗口（就像将便签分成小堆）。

类比：想象将一大堆邮件按来源社区分成小堆。你首先只比较同一社区内的信件。这使工作变得快得多。

2. “红娘”（二分图）

在每个小窗口内部，LightKV 将便签分为两组（A 组和 B 组）。然后，它寻找那些非常相似的便签对（低“特征发散度”）。

类比：这就像便签的“快速约会”活动。如果两张便签几乎完全相同（例如，两块蓝色的天空区域），它们就会被配对。

3. “上下文线索”（提示引导）

这是最关键的部分。在以往的方法中，助手仅仅因为便签看起来相似就将其合并。而 LightKV 会问：“这张便签有助于回答用户的问题吗？”

工作原理：它会查看助手在最初阅读该便签时，对用户问题投入了多少注意力。
类比：如果用户问“图片里有狗吗？”，LightKV 会检查便签。它发现，当读到“狗”这个词时，关于“棕色毛发区域”的便签受到了高度关注。因此，它保留这张便签。它看到另一张位于椅子上的“棕色毛发区域”便签在读到“狗”时被忽略，因此将其与其他便签合并或丢弃。
结果：它生成一张“超级便签”，结合了相似便签的信息，同时保留了与问题相关的具体细节。

4. “分层清理”（分层压缩）

LightKV 并非只做一次。随着助手在思考过程中更深入地处理图像，它会分阶段执行此操作。

类比：想象打扫房间。首先，你清理掉那些显而易见的大块垃圾（早期层）。然后，你整理书架上的书籍（中间层）。最后，你擦拭角落（后期层）。LightKV 首先在小范围局部组内合并便签，随着深入，它从更广泛的区域合并便签，确保在缩小堆积量的同时不丢失整体图景。

他们发现了什么？

作者在八种不同的智能助手（如 LLaVA 和 Qwen）上测试了 LightKV，使用了八种不同的测试类型（从图像描述到解决科学谜题）。

空间减半：他们成功将草稿纸中的视觉便签数量减少了约50%（仅保留原始便签的 55%）。
同等（或更优）的智能：即使只有一半的便签，助手的回答质量与之前一样好，有时甚至优于其他压缩方法。
更快：由于需要处理的便签更少，计算机的工作量减少了（计算量最多减少 40%），且显著降低了内存占用。
无需重新训练：最棒的是？他们无需教助手任何新东西。LightKV 是一个“即插即用”工具，可立即与现有模型配合使用。

总结

LightKV 就像一位聪明的图书管理员，它不是保留整本巨大相册的每一页，而是创建一份浓缩摘要。但与普通摘要不同，这位图书管理员会先阅读你的具体问题，并确保摘要突出显示图片中恰好能回答你问题的部分，同时丢弃无关的噪音。这既节省了空间和时间，又不会让图书管理员变得健忘。

以下是论文《Make Your LVLM KV Cache More Lightweight》（LightKV）的详细技术总结。

1. 问题陈述

大型视觉语言模型（LVLM）依赖键值（KV）缓存来优化推理效率。然而，与主要处理文本令牌的大型语言模型（LLM）不同，LVLM 在预填充（prefill）阶段必须处理海量的视觉令牌（例如，LLaVA-v1.5 为 576 个，LLaVA-OneVision 高达 7,290 个）。

这造成了两个关键瓶颈：

内存开销：视觉令牌的巨大数量导致 KV 缓存消耗的 GPU 内存显著高于纯文本 LLM，通常成为长上下文或高分辨率输入的主要瓶颈。
令牌异构性：视觉令牌是异构的（代表图像块），其重要性随文本提示而变化。现有的剪枝方法通常均匀处理令牌，或依赖预填充后的剪枝，无法解决在初始预填充阶段发生的内存瓶颈。

当前的解决方案如MQA/GQA需要昂贵的模型重训练，而令牌剪枝方法（如 FastV、H2O）通常在预填充之后运行，或缺乏跨模态指导，导致在不同模型和基准测试中表现不一致。

2. 方法论：LightKV

作者提出了LightKV，这是一种无需训练的方法，通过在预填充阶段利用视觉嵌入之间的冗余性，并受文本提示引导，来压缩视觉令牌。该方法通过三步流水线运行：

A. 窗口内令牌压缩

LightKV 不是全局处理整张图像，而是将视觉令牌划分为非重叠的空间窗口（ $w \times w$ ）。在每个窗口内，执行以下操作：

二分图构建：将窗口内的令牌分为两组（ $X_A$ $X_{A}$ 和 $X_B$ $X_{B}$ ）。构建一个二分图，其中边表示节点之间的特征发散度（FD）。
- $FD(\alpha, \beta) = 1 - \frac{\langle x_\alpha, x_\beta \rangle}{||x_\alpha|| ||x_\beta||}$ （余弦距离）。
- 与全对匹配相比，这将计算复杂度从 $O(v^2)$ 降低到 $O(v^2/4)$ 。
提示感知消息传递：与仅基于视觉相似性合并令牌的先前方法不同，LightKV 使用跨模态注意力分数作为权重。
- 它计算每个视觉令牌对文本提示令牌支付的累积注意力（ $\xi_i$ ）。
- 消息根据这些注意力分数在 $X_A$ 和 $X_B$ 之间传递（反之亦然）。这确保了与文本提示高度相关的令牌被保留，而冗余的视觉信息被聚合。
节点消除：消除冗余节点（那些 FD 低且提示相关性低的节点），并更新和重新排序剩余节点。

B. 窗口间分层压缩

为了在不丢失空间局部性的情况下捕捉全局上下文，LightKV 采用了受 Swin-Transformers 启发的分层策略：

多阶段迭代：在特定的解码器层（ $\lambda_1, \lambda_2, \dots$ ）应用压缩。
渐进式扩展：在浅层，压缩发生在小窗口内（保留局部细节）；在深层，窗口大小增加（或分区合并），允许在更大的空间距离上进行消息传递以捕捉全局语义。
动态调度：该方法使用超参数来选择层（ $\Lambda$ ）、窗口大小（ $W$ ）和压缩比（ $P$ ），以适应不同的模型深度。

3. 主要贡献

提示感知压缩：LightKV 是第一种在预填充阶段明确使用文本提示引导来驱动视觉令牌压缩的方法。这使其区别于仅视觉的剪枝策略，确保保留与查询相关的语义重要视觉特征。
无需训练且即插即用：该方法不需要模型重训练或微调。它可以无缝应用于各种开源 LVLM（如 LLaVA、InternVL、Qwen2.5-VL、EVE）。
高效的图划分：通过在空间窗口内利用二分匹配，该方法显著降低了计算特征发散度的计算成本，优于全局成对匹配。
分层设计：窗口内（局部）和窗口间（全局）压缩的结合，在保持空间连贯性与整合全局上下文之间取得了平衡。

4. 实验结果

作者在8 个开源 LVLM（包括 LLaVA-v1.5、LLaVA-NeXT、InternVL2、EVE 和 Qwen2.5-VL）上，跨越8 个基准测试（MME、SeedBench、GQA 等）评估了 LightKV。

内存减少：LightKV 将视觉令牌 KV 缓存大小减少了约50%（保留约 55% 的原始令牌）。
性能保持：
- 它保持或略微超越了原生 LVLM 的性能（例如，在 LLaVA-v1.5-13B 上达到基线性能的99.94%）。
- 它显著优于 FastV、ToMe 和 ElasticCache 等现有基线，后者通常遭受性能下降（例如，FastV 在 LLaVA-NeXT 上降至约 90%）。
效率提升：
- 计算：将 FLOPs 减少高达40%。
- 延迟：显著减少首令牌时间（TTFT）（例如，在 LLaVA-NeXT-13B 上从 656ms 降至 383ms）。
鲁棒性：该方法在基于视觉编码器的模型和无编码器模型（如 EVE）上均有效，证明了其广泛的适用性。

5. 意义

LightKV 解决了 LVLM 部署中的一个关键可扩展性问题。通过减少最昂贵阶段（预填充）的 KV 缓存内存占用，它实现了：

资源受限部署：在消费级 GPU（如 A100-40GB）上运行高分辨率 LVLM，否则由于大上下文窗口会导致 OOM（内存不足）。
成本效益：降低推理的计算成本（FLOPs）和延迟，使实时多模态应用更加可行。
泛化能力：提供一个通用的、无需训练的优化层，在不损害模型推理能力的情况下提高整个 LVLM 生态系统的效率。

总之，LightKV 通过将 KV 缓存优化从“仅视觉”剪枝转变为提示引导的分层压缩，重新定义了多模态模型的 KV 缓存优化，实现了内存效率与任务性能之间的更优权衡。