🤖 AI

CIVIC: End-to-End Sequence Compactness for Efficient Vision-Language Models

CIVIC 是一个端到端框架，通过在全部推理阶段维持连续的紧凑视觉通路，在视觉语言模型中实现真正的硬件效率，在确保精度不受影响的同时显著降低内存占用和延迟。

原作者： Fengze Yang, Bo Yu, Xuewen Luo, Cathy Liu, Chenxi Liu

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengze Yang, Bo Yu, Xuewen Luo, Cathy Liu, Chenxi Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向朋友解释电影中一个复杂的场景。

问题：“过度描述”的朋友
当前的 AI 模型（称为视觉 - 语言模型）就像那些会描述电影帧中每一个像素的朋友。如果电影是 4K 分辨率，它们可能会尝试为仅仅一秒钟的视频描述 1,000 个微小的细节（token）。虽然这很详尽，但令人疲惫不堪。AI 在尝试编写故事的同时，必须在其短期记忆（"KV 缓存”）中记住所有 1,000 个细节。这使得 AI 运行缓慢、占用大量内存，且成本高昂，尤其是在小型设备上。

旧方案：“编辑按钮”的谬误
此前试图解决这一问题的方法，就像先写出完整的 1,000 字描述，然后再聘请编辑事后划掉无聊的部分。

缺陷：即使编辑划掉了某些词语，AI 仍然必须先写下它们、携带它们，然后再删除它们。这就像背着一个装满石头的沉重背包，直到终点线才扔掉一半。你仍然因为背负重量而感到疲惫，而且“编辑”过程本身也耗费了额外的时间。

新方案：CIVIC（“智能摘要器”）
这篇论文提出了 CIVIC，这是一种关于 AI 如何“看”和“说”的新思路。CIVIC 不是先写出完整描述再进行编辑，而是教导 AI 从一开始就只写重要的部分。

以下是 CIVIC 的工作原理，使用简单的类比：

“锚点”系统（智能分组）：
想象一下看着一个拥挤的房间。CIVIC 不是列出每个人的脸，而是挑选几个“锚点”（比如一群朋友的核心），并说：“整个群体代表一个概念。”它在 AI 开始处理之前，就将相似的视觉细节分组。这将 1,000 个杂乱无章的项目转化为 400 个关键点的整洁列表。
“连续路径”（无绕路）：
大多数其他方法就像接力赛，跑步者传递接力棒，停下来重新包装，然后再跑。CIVIC 是一条直道。它将“紧凑”（缩短）的信息列表从摄像头一直保留，穿过投影仪，直到进入 AI 的大脑。它永远不会切换回“沉重”的版本。这意味着 AI 不会浪费能量去切换模式或重新组织数据。
“内存节省器”（KV 缓存）：
因为 AI 只需要记住 400 个关键点而不是 1,000 个，其短期记忆（KV 缓存）大幅缩小。论文发现，与标准方法相比，CIVIC 仅使用约 三分之一 的内存空间。这就像从提着一个沉重的行李箱变成背一个小背包。
“师生”课程（训练）：
为了确保 AI 不会因细节减少而感到困惑，研究人员使用了一种“文本对齐”的教学方法。想象一位老师（大型、缓慢的 AI）向一名学生（新型、快速的 AI）展示如何描述一张图片。老师不只是说“简短点”，而是说：“用更少的词语描述图片的含义，但要确保你仍然讲对了故事。”这确保了 AI 不会失去理解细微细节的能力，例如物体在图片中的位置。

结果
当研究人员在名为 Qwen3-VL 的模型上测试该方法时：

速度：AI 完成任务的速度快得多（从约 3.5 秒降至约 2.5 秒）。
内存：它使用的内存显著减少（从约 122 MB 降至约 44 MB）。
准确性：尽管速度更快、体积更小，但它并没有变“笨”。它在回答复杂问题和定位图片中的物体方面，表现与缓慢、庞大的版本一样好。

总结
CIVIC 阻止了 AI 做不必要的工作。它不是生成海量数据然后试图削减，而是学会从一开始就生成紧凑、高效的摘要。这使得 AI 运行更快、成本更低，并且能够在不损失智能的情况下投入实际应用。

技术摘要：CIVIC——面向高效视觉语言模型的端到端序列紧凑性

1. 问题陈述

视觉语言模型（VLM）在处理高分辨率图像或长视频时，面临显著的内存和延迟瓶颈，这主要归因于生成的海量视觉令牌（tokens）。尽管现有研究已专注于令牌稀疏化、合并以及 KV 缓存压缩以降低理论浮点运算量（FLOPs），但这些方法往往无法转化为成比例的物理硬件加速。

核心问题被识别为“压缩 - 实现差距”（compression-realization gap）。大多数现有方法在稠密视觉表示构建完成之后，才应用事后（post-hoc）运行时压缩。这引入了结构性开销，包括：

非连续内存访问：令牌评分、路由、gather/scatter（收集/散射）以及稠密接口恢复等操作破坏了 GPU 内存的连续性。
几何失序：在剪枝过程中破坏二维网格，可能导致细粒度定位能力的丧失。
下游压缩无效：即使编码器中的视觉令牌被减少，下游语言模型（LLM）的预填充（prefill）和 KV 缓存操作通常仍继续处理未压缩或部分稠密的接口，从而抵消了延迟增益。

因此，理论上的 FLOP 减少并未产生真正的墙钟时间（wall-clock）加速，资源受限的部署仍受限于延迟和 KV 缓存占用。

2. 方法论：CIVIC 框架

为了克服这些障碍，本文提出了CIVIC（面向视觉语言集成压缩的紧凑推理），这是一个路径一致的框架，旨在在整个推理流水线中无缝保持紧凑的序列表示：从视觉编码器和投影层，到 LLM 预填充及 KV 缓存。

核心组件

基于学习锚点的聚合：
不同于在编码后剪枝令牌，CIVIC 在视觉编码之前将稠密图块转换为连续令牌。它利用学习到的紧凑锚点（ $A$ ），通过 softmax 加权机制聚合稠密图块嵌入（ $X_0$ ）。这保留了空间映射，并将稠密序列转换为紧凑的潜在序列（ $Z_0$ ），而不会破坏二维网格结构。
带有 KV 压缩的紧凑视觉编码：
紧凑视觉编码器（ $E^c_v$ ）处理聚合后的序列。关键在于，虽然查询（query）投影保持标准，但键（keys）和值（values）被压缩为固定数量的内存锚点（ $S$ ）。这将注意力交互复杂度从 $O(T_e^2)$ 降低至 $O(M_e \cdot S)$ ，其中 $M_e$ 是紧凑令牌数量。
自适应空间保留下限：
为防止过度压缩破坏细粒度定位，CIVIC 采用自适应空间保留下限。这确保保留最小比例的空间相关令牌，从而在激进截断期间保障视觉准确性。
紧凑多模态预填充：
紧凑视觉嵌入被直接投影到语言模型的隐藏空间（ $\Pi_c$ ）并插入 LLM 上下文。不同于其他插入稠密占位符的方法，CIVIC 完全用紧凑序列（ $V_c$ ）替换这些跨度，确保 LLM 预填充及随后的自回归解码在缩短的序列（ $L + M_p$ ）上运行，而非原始稠密长度（ $L + T_p$ ）。
文本对齐的 KL 蒸馏：
由于视觉令牌接口发生变化，标准蒸馏已不足够。CIVIC 利用文本对齐的 KL 蒸馏方案。它仅在非视觉文本位置将紧凑学生模型的 logits 与稠密教师模型对齐。这使得紧凑嵌入能够直接替换稠密跨度，而无需对冻结的语言模型参数进行结构性重训练。

3. 主要贡献

本文概述了三项主要贡献：

差距的识别：作者指出，除非在视觉编码器、投影器和 LLM 预填充之间保持端到端的序列紧凑性，否则 VLM 中理论 FLOP 的减少无法产生物理加速。
路径一致框架：提出了 CIVIC，通过基于学习锚点的聚合、自适应空间保留下限以及文本对齐的 KL 蒸馏，解决几何和训练瓶颈，以维持端到端的紧凑潜在表示。
实证验证：在 Qwen3-VL 架构上的评估表明，稳定的紧凑处理大幅降低了延迟和 KV 缓存占用，同时保留了细粒度多模态准确性，消除了对运行时路由或稠密恢复的需求。

4. 实验结果

实验在 Qwen3-VL-2B-Instruct 模型上进行，使用 NVIDIA RTX 4090 GPU，将 CIVIC 与五种基线令牌减少方法（DyMU, DiffRate, DynamicViT, VisionTrim, ZOO-Prune）在五个基准测试（MMMU, MathVision, ODinW-13, RealWorldQA, VideoMME）上进行了比较。

性能指标

延迟降低：CIVIC 实现了 2514.9 ms 的总推理延迟，相比基线的 3543.0 ms 显著降低。相比之下，许多事后方法（如 ZOO-Prune, DynamicViT）由于开销导致延迟回归或改善微乎其微。
KV 缓存优化：KV 缓存内存利用率从基线的 122.7 MB 降低至 CIVIC 的 44.61 MB，约为基线的三分之一。
序列压缩：预填充令牌数量从 1122.2 减少至 407.9。
准确性保持：与在重推理任务（MathVision）和细粒度定位（ODinW-13）上遭受严重退化的事后剪枝方法不同，CIVIC 保持了稳定的性能边界，甚至在某些情况下提升了定位准确性。
开销：CIVIC 的压缩开销微乎其微（0.49 ms），而基线方法由于运行时记账产生了显著开销（例如 ZOO-Prune 为 18.45 ms）。

消融洞察

令牌预算：中间令牌预算（例如 C=256）在视觉密度和下游工作负载之间提供了最佳平衡；极端压缩（C=64）因信息匮乏而降低了解码性能。
保留下限：自适应的最小保留比例至关重要；无限制的驱逐（Min=0.0）破坏了视觉准确性。
端到端一致性：在 LLM 之前恢复稠密占位符会抵消所有加速效果，证实了除非中间紧凑性持续到 LLM，否则它是徒劳的。

5. 意义与主张

本文主张 CIVIC 成功地将理论压缩转化为物理硬件效率。通过强制实施连续的紧凑路径，该框架避免了当前方法所困扰的非连续内存访问和局部未合并开销。

其意义在于证明了整体序列紧凑性是 VLM 实质性加速的决定性驱动因素。结果表明，为了实现高效的 VLM 部署，必须针对紧凑性优化整个推理图，而不是将压缩视为事后的附加项。这种方法使得在资源受限的场景中能够支持更大的批量大小和扩展的上下文窗口，同时不牺牲机器人技术和自动驾驶等实际应用所需的细粒度多模态推理能力。

作者对范围保持谦逊，指出当前的评估仅限于静态令牌预算、单张图像以及 Qwen3-VL-2B 架构，未来工作需要在更大模型和动态、实例自适应的上下文中验证其可扩展性。