💻 computer science

UniCompress: Token Compression for Unified Vision-Language Understanding and Generation

本文提出了名为 UniCompress 的即插即用式视觉令牌压缩算法，通过引入可学习的全局元令牌机制，在显著降低统一视觉 - 语言模型计算开销并提升推理效率的同时，仅造成极小的性能损失，从而有效解决了该类模型在资源受限场景下的部署难题。

原作者： Ziyao Wang, Chen Chen, Jingtao Li, Weiming Zhuang, Jiabo Huang, Ang Li, Lingjuan Lyu

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyao Wang, Chen Chen, Jingtao Li, Weiming Zhuang, Jiabo Huang, Ang Li, Lingjuan Lyu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 UniCompress 的新技术，它的核心目的是让现在的"AI 多模态大模型”（既能看懂图又能画图）变得更轻、更快、更省钱，同时还不耽误干活的质量。

为了让你更容易理解，我们可以把现在的 AI 模型想象成一个超级繁忙的“全能翻译官”。

1. 现在的痛点：翻译官被“信息洪流”淹没了

想象一下，这个翻译官的工作是：

看图说话（理解）：给你看一张图，让你描述里面有什么。
看图画画（生成）：给你一段文字，让你画出一张图。

问题出在“图片”上：
在这个 AI 的世界里，图片不是直接给出来的，而是被切成了成千上万个微小的“积木块”（论文里叫Token）。

以前，一张普通的图片可能被切成了 1024 块 积木。
翻译官在处理时，必须一块一块地读（理解）或者一块一块地拼（生成）。
后果：如果图片太多，翻译官的脑子（显存）不够用，处理速度也慢得像蜗牛。这就导致像机器人（Embodied AI）这种资源有限的设备根本跑不动。

现有的笨办法：

直接砍掉积木：有人试着直接扔掉一半的积木，只留重要的。但这招对“看图说话”还行，对“画图”就是灾难。因为画图需要非常精细的纹理，少了一块积木，画出来的脸可能就歪了，或者天空少了一朵云。
重新发明积木：有人想造一种新的、更少的积木。但这需要把整个翻译官重新培训一遍，成本极高，几乎不可能。

2. UniCompress 的解决方案：聪明的“打包与解压”

UniCompress 就像给翻译官配了一个超级高效的“打包员”和“解压员”，而且不需要重新培训翻译官（即即插即用）。

核心比喻：旅行箱与导游图

想象你要把一座城市（图片）的信息传给远方的朋友（AI 模型）：

压缩（打包）：
- 传统做法：把城市里的每一块砖、每一片树叶都打包带走（1024 个积木）。箱子太重了，搬不动。
- UniCompress 做法：
  - 局部打包：把城市里相邻的 4 块区域（比如一个街区）合并成 1 个“街区包”。这样原本 1024 个积木变成了 256 个，重量直接减了 4 倍！
  - 全局导游图（关键创新）：除了打包街区，还专门画了一张**“城市全景导游图”（论文里的Global Meta Tokens**）。这张图不记录细节，只记录“这里有个公园，那里有条河，整体色调是蓝色的”这种宏观信息。
传输：
- 现在，翻译官只需要处理 256 个街区包 + 1 张导游图。速度飞快，脑子也不累了。
解压（还原）：
- 当需要“画图”时，翻译官看着导游图（知道整体布局），再结合街区包（知道局部大概），利用一种**“智能重建算法”**（自回归解压），把原本被合并的街区重新“展开”成细腻的 1024 个积木。
- 关键点：因为有“导游图”在指引，重建出来的细节不会乱，天空还是蓝的，树还是绿的，不会像直接砍掉积木那样画出一张模糊的鬼图。

3. 这个技术牛在哪里？

不用换人（即插即用）：它像一个插件，直接插在现有的 AI 模型里。不需要把整个模型推倒重来，省去了巨大的训练成本。
瘦身 4 倍：它能把图片的“积木”数量减少 4 倍（比如从 1024 个变成 256 个）。
速度起飞：因为要处理的数据少了，画图的速度提升了 40% 以上，训练时间也缩短了很多。
质量不降：这是最难的。通常减少数据会牺牲质量，但 UniCompress 通过“导游图”的指引，让画图和理解的效果几乎和原来一样好（只有一点点可以忽略不计的下降）。

4. 总结：为什么这很重要？

这就好比以前我们只能用重型卡车（大模型）来运送货物，虽然能运，但油耗高、进不去窄巷子（无法在机器人或手机上运行）。

UniCompress 发明了一种**“智能折叠术”**：

把货物折叠得极小（压缩）。
配了一张精准的地图（全局 Token）。
到了目的地再完美展开（解压）。

结果就是：同样的货物，现在用一辆轻便的摩托车就能运，而且跑得飞快，还能进窄巷子。

这意味着，未来我们可以在手机、机器人、甚至无人机上运行这种既能看懂世界又能创造世界的超级 AI，而不再需要依赖昂贵的超级计算机了。这就是论文所说的“让统一模型在资源受限的场景下也能落地”。

这是一篇关于 UniCompress 的论文详细技术总结。该论文提出了一种针对统一视觉 - 语言模型（Unified Vision-Language Models）的 Token 压缩算法，旨在解决现有模型在资源受限场景下因视觉 Token 数量庞大而导致的计算和内存开销过大的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

统一模型的局限性：当前的统一模型（Unified Models）通过将图像编码为离散 Token 并与文本 Token 一起输入自回归框架，实现了图像理解与生成的统一。这种架构简化了部署并促进了跨模态协同。
效率瓶颈：现有的离散 Tokenizer（如 VQ-VAE, VQGAN）通常将 $512 \times 512$ 的图像映射为 $32 \times 32 = 1024$ 个 Token。这导致序列长度极长，带来了巨大的内存占用、训练成本和推理延迟，难以在具身智能（Embodied AI）等资源受限场景中部署。
现有方案的不足：
- 简单压缩失效：直接对 Token 进行下采样或均匀剪枝虽然能提升理解任务性能，但会严重破坏生成任务（图像质量下降超过 15%），因为生成任务对细粒度的空间一致性非常敏感。
- 重新训练成本高：训练一个新的、更高效的 Tokenizer 通常需要从头训练下游语言模型，成本高昂且缺乏通用性。
核心挑战：如何设计一种即插即用的压缩方法，在大幅减少视觉 Token 数量的同时，同时保持图像理解（Understanding）和图像生成（Generation）的高性能，且无需对现有统一模型进行全量重训。

2. 方法论 (Methodology: UniCompress)

UniCompress 提出了一种即插即用（Plug-in-and-Play）的 Token 压缩框架，其核心思想是在现有的离散 Tokenizer 周围插入三个轻量级模块，利用可学习的全局 Meta Token 引导压缩与解压过程。

2.1 核心架构

全局 Token 提取器 (Global Token Extractor)：
- 使用一组可学习的元查询 Token（Meta Query Tokens, $Q$ ），通过单向交叉注意力机制（One-way Cross-Attention）从原始密集视觉 Token 序列中提取全局场景语义。
- 生成的全局 Token ( $G$ ) 数量远少于原始 Token，但包含了场景级的约束信息（如物体关系、整体布局）。
基于池化的压缩器 (Pooling-based Compressor)：
- 将原始的 $H \times W$ 网格 Token 重塑，通过非重叠的平均池化（Average Pooling）将局部 Token 聚合为更短的序列。
- 例如，下采样因子 $s=2$ 时，局部 Token 数量减少 4 倍。
- 引入特殊 Token（[IMG BOS], [IMG SEP], [IMG EOS]）来组织全局 Token 和压缩后的局部 Token 序列。
全局引导的自回归解压器 (Global-guided Autoregressive Decompressor)：
- 在生成任务中，语言模型预测压缩域的全局 Token 和局部 Token 索引。
- 解压器利用预测出的全局 Token 作为语义锚点（Semantic Anchors），通过自回归方式逐步将紧凑表示扩展回原始分辨率的密集 Token 网格。
- 解压器采用 Transformer Decoder 结构，利用掩码自注意力（Masked Self-Attention）和交叉注意力（Cross-Attention）来恢复长程结构和细节纹理。

2.2 训练流程 (Two-Stage Training)

该方法采用两阶段训练策略，无需修改语言模型（LLM）的骨干架构：

阶段一（Tokenizer 侧训练）：冻结 LLM，联合训练 Tokenizer 栈（包括提取器、压缩器、码本和解压器）。目标是最小化重建损失（包含密集特征空间的回归损失和码本一致性损失），学习如何从密集序列映射到紧凑对 $(G, \hat{X})$ 并高保真地还原。
阶段二（LLM 微调）：冻结压缩后的 Tokenizer，仅在压缩后的 Token 序列上对 LLM 进行轻量级微调（Fine-tuning）。
- 理解任务：LLM 直接消费连续的压缩 Token。
- 生成任务：LLM 自回归输出离散索引，经解压器还原为图像。

3. 关键贡献 (Key Contributions)

问题定义：明确了 Token 效率是统一模型的瓶颈，并指出简单的 Token 压缩会不成比例地损害生成性能，形式化了“单一紧凑视觉 Token 空间”同时服务于理解和生成的目标。
UniCompress 框架：提出了首个支持理解和生成双重任务的即插即用压缩框架。其核心创新在于全局引导的自回归解压机制，在缩短序列长度的同时保留了生成所需的细节和长程结构。
通用性与模块化：该方法不依赖特定的 LLM 架构，可无缝集成到现有的统一模型（如 UNITOK, VILA-U, VARGPT 等）中，无需全量重训。
实证效果：在多个基准测试中，实现了高达 4 倍 的 Token 压缩（例如从 256 个 Token 降至 64 个），同时保持了理解任务的精度（下降 $\le 3\%$ ）和生成任务的质量（FID 增加 $\le 5\%$ ）。

4. 实验结果 (Results)

实验在多个统一模型（UNITOK, VILA-U, VARGPT, UNIFORK, OPENUNI, BAGEL）及标准基准（GQA, MME, POPE, MJHQ-30K 等）上进行验证。

理解性能 (Understanding)：
- 压缩后的模型在 GQA、MME、TextVQA 等任务上表现稳健。例如，UNITOK-COMPRESSED 在 GQA 上仅从 55.71 降至 53.07，在 MME 和 MMMU 上几乎无损。
- 证明了基于池化的压缩结合全局引导，足以保留视觉语义信息。
生成性能 (Generation)：
- 在 MJHQ-30K 数据集上，压缩模型保持了较高的图像质量。
- 例如，VILA-U-COMPRESSED 的 FID 从 14.80 微增至 16.37，CLIP 分数从 29.8 降至 28.9，性能下降极小。
- 消融实验表明，全局 Meta Token 和 自回归解压器 对于维持生成质量至关重要；移除它们会导致 FID 显著上升和纹理模糊。
效率提升 (Efficiency)：
- 推理延迟：生成任务的推理时间显著降低。例如，UNITOK 的生成推理时间从 32.25 分钟降至 18.96 分钟（加速约 41.8%）。
- 训练成本：训练时间减少了约 15.4%。
- 这种端到端的加速对于自回归生成任务尤为关键，因为每个 Token 的生成都直接影响延迟。

5. 意义与结论 (Significance)

资源受限场景的可行性：UniCompress 证明了通过紧凑的视觉表示，统一模型可以在有限的计算和内存预算下高效部署，这对于具身智能、移动端应用等场景具有重要意义。
打破效率与质量的权衡：该方法打破了以往“压缩即牺牲生成质量”的困境，通过全局语义引导机制，在大幅减少 Token 数量的同时，维持了高保真的图像重建能力。
未来方向：为构建可扩展、低成本的统一多模态模型提供了一条实用路径，使得在保持高质量的同时降低运行预算成为可能。

总结：UniCompress 通过引入可学习的全局元 Token 和自回归解压机制，成功解决了统一视觉 - 语言模型中 Token 效率低下的痛点，实现了在理解与生成任务上的“双赢”，是迈向高效、实用化多模态大模型的重要一步。