🤖 AI

Rethinking Token Reduction for Large Vision-Language Models

针对现有大视觉语言模型在多图轮对话场景下视觉令牌压缩策略的局限性，本文提出了一种名为 MetaCompress 的基于学习的提示无关方法，通过将令牌压缩统一为可学习映射并采用数据高效训练范式，实现了在保持多轮对话泛化能力的同时显著提升推理效率与精度。

原作者： Yi Wang, Haofei Zhang, Qihan Huang, Anda Cao, Gongfan Fang, Wei Wang, Xuan Jin, Jie Song, Mingli Song, Xinchao Wang

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Wang, Haofei Zhang, Qihan Huang, Anda Cao, Gongfan Fang, Wei Wang, Xuan Jin, Jie Song, Mingli Song, Xinchao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 MetaCompress 的新方法，旨在解决大型视觉 - 语言模型（LVLM）在“多轮对话”场景中效率低下的问题。

为了让你更容易理解，我们可以把整个故事想象成**“一位博学的画家（AI）和一位挑剔的顾客（用户）之间的对话”**。

1. 背景：画家太累了，画布太挤了

现在的 AI 模型（比如 LLaVA）非常聪明，能看懂图片并回答问题。

现状：当 AI 看一张图时，它会把图片切成几千个小碎片（称为"Token"），就像把一幅画切成了几千块拼图。
问题：如果用户只问一个问题（单轮对话），AI 可以很聪明地扔掉那些不重要的拼图。但是，如果用户要连续问好几个问题（多轮对话，比如“这是什么动物？” -> “它在哪里？” -> “它旁边有什么？”），情况就变了。
困境：
- 方法 A（旧方法 - 依赖提示词）：就像画家只盯着顾客第一句话来扔拼图。如果顾客第一句问“猫在哪”，画家就把背景全扔了。结果顾客第二句问“背景里有什么树？”，画家就傻眼了，因为背景早就被扔掉了。
- 方法 B（旧方法 - 凭直觉）：就像画家凭“直觉”（比如看哪个拼图被看得多）来扔。但这往往是拍脑袋决定，不够精准，经常把重要的东西误删了。

2. 核心发现：直觉往往是错的

论文作者先做了一个实验：他们让 AI 自己学习“到底该保留哪些拼图”，而不是靠直觉或第一句话。

惊人的发现：AI 自己学到的保留策略，和那些“凭直觉”的方法（比如看注意力分数）完全不同！
比喻：这就好比老师告诉你“考试重点在第一章”，但学霸自己复习后发现，其实第三章的某个角落才是关键。以前的方法就像只背第一章，而 MetaCompress 则是让 AI 自己去摸索真正的“考点”。

3. 解决方案：MetaCompress（智能压缩器）

为了解决这个问题，作者发明了一个叫 MetaCompress 的“智能压缩器”。

它是怎么工作的？
- 以前的做法：给每个问题都重新切一次图（太慢），或者凭感觉切（太蠢）。
- MetaCompress 的做法：它像一个超级熟练的剪纸大师。
  1. 不看对话内容：它不关心顾客第一句问什么，也不关心第二句问什么（这叫"Prompt-agnostic"，即不依赖提示词）。
  2. 只看图片本身：它只盯着图片，学习如何把几千块拼图，智能地合并成几百块，同时保证图片的核心信息（比如猫、树、背景）都还在。
  3. 动态适应：不管图片是 1000 块拼图还是 5000 块，它都能自动调整剪刀的大小和位置，把图片“压缩”得恰到好处。
训练方式：
- 作者没有用海量的数据去死记硬背，而是用了一种**“少样本高效学习”**的方法。就像教一个天才学生，只给他看 2 万张图（相对于 AI 通常需要的几十亿数据来说很少），他就能学会通用的“压缩技巧”。

4. 效果如何？

更省钱：就像把一卡车货物压缩成一个小集装箱，运输（计算）成本大幅降低，速度变快。
更聪明：在多轮对话中，无论顾客问什么，MetaCompress 保留下来的“拼图”都能回答所有问题。
通用性强：它不仅能用在 LLaVA 模型上，还能用在其他各种新型模型上，甚至能直接迁移到“视频问答”任务中，不需要重新训练。

总结

MetaCompress 就像是给 AI 配备了一个“智能记忆管家”。
以前的管家要么只记第一句话（容易忘事），要么凭感觉瞎记（容易记错）。而 MetaCompress 这个管家，学会了如何从一张图中提取最精华的信息，不管顾客接下来问什么，它都能从保留下来的精华里找到答案。

一句话总结：
这篇论文通过让 AI 自己学习“如何聪明地删减图片信息”，而不是靠死板的规则，成功解决了 AI 在长对话中“记不住”且“算得慢”的难题，让 AI 聊天更流畅、更省钱。

这篇论文提出了一种名为 MetaCompress 的新型方法，旨在解决大型视觉 - 语言模型（LVLMs）在**多轮视觉问答（MT-VQA）**场景下的推理成本过高问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心痛点：LVLMs 在处理图像时会产生大量的视觉 Token。随着多尺度视觉输入（结合全局和局部 Token）的普及，Token 数量急剧增加，导致注意力机制的计算复杂度呈二次方增长（ $O(n^2)$ ），严重阻碍了在资源受限设备上的低延迟部署。
现有方法的局限性：
- 单轮导向：现有的 Token 缩减方法（如 FastV, PruMerge）主要针对单轮视觉问答（Single-turn VQA）设计。
- 多轮场景失效：在多轮对话（MT-VQA）中，后续的问题是不可预知的，且可能关注图像中任意区域。
  - Prompt 依赖型方法（如 FastV）：仅根据第一轮提示词（Prompt）保留相关 Token，容易丢弃对后续轮次至关重要的视觉信息（例如第一轮关注前景，后续轮次关注背景）。
  - Prompt 无关型方法（如 PruMerge）：虽然技术上适用于多轮，但依赖启发式规则（如基于注意力分数、[CLS] Token 注意力等）来决定保留哪些 Token。
关键发现：作者通过实验发现，基于启发式注意力分数的缩减策略在多轮场景下是**次优（Suboptimal）**的。学习到的最优压缩矩阵所保留的 Token，与传统的启发式注意力指标（如 Prompt-Token 注意力）并没有显著的正相关性。

2. 方法论 (Methodology)

作者提出了 MetaCompress，一种基于学习的、Prompt 无关的 Token 缩减方法。

核心思想：将 Token 缩减统一建模为一个**可学习的压缩映射（Learnable Compression Mapping）**问题。目标是在给定图像序列的情况下，找到一个最优的压缩矩阵 $P$ ，使得压缩后的视觉序列输入到 LLM 后，其生成的响应分布与原始未压缩序列的响应分布差异最小。
架构设计 (MetaCompress Module)：
- 设计了一个轻量级的元生成器（Meta Generator） $P_{meta}$ ，它仅根据输入图像序列（ $X_{IMG}$ ）生成压缩矩阵 $P$ ，完全不依赖文本 Prompt。
- 动态分辨率适配：为了适应不同分辨率和 Token 数量（如 LLaVA-NeXT 的多尺度输入）， $P_{meta}$ 能够生成适应任意长度的压缩矩阵。
- 具体实现：
  1. 对输入图像序列进行位置编码。
  2. 通过平均池化（Average Pooling）对 Query 进行下采样，并通过线性投影得到 Key。
  3. 计算下采样 Query 与 Key 的加权内积，生成压缩矩阵 $P$ 。
  4. 最终输出 $\tilde{X}_{IMG} = P X_{IMG}$ 。
训练范式 (Data-Efficient Training)：
- 目标函数：最小化压缩前后 LLM 输出分布的 KL 散度（ $L_{pred}$ ）。
- 正则化项：
  - $L_{entropy}$ ：熵正则化，防止压缩矩阵过于稀疏或集中。
  - $L_{collapse}$ ：坍塌正则化，防止所有压缩后的 Token 都源自同一个输入 Token（避免信息坍塌）。
- 数据效率：该方法仅需在少量数据（约 2 万条样本）上进行训练，且训练过程不涉及全模型微调，仅更新轻量级的投影层参数。

3. 主要贡献 (Key Contributions)

场景拓展与洞察：首次系统性地探索了 LVLM 在多轮视觉问答（MT-VQA）场景下的 Token 缩减问题，并揭示了现有基于启发式注意力分数的缩减策略在该场景下的次优性。
提出 MetaCompress：提出了一种基于学习、Prompt 无关的 Token 缩减方法。它摒弃了人工设计的启发式规则，通过数据驱动的方式学习最优的压缩映射。
高效训练范式：设计了一种数据高效的训练策略，能够以极低的计算成本学习出通用的压缩映射，并证明了该方法在不同 LVLM 架构和不同数据集上具有强大的泛化能力。

4. 实验结果 (Results)

作者在三个 MT-VQA 基准（MT-VQA-v2, MT-GQA, ConvBench）和五种 LVLM 架构（LLaVA-1.5, LLaVA-NeXT, InternLM-XComposer-2.5）上进行了广泛实验：

精度表现：
- 在 90% 的 Token 缩减率下，MetaCompress 在多个基准测试中均显著优于现有的基线方法（包括 Random, Sample, FastV, PruMerge）。
- 例如，在 LLaVA-1.5-13b 上，MetaCompress 的平均准确率（Avg）达到 72.94%，而次优的 PruMerge 为 70.68%，FastV 仅为 56.41%。
- 即使在未参与训练的 ConvBench 数据集上，MetaCompress 也表现出极强的迁移性，大幅超越基线。
效率提升：
- 在保持高准确率的同时，MetaCompress 显著降低了推理延迟（TTFT 和 E2ET）和显存占用。
- 其效率与简单的均匀下采样（Sample）相当，但精度远高于后者。
消融实验：验证了损失函数中各个正则化项（熵正则、坍塌正则）对性能的正向贡献，证明了梯度裁剪在防止训练发散中的作用。
可视化分析：可视化显示，MetaCompress 保留的 Token 分布与传统注意力分数无关，证实了启发式规则的局限性。

5. 意义与展望 (Significance)

理论突破：打破了“注意力分数高即重要”的固有认知，证明了在多轮对话场景下，通过端到端学习压缩映射能获得更优的 Token 选择策略。
实用价值：MetaCompress 作为一个轻量级模块，可以无缝集成到现有的现代 LVLM（包括多尺度视觉塔架构）中，无需昂贵的全量微调，极大地降低了部署成本。
未来方向：该方法展示了在保持模型性能的同时大幅降低计算开销的潜力，为未来在移动端或边缘设备上部署复杂的视觉 - 语言多轮对话系统提供了可行的技术路径。作者计划进一步探索全层级 Token 缩减策略以及在视频理解等更复杂任务上的迁移能力。

总结：MetaCompress 通过摒弃传统的启发式规则，采用数据驱动的学习方法，成功解决了多轮视觉问答中 Token 缩减的难题，在大幅降低计算成本的同时，实现了优于现有方法的精度和泛化能力。