💻 computer science

Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction

本文介绍了 PriorTR，这是一种无需训练的 Token 缩减方法，它通过在单次前向传播中使用空 Token 探测（null token probe）来显式地将任务条件注意力与模型诱导先验分离，从而在激进的 Token 预算下改善准确率与效率之间的权衡，进而加速多模态大语言模型。

原作者： Zengjie Chen, Yuxiang Cai, Jingcai Guo, Taotao Cai, Jianwei Yin, Zhi Chen

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zengjie Chen, Yuxiang Cai, Jingcai Guo, Taotao Cai, Jianwei Yin, Zhi Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 "Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction" (PriorTR) 的解释，已翻译为通俗易懂的中文，并保留了原有的创意类比。

核心问题：“嘈杂的房间”

想象一下，你正试图在一个拥挤、嘈杂的房间里，与一位非常聪明的的朋友（AI）进行一场严肃的对话。房间里挤满了数百人（代表图像的视觉标记/tokens）。

你的朋友正试图回答你提出的一个特定问题，比如：“那个穿红衬衫的人在做什么？”

然而，你的朋友有一个坏习惯：他们天生会被房间里最响亮、最显眼的人所吸引，而不管你问的是什么。如果有一个穿着亮黄色西装的人站在扩音器旁边，即使那个人与你的问题毫无关系，你的朋友也会立刻盯着他看。

在 AI 世界中，这被称为**“模型诱导先验”（model-induced prior）**。AI 会自然而然地关注图像中高对比度或纹理丰富的部分（比如明亮的蓝天或繁忙的背景），仅仅是因为这些部分在视觉上很“吵”，而不是因为它们与你的指令相关。

旧方法：挑选最响亮的声音

以往用于加速这些 AI 模型的方法，试图通过忽略房间里的多数人来节省时间。它们会观察 AI 正在关注谁，然后只保留那些人。

缺陷在于： 由于 AI 天生会对“响亮的人”（背景噪音）产生偏好，旧方法会保留错误的人。它们留下了那个穿黄西装的人，却丢弃了那个正在做你所询问动作的红衬衫人。当 AI 被迫在剩下极少人数的情况下进行推断时（即“严格的标记预算”下），它往往会给出错误的答案，因为它观察的是错误的信息。

新方案：PriorTR（“静音过滤器”）

作者提出了一种名为 PriorTR 的新方法。把它想象成一个聪明的技巧，可以帮助 AI 忽略自己的坏习惯，转而只关注你所询问的内容。

其工作原理如下，分步骤进行：

1. “沉默的观察者”（空标记/Null Token）

在 AI 尝试回答你的问题之前，研究人员先让它做一个“虚假”的问题。他们在图像之后、你的问题之前插入一个沉默的、空的标记（就像一个空格或一段停顿）。

类比： 就像问你的朋友：“先别管我问了什么，你就看着这个房间，告诉我谁最显眼。”
结果： 你的朋友指出了那些响亮、显眼的人（背景噪音）。这张注意力图就是**“先验”（Prior）**。它展示了 AI 天生喜欢看什么。

2. “真实的问题”（后验/Posterior）

接下来，你提出了真正的问题：“那个穿红衬衫的人在做什么？”

类比： 你的朋友再次观察房间，但这一次，他们是在寻找那个穿红衬衫的人。这就是**“后验”（Posterior）**（带有你指令后的注意力）。

3. “减法技巧”（先验修正/Prior Correction）

现在，PriorTR 将这两张图进行对比。

用大白话解释数学逻辑： 它用“真实问题”的注意力图去减去“沉默观察者”的注意力图。
结果： 如果 AI 在两种情况下都在看那个响亮的黄西装，那么减法操作就会抵消掉这个信号。如果 AI 仅仅是因为你的提问才开始看那个穿红衬衫的人，那么这个信号就会被保留下来。

这就创建了一个**“经先验修正后的”（Prior-Corrected）**注意力图。它精准地突出了由你的特定问题带来的、全新的且有用的信息，剥离了 AI 天生的偏见。

收益：更快且更聪明

一旦 AI 知道哪些人（标记）实际上与你的问题相关，它就可以把剩下的其他人扔掉。

物理剪枝（Physical Pruning）： AI 不仅仅是“忽略”了多余的人；它从物理上将他们从记忆中移除，并停止思考他们。
好处： 这使得 AI 运行得更快（需要更少的计算能力）且更便宜（占用更少的内存），但令人惊讶的是，它也让答案更准确，因为 AI 不再会被背景噪音所干扰。

为什么这很重要

论文表明，当强制要求 AI 在极少数“人”留存的情况下工作（激进的标记缩减）时，旧方法表现得很糟糕，因为它们保留了错误的人。PriorTR 通过使用这种“静音过滤器”技巧，保留了正确的人。

总结来说： PriorTR 教会了 AI 如何区分“它天生喜欢看什么”和“你实际想让它看什么”，从而使其在保持智能的同时，工作效率更高。

技术摘要：面向多模态大语言模型（MLLM）的先验修正型标记缩减技术

问题陈述

多模态大语言模型（MLLMs）将图像转换为长序列视觉标记（tokens），这导致了显著的推理成本，尤其是在处理高分辨率图像和视频时。虽然现有的无需训练的方法通过基于文本-视觉注意力分数来剪枝冗余视觉标记，以加速推理，但本文指出这些方法存在一个关键缺陷：其底层假设——即注意力大小能可靠地反映指令调节下的语义相关性——是不成立的。

作者证明了 MLLMs 表现出一种强烈的模型诱导先验（model-induced prior）。即使在没有文本指令的情况下，模型也倾向于向某些与任务无关、但在视觉上显著的区域（例如高对比度背景或纹理区域）分配高注意力。当剪枝依赖于绝对注意力分数时，这种先验会主导排名。因此，包含关键指令特定证据的标记可能会被抑制并丢弃，而无关的背景标记却被保留了下来。这一问题在激进的标记预算下尤为严重，因为错误的筛选会导致视觉证据被不可逆转地移除，从而无法进行正确的推理。

方法论：PriorTR

为了解决这一问题，作者提出了 PriorTR（先验修正型标记缩减），这是一种能够显式分离任务调节注意力与模型诱导先验的无需训练的方法。

核心概念：V-可用信息（V-Usable Information）

PriorTR 将标记选择重新定义为识别那些能够提供超出模型内在偏差之外的额外可用信息的标记的问题。它将观测到的后验注意力 $P_\theta(v | X)$ （以指令 $X$ 为条件）分解为两个部分：

模型诱导先验 ( $Q_\theta(v)$ )： 在不存在指令（或使用空指令）时的注意力分布。
语义提升 ( $L(v, X)$ )： 由指令特有地引起的乘性重要性增加。

该方法根据**逐点 V-信息（Pointwise V-Information, PVI）**对标记进行评分，定义为：
$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$
为了确保不会选中概率极小的标记，最终的重要性得分 ( $S_{\text{PriorTR}}$ ) 将后验质量与对数比例相结合：
$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$
标记按此得分进行排名，并保留前 $K$ 个。

高效单次前向传播实现

PriorTR 的一个关键创新在于其能够在单次前向传播中同时估计先验和后验，避免了运行两次模型的计算开销。

空标记作为探测器（Null Token as Probe）： 该方法利用了自回归解码器的因果注意力结构。在视觉标记之后、指令标记之前，放置一个“空标记”（例如分隔符 \n）。
因果掩码（Causal Masking）： 由于因果掩码的存在，空标记无法关注到后续的指令标记。因此，该标记对视觉序列的注意力分布自然地代表了指令无关的先验 ( $Q_\theta$ )。
同步提取： 在同一个注意力块中，来自实际指令标记对视觉序列的注意力提供了任务调节的后验 ( $P_\theta$ )。
物理剪枝（Physical Pruning）： 不同于仅进行掩码处理的方法，PriorTR 会物理性地移除未被选中的隐藏状态和 KV 缓存条目。这确保了后续层是在一个真正缩短的序列上运行，从而实现真正的内存和计算量减少。

核心贡献

识别模型诱导先验： 作者形式化地观察到，基于注意力的剪枝往往被指令无关的显著性模式所主导，导致在严格预算下任务相关标记被抑制。
PriorTR 算法： 一种无需训练的标记缩减方法，它根据“V-可用信息”（相对于先验的语义提升）而非原始注意力大小来对视觉标记进行排名。
高效单次前向设计： 通过在单次前向传播中使用空标记探测器来估计先验，实现了物理剪枝和真实的推理加速，且无需重复传播。
实证验证： 通过广泛实验证明，PriorTR 在多种 MLLM（LLaVA-1.5, Qwen3-VL）和基准测试（图像和视频理解）中一致地改善了准确率与效率之间的权衡。

实验结果

论文在 12 个多模态基准测试（包括 GQA, MME, MMB, POPE 和视频问答任务）上对 LLaVA-1.5-7B, LLaVA-1.5-13B 和 Qwen3-VL-8B 进行了评估。

准确率 vs. 效率： PriorTR 在各种强力无需训练的基线方法（FastV, PDrop, SparseVLM, VisPruner, PruMerge）中表现持续优异。
- 在保留 64 个标记（88.9% 的缩减率）的 LLaVA-1.5-7B 上，PriorTR 达到了 94.5% 的平均准确率，显著高于 FastV (70.7%) 和 VisPruner (91.7%)。
- 在 Qwen3-VL-8B 仅保留 11.1% 标记的情况下，PriorTR 达到了 87.8% 的相对性能，超过了基线 FastV (75.5%)。
视频理解： 在 Video-LLaVA 上，PriorTR 结合标记合并技术，在 GPT 评估下达到了接近基线的准确率（38.7% 对比未压缩的 38.7%），并在 Gemini 评估下超过了基线，超越了 SparseVLM。
效率增益： PriorTR 实现了显著的加速（在 LLaVA-1.5-7B 上高达 2.21倍），并使 KV 缓存内存的使用量随标记缩减量成比例下降，证实了物理剪枝能有效降低计算负载。
消融研究： 对评分函数的比较表明，提出的 $P \cdot \log(P/Q)$ 公式优于其他替代方案，如简单的差值 ( $P-Q$ )、对数比例 ( $\log(P/Q)$ ) 或原始后验 ( $P$ )，验证了同时考虑相关性量级和相对提升的必要性。

重要性

本文声称 PriorTR 通过解耦内在显著性与任务驱动的相关性，为高效的多模态推理提供了一个原则性的方向。通过修正模型诱导的先验，该方法确保了标记的选择是由指令调节的语义而非视觉主导地位来驱动。这种方法提供了一种鲁棒的、即插即用的解决方案，即使在激进的标记压缩下也能保持高准确率，解决了当前基于注意力的剪枝策略中的一个基本局限。作者强调，该方法与现有方法是正交的，可以与之无缝集成。