🤖 machine learning

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

本文提出了一种无需训练的推理方法——视觉冗余控制解码（VRCD），该方法用于基于扩散的多模态大语言模型，通过优先选择视觉互补位置以减少冗余，从而克服独立基于置信度的词元选择的局限性，并显著提升在多模态基准测试中的准确性。

原作者： Yulin Yuan, Hongshuo Zhao, Xiangming Meng

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yulin Yuan, Hongshuo Zhao, Xiangming Meng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

全局概览：一群艺术家共同绘制一幅画

想象你有一支艺术家团队，试图根据一段描述来绘制一幅场景图。在旧的方法（称为“自回归”）中，他们会一次只画一笔，必须等上一笔干了之后才开始画下一笔。这非常缓慢。

本文描述的新方法（称为基于扩散的多模态大语言模型，或dMLLMs）则像是一支并行工作的艺术家团队。他们不是画一笔，而是审视整个画布，同时猜测画面中许多不同部分应该呈现的样子，然后决定哪些猜测足够好，可以“锁定”为最终画面。

问题所在：所有人都在盯着同一个地方

论文指出了这类团队目前在选择要“锁定”哪些猜测时存在的一个具体问题。

通常，团队领导者会查看每位艺术家的猜测，然后说：“好的，艺术家 A 对这棵树有 90% 的把握，艺术家 B 对那棵树也有 90% 的把握。让我们把这两个都锁定吧！”

缺陷在于： 论文指出，艺术家 A 和艺术家 B 可能都在参考图中盯着同一棵树。他们都很自信，但提供的是冗余信息。他们都在盯着同一个视觉细节。

因为他们锁定了两个关于同一棵树的猜测，团队现在就把视觉注意力“耗尽”在了这一个点上。在下一轮绘画中，他们剩下的视觉信息就不足以帮助他们弄清楚画面的其他部分（比如天空或草地）。

作者将这种现象称为**“视觉冗余”**。这就像有一个委员会，所有人都在对同一件事投票，导致没有人去投票决定其他重要议题。

解决方案：“视觉冗余控制器”（VRCD）

为了解决这个问题，作者为团队领导者制定了一条新规则，称为VRCD（视觉冗余控制解码）。

VRCD 不再仅仅询问“谁最自信？”，而是问：“谁既自信，又在观察画面的不同部分？”

以下是 VRCD 的工作步骤：

候选名单： 首先，它收集那些对猜测最自信的顶尖艺术家（和以前一样）。
“视线”检查： 它查看每位艺术家在参考图中盯着哪里。它使用一种特殊工具（称为“令牌到图像注意力”）来判断艺术家 A 和艺术家 B 是否盯着同一片叶子或同一朵云。
惩罚机制： 如果两位艺术家盯着同一个地方，VRCD 会给他们一个“冗余惩罚”。它会说：“你们都对，但你们在重复彼此。”
选择： 随后，VRCD 挑选出那些既自信、又观察了图像中最多样化、最互补部分的艺术家群体。

结果：更佳的团队动态

通过迫使团队挑选观察图像不同部分的艺术家，论文发现：

减少混淆： 团队不会浪费时间重新检查同一个物体。
更好的语境： 因为他们锁定了一组多样化的细节（一棵树、一朵云和一辆车），剩余的艺术家在下一轮猜测画面其余部分时，拥有了更丰富的“语境”作为辅助。
速度： 团队不会明显变慢。这是一个非常轻量级的检查，就像快速扫视一眼，而不是全面重新评估。

证据

作者在涉及图像和文本的多个高难度谜题（基准测试）上测试了该方法，例如：

M3CoT： 包含多步骤的复杂推理问题。
MMBench： 通用的视觉与语言理解。

他们发现，与标准方法相比，使用 VRCD 使模型的准确率显著提高（在某些复杂任务上甚至提高了近 19%）。模型犯的错误更少，因为它们不再对相同的视觉线索“重复利用”。

总结类比

想象你和一群朋友正在拼拼图。

旧方法： 你问大家：“哪块拼图适合这里？”然后你抓起任何人说适合的前三块拼图，即使它们全是天空部分的碎片。结果你手里有了三块天空碎片，却没有一块地面碎片。
VRCD 方法： 你问：“哪块适合这里？”然后你抓取那些适合的碎片，但你会确保不抓取三块天空碎片。你抓取一块天空碎片、一块地面碎片和一块树木碎片。现在，当你尝试填补拼图其余部分时，你对整幅画面的全貌有了更好的概念。

这篇论文只是教会 AI 如何成为一个更好的拼图组装者，方法是确保它在每一步都挑选一组多样化的视觉线索。

技术摘要：基于扩散的多模态大语言模型的视觉冗余控制并行解码

1. 问题陈述

基于扩散的多模态大语言模型（dMLLMs）通过迭代并行解码多个掩码位置来生成文本，其条件依赖于视觉输入。与逐个扩展前缀标记的自回归模型不同，dMLLMs 必须在每个解码步骤中决定，选择哪个子集的掩码位置进行“提交”（即解除掩码），以作为后续步骤的上下文。

现有的解码策略主要是基于置信度的解码，即选择预测标记概率最高的前 K 个位置。虽然这种方法效率较高，但它将每个位置独立处理。作者指出，在多模态设置中存在一个关键局限：视觉冗余。在同一步骤中选择的高置信度标记可能依赖于重叠的视觉基础（即关注相同的图像区域或物体）。当这些标记被同时提交时，它们提供的视觉上下文是冗余的，而非互补的线索，这可能会削弱模型解析剩余掩码位置的能力，而这些位置往往需要多样化的视觉信息。这种冗余不同于生成文本中的语义重复或输入视觉标记内部的冗余；它特指同时解除掩码的文本标记之间在视觉基础上的重叠。

2. 方法论

2.1 视觉冗余指数（VRI）

为了量化已提交标记之间视觉基础重叠的程度，作者引入了视觉冗余指数（VRI）。

定义：给定步骤 $t$ 的一组已提交位置 $S_t$ ，VRI 衡量标记到图像注意力的重叠情况。
机制：对于每个图像标记 $u$ ，计算已提交标记分配的总注意力权重。减去最大单一贡献，以隔离由额外标记分配的“冗余”权重。
公式：
$\text{VRI}(S_t) = \frac{\sum_{u=1}^{N} (\sum_{i \in S_t} v_i(u) - \max_{i \in S_t} v_i(u))}{m - 1}$
其中 $v_i(u)$ 是文本标记 $i$ 对图像标记 $u$ 的归一化注意力， $m = |S_t|$ 。较低的 VRI 表示较少的视觉冗余。

2.2 视觉冗余控制解码（VRCD）

作者提出了VRCD，这是一种无需训练、在推理时使用的解码方法，旨在不改变底层模型权重的情况下减轻视觉冗余。VRCD 作为一种轻量级的重排序机制运行：

候选窗口构建：VRCD 不评估所有掩码位置，而是构建一个候选窗口 $U_t$ ，其中包含基于初始置信度得分的前 $M_t$ 个位置，其中 $M_t$ 是提交大小 $K_t$ 和缩放因子 $\lambda$ 的函数。
视觉显著性提取：对于每个候选者，该方法从最终解码器层提取归一化的标记到图像注意力。为了减少噪声，减去均匀分量（ $1/N$ ），仅保留并重新归一化正残差注意力权重。
成对重叠计算：使用候选者显著性分布的交集（例如 $\sum \sqrt{q_i(u)q_j(u)}$ ）计算每对候选者 $(i, j)$ 之间的视觉重叠。
冗余分数计算：将重叠转换为当前窗口内的百分位排名。标记级冗余分数 $r_i$ 计算为其与其他可能候选者重叠的置信度加权和。这确保了与其他高置信度邻居重叠的标记会受到更严厉的惩罚。
重加权：原始置信度得分 $c_i$ 被重加权以形成冗余控制得分 $s_i$ ：
$s_i = c_i (r_i + 1)^{-\alpha}$
其中 $\alpha$ 控制冗余惩罚的强度。
选择：选择 $s_i$ 最高的前 $K_t$ 个位置进行提交。此过程优先考虑那些提供视觉互补基础的具有高置信度的标记。

3. 主要贡献

视觉冗余的识别：本文识别并形式化了并行解码步骤中 individually confident tokens（单独置信度高的标记）依赖于重叠视觉基础的现象，这一因素在 dMLLM 解码策略中此前被忽视。
VRI 指标：引入视觉冗余指数（VRI），以系统地量化和分析解码步骤中的视觉基础重叠。
VRCD 算法：提出一种轻量级、无需训练的重排序方法，利用标记到图像的注意力来优先处理视觉互补的位置，从而在保持基于置信度解码效率的同时减少冗余。

4. 实验结果

该方法在五个多模态基准上进行了评估：M3CoT（多步推理）、MMBench（通用视觉 - 语言）、SQA-IMG（科学问答）、DocVQA 和 InfoVQA。使用的骨干模型是 LaViDa（基于 LLaDA-8B）。

性能提升：在各种解码长度（ $L=192, 384$ $L = 192, 384$ ）和前向比率（FR）下，VRCD 始终优于基于置信度的解码和其他基线（Margin、Entropy、InfoGain）。
- 在 M3CoT 上，VRCD 相比基于置信度的解码实现了高达 18.8% 的相对准确率提升。
- 在 MMBench 上，提升达到了 6.9%。
- 与短答案任务（DocVQA、InfoVQA）相比，在需要长程多模态推理的任务（M3CoT、MMBench、SQA-IMG）中改进最为显著。
冗余减少：与基线相比，VRCD 显著降低了所有解码步骤的平均 VRI，证实了其能够选择视觉基础重叠较少的标记。
预测确定性：该方法降低了剩余掩码位置的熵，表明对未来步骤具有更高的预测确定性。
效率：VRCD 引入了极小的运行时开销（运行时增加约 1.5%），保持了接近基线的吞吐量（tokens/s），而其他高级方法（如 InfoGain）则产生了显著更高的计算成本。
消融研究：
- 超参数 $\alpha$ （冗余惩罚强度）在 M3CoT 上 $\alpha=1.5$ 时表现最佳，在 MMBench 上 $\alpha=2.0$ 时表现最佳；各基准测试中使用了固定的中等设置。
- 冗余分数的置信度加权聚合优于均匀平均。
- 视觉显著性提取（VSE）被证明对于有效的重叠估计至关重要。

5. 意义与主张

本文主张，视觉冗余是视觉基础 dMLLMs 并行解码中一个关键但此前未被解决的信号。通过将解码决策从“哪个单独标记最自信”转变为“哪组标记提供互补的视觉基础”，VRCD 提高了后续步骤生成上下文的质量。

作者强调，VRCD 是一种即插即用、无需训练的方法，它在不要求模型重新训练或产生显著计算开销的情况下提升了解码质量。这项工作表明，在并行提交过程中管理视觉基础的多样性，对于最大化基于扩散的多模态生成的效率和准确性至关重要。未来的工作建议探索自适应解码调度，根据视觉冗余信号动态调整提交大小。