技术摘要：MLLM 先对后错：追踪并修正后期层文本偏差

1. 问题陈述

多模态大语言模型（MLLMs）在视觉证据与文本信息发生冲突时，表现出一致的文本偏好偏差。即使图像提供了清晰的事实证据（例如：红色的车），MLLMs 也往往会输出由冲突文本所暗示的答案（例如：“蓝色的车”）。这种“文本覆盖”（textual override）现象为医疗诊断或自动驾驶等安全敏感型应用带来了显著风险，因为在这些场景中，信任错误的文本而非视觉感知会导致严重的错误。

前人的工作记录了这一现象，但尚未阐明其底层机制。目前尚不清楚这种失败究竟是源于初始视觉编码较差、跨模态融合过程中的信息丢失，还是由于视觉数据被正确处理后，在更深层中被文本先验值（textual priors）随后覆盖所致。

2. 方法论与分析

2.1 层级追踪与模态主导比例 (MDR)

为了调查失效机制，作者追踪了各层预测轨迹。他们将每一层 $l$ 的隐藏状态投影到语言模型头以获得输出概率。他们引入了模态主导比例 (Modal Dominance Ratio, MDR) 来量化每一层对视觉答案 ($w_{vis}$) 相对于文本答案 ($w_{text}$) 的偏好程度：
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• 正 MDR： 偏向视觉答案。
• 负 MDR： 偏向文本答案。

2.2 “后期层文本覆盖”现象

对冲突-错误 (Conflict-Incorrect) 样本（即模型失败的情况）的分析揭示了一个令人惊讶的模式：

1. 初始正确性： 在中间层，模型会为正确的视觉答案分配更高的概率（正 MDR）。
2. 覆盖过程： 在后期层，MDR 变为负值，模型将偏好转向错误的文本答案。
3. 结论： 视觉信息被成功编码，但由于后期层的处理过程，未能通过完整的正向传播过程。

2.3 正确性的方向性特征

作者观察到，预测偏移在成功和失败的案例中都会发生。然而，方向区分了这两者：

• 失败案例 (Conflict-Incorrect)： 85% 的转换向文本方向偏移 ($\Delta \text{MDR} < 0$)。
• 成功案例 (Conflict-Correct & Non-Conflict)： 89–91% 的转换向视觉方向偏移或保持稳定 ($\Delta \text{MDR} > 0$)。

这种方向性的不对称表明，后期层有时会细化预测（有益），但有时会抑制视觉证据（有害）。

2.4 冲突感知层参考解码 (CALRD)

基于上述发现，作者提出了 CALRD，一种无需训练、仅在推理阶段进行的干预方法。它不需要外部知识或重新训练。

检测机制：
CALRD 利用两个信号来识别“有害覆盖”，这两个信号源自转换层 ($L_{trans}$)。转换层被定义为分布偏移最剧烈的层（通过 Jensen-Shannon 散度检测）：

1. 锚点置信度 ($D_{conf}$)： 转换层中最高预测概率。高置信度表示存在强烈的中间偏好。
2. 预测保留度 ($\rho$)： 同一 token 在最终层与转换层之间的概率比值。低保留度表示预测被抑制了。

干预逻辑：
计算修正强度 $\lambda$：
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• 如果存在高置信度的预测 ($D_{conf}$ 高) 但被抑制了 ($\rho$ 低)，则 $\lambda$ 变得较大。
• 如果预测是稳定的或不确定的，$\lambda$ 则接近于零。

解码策略：
最终的输出 Logits 通过将转换层 Logits 与最终层 Logits 进行混合来调整：
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
这恢复了中间层中存在、但在最终输出中被覆盖的、基于视觉的答案。

3. 核心贡献

1. 机制性发现： 本文确定了“后期层文本覆盖”是视觉-文本冲突失败的主要原因，证明了模型往往在改变主意之前先“做对了”。
2. 方向性预测器： 作者展示了预测偏移的方向（向文本还是向视觉）是判断正确性的可靠预测指标，能够区分有害覆盖与有益细化。
3. CALRD 方法： 一种无需训练的解码策略，利用模型内部信号选择性地恢复被覆盖的预测，在保持标准性能的同时修正冲突。
4. Conflict-VQA 基准测试： 构建了一个包含 5,969 个样本的新型诊断基准，具有明确的视觉-文本标注，以促进冲突解决的机制分析。

4. 实验结果

作者在五种不同架构的 MLLMs（InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL）上评估了 CALRD。

• 冲突基准测试： CALRD 在冲突任务（如 PhD-icc 和 Conflict-VQA）上实现了高达 9.4% 的绝对提升。
  • 在 PhD-icc 上，LLaVA-1.5 从 27.72% 提升至 36.35%（+8.63%）。
  • 提升效果在较弱的模型上通常更为显著，因为更强的模型在后期层已经能更正确地解决更多冲突。
• 标准基准测试 (Non-Conflict)： CALRD 在标准幻觉基准（POPE 和 CHAIR）上基本保持或略微提升了性能，证明该方法不会在非冲突任务上无差别地降低性能。
• 对比： CALRD 优于现有的基于层的解码方法（如 DoLa 和 DeCo），后者通常应用统一的修正，并且在后期层处理实际上是有益的情况下可能会降低性能。
• 效率： 与原生解码相比，CALRD 增加的开销极小（约 1.5ms/token 和 80MB 显存），使其具备实际部署的价值。

5. 重要性与主张

本文主张改变提升 MLLM 可靠性的视角：与其仅仅专注于教模型“看得更准”（更好的视觉编码），不如通过帮助模型保留它们已经看到的内容来提高可靠性。

作者强调，其研究范围是适度的：

• 它针对的是一种特定的失效模式（后期层覆盖），而非所有的幻觉问题。
• 它依赖于模型自身的内部表示，不需要外部知识库或额外的训练数据。
• 其干预是自适应的；只有当检测到特定有害覆盖的特征（高置信度 + 低保留度）时，它才会激活，从而确保不会干扰有益的后期层处理。

这项工作表明，在 MLLMs 中观察到的“盲目信任文本”现象，未必是缺乏视觉理解能力，而是信息在网络深度传递过程中的保存失败。CALRD 提供了一种恢复这些丢失信息的机制。