💻 computer science

Logit-Attention Divergence: Mitigating Position Bias in Multi-Image Retrieval via Attention-Guided Calibration

本文通过识别“Logit-注意力发散”现象，并提出一种无需额外训练、由注意力引导的校准框架，以解决多模态大语言模型在多图像检索任务中存在的严重位置偏差问题，该框架在无需额外训练的情况下显著提升了排列不变性与检索准确率。

原作者： Mingtao Xian, Yifeng Yang, Qinying Gu, Xinbing Wang, Nanyang Ye

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingtao Xian, Yifeng Yang, Qinying Gu, Xinbing Wang, Nanyang Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心问题：“座位号”偏差

想象你是一名选秀节目的评委。你需要从八位选手中选出最佳歌手。你仔细聆听了所有人的演唱，并且确切知道谁唱得最好。

然而，你有一个奇怪的怪癖：无论他们唱得多差，你总是选择坐在 7 号座位的人。 如果最佳歌手坐在 7 号位，你会选中他们；如果最佳歌手坐在 3 号位，你会无视他们，无论如何都会选择 7 号位的人。

这正是现代人工智能模型（称为多模态大语言模型）在同时查看多张图片时发生的情况。即使 AI“看”到了正确的图片，它也经常无视自己的“眼睛”，纯粹根据它在列表中的位置来选择图片（例如：“我选第 4 个，因为我总是选第 4 个”）。这被称为位置偏差。

发现：“看对了，却说错了”

研究人员发现了一个有趣的现象，称为Logit-注意力发散。

可以将 AI 的大脑想象成由两部分组成：

眼睛（注意力）： 这部分真正在观察图片。研究人员发现，AI 的“眼睛”运作完美！它确实将注意力集中在了正确的图片上。
嘴巴（Logits）： 这是做出最终决定并大声说出答案的部分。

问题在于，“嘴巴”被“座位号”偏差劫持了。AI 就像一个知道答案是“蓝色”的人（因为它的眼睛看到了蓝色），但被迫大喊“红色”，因为它养成了一种习惯：只要坐在特定的椅子上，就会大喊“红色”。

核心洞察： AI 并非失明，它只是被自己的习惯搞糊涂了。它在内部知道正确答案，却不敢说出来。

解决方案：“注意力引导”修复法

研究人员建立了一种新方法来解决这个问题，而无需重新训练 AI（这就像试图教一个成年人学习一门新语言）。相反，他们像一位聪明的编辑，在 AI 开口说话前介入。

以下是他们的“注意力引导去偏”方法的逐步运作方式：

“预演”（校准）：
在正式测试之前，AI 只看5 个练习示例。但这里有个技巧：他们打乱了这 5 个示例中图片的顺序，确保正确答案出现在每一个可能的座位上（1 号位、2 号位等）。
- 类比： 这就像问 AI：“如果答案在 1 号位，你通常选什么？如果在 2 号位，你选什么？”这有助于 AI 意识到：“哦，我有一个坏习惯，即使 7 号位是错的，我也总是选它。”
倾听“眼睛”（注意力信号）：
当 AI 面对真实问题时，研究人员不仅听取最终答案，还会窥探内部注意力图（即“眼睛”）。他们会问："AI 实际上在看哪里？”
- 类比： 如果 AI 说"7 号位”，但它的眼睛正死死盯着"3 号位”，编辑就知道 AI 因为习惯而在自欺欺人。
修正（修复）：
系统将“预演”数据（用于了解坏习惯）与“眼睛”数据（用于了解真相）结合起来。它本质上是在说：“我知道你通常选 7 号位，但你的眼睛告诉我答案是 3 号位。让我们相信你的眼睛。”
- 系统从最终答案中减去“座位号”偏差，让真实的视觉证据获胜。

结果：神奇的转变

该论文在包含 8 张图片的标准数据集（MS-COCO）上测试了这种方法。

之前（“原生”AI）： 如果正确答案不在它偏爱的座位上，AI 就极难选出正确的图片。它就像一个只在单一方向上有效的坏指南针。
之后（新方法）： AI 变得极其准确。
- 与其他方法相比，其准确率提高了40% 以上。
- 它不再在意图片的顺序。如果你打乱图片，AI 每次都能选出正确的那一张。
- 它几乎不需要额外的计算能力就完成了这一切，并且只需要5 个练习示例就能学会修复方法。

为什么这很重要

这篇论文表明，这些 AI 模型实际上比我们想象的更聪明。它们失败并非因为无法“看”到正确的图片，而是因为陷入了根据顺序进行选择的坏习惯。

通过简单地倾听 AI 内部的“目光”，并在最后一刻纠正其坏习惯，我们可以让这些模型变得更加可靠。这就像在考试前给一个紧张的学生一个快速的提醒：“不要根据问题的顺序去猜测；只要阅读问题并回答它。”

简而言之： AI 看着正确的图片，却因为坏习惯选错了。研究人员教会它相信自己的眼睛胜过习惯，使其成为更优秀的评判者。

技术摘要：Logit-注意力发散：通过注意力引导校准缓解多图像检索中的位置偏差

1. 问题陈述

多模态大语言模型（MLLMs）在涉及多图像的跨模态检索任务中已展现出强大的能力。然而，这些模型存在严重的位置偏差，即预测准确率主要由图像的输入顺序决定，而非其与查询的语义相关性。

现象：在多图像检索任务中（例如，从 $N$ 个候选图像序列中选择正确的图像），MLLMs 表现出对特定位置（例如第 7 个位置）的非理性偏好，而忽视其他位置，无论视觉内容如何。这导致性能出现剧烈波动：如果真实标签落在偏好位置，准确率可达约 99%；但如果落在被忽视的位置，准确率则可能跌至 0%。
根本原因：这种偏差源于大语言模型（LLMs）继承的自回归架构。虽然时间位置编码和因果注意力掩码对文本生成有益，但当应用于非时间性的视觉序列时，它们会引入非预期的结构不对称性，使得预测对输入顺序高度敏感。
现有解决方案的局限性：
- 提示工程：基于指令或思维链（CoT）的提示无法适应这种偏差的动态特性。
- 静态校准：像 PriDe 这样的方法假设位置偏差是一个静态的、与内容无关的偏移量（全局先验）。然而，实证分析表明，MLLMs 中的偏差是条件性的，会根据目标位置动态变化。静态先验无法解决这种条件模糊性。

2. 关键洞察：Logit-注意力发散

通过实证分析，作者识别出一个关键现象，称为Logit-注意力发散：

观察：MLLMs 往往“看”到了正确答案（内部注意力图与相关视觉证据高度对齐），但却“说”出了错误的答案（输出 Logit 严重受到位置先验的偏差影响）。
含义：失败并非在于语义感知，而在于决策校准。解码阶段强烈的结构先验覆盖了正确的内部特征，导致尽管视觉定位准确，却产生错误的预测。

3. 方法论：注意力引导的去偏

本文提出了一种无需训练的推理时框架，利用内在注意力信号来校正位置偏差。该方法仅需极小的校准集（例如 5 个样本）和可忽略的计算开销。

3.1. 条件偏差估计

该方法不使用全局静态先验，而是采用反事实统计方法来估计条件位置偏差：

对称化校准：通过对候选图像和真实标签索引进行循环置换构建一个小规模校准集。这确保了真实标签均匀地遍历每一个位置。
分解：将观测到的生成概率建模为位置相关偏差项（ $P_{bias}$ ）与特定目标的视觉信号（ $P_{vis}$ ）的乘积。
估计：通过分析置换间观测概率的比率，该方法分离出以真实标签位置为条件的结构偏差分量。

3.2. 注意力先验估计

认识到原始注意力分数也受结构伪影（例如“注意力汇”）的混淆，该方法估计了一个静态注意力先验：

计算对称化校准集上的平均注意力分布，以捕捉注意力机制本身潜在的结构偏差。
该先验作为基线，用于在推理过程中校准视觉证据。

3.3. 推理时校正

去偏过程遵循一个受贝叶斯启发的框架：

自适应层选择：模型识别出视觉证据强度最高（分配给候选图像的注意力概率之和）的前 $K$ 层 Transformer 层，以提取最具信息量的信号。
内在视觉证据检索：通过移除静态注意力先验（在对数域中），对选定层的原始注意力分数进行校正，从而得到纯净的视觉后验分布（ $\pi$ ），代表模型对真实标签位置的真实信念。
期望偏差校正：由于推理过程中真实标签是潜在的，该方法通过在推断出的视觉后验 $\pi$ 上边缘化预计算的条件偏差分布，构建动态混合先验。
最终校准：从原始输出 Logit 中减去估计的动态先验，以恢复用于最终预测的内在视觉概率。

4. 实验结果

该方法在基于 MS-COCO 的基准测试上进行了评估，涵盖了三种 MLLM 骨干网络（Qwen2.5-VL-3B、LLaVA-OneVision-8B、InternVL3-8B），并在随机和对抗性（硬负样本）设置下进行了测试。

性能提升：所提出的方法实现了最先进的性能，与基线方法（如 Vanilla、PriDe、Self-Consistency）相比，准确率提升了超过 40%。
- 在 LLaVA-OneVision（N=4，随机）上，准确率从 67.52%（Vanilla）提升至98.66%。
- 在对抗性设置下，准确率从 49.56% 提升至71.06%。
置换不变性：该方法大幅降低了召回率标准差（RStd）并提高了一致性（Cons.），证明预测是由视觉证据而非输入顺序驱动的。
可扩展性：随着候选池大小（ $N$ ）从 2 增加到 12，该方法保持了较高的准确率且下降更为平缓，而基线方法则遭受快速退化。
泛化性：该方法在不同领域（从 Flickr8k 到 MS-COCO）和不同难度级别（从随机到对抗性）之间均能有效泛化，无需针对特定任务进行重新校准。
效率：该方法在单次前向传播中运行。虽然由于反事实偏差估计和注意力提取会带来轻微的延迟开销，但它避免了集成方法的高昂成本。

5. 意义与主张

本文声称了以下贡献和意义：

Logit-注意力发散的识别：揭示了现有 Logit 级校准方法的根本局限性，表明即使输出受到偏差污染，内部注意力往往仍保持语义对齐。
无需训练的框架：引入了一种实用的、由注意力引导的去偏机制，无需重新训练模型，且仅需极少的校准数据（少至 5 个样本）。
鲁棒性的恢复：该方法有效恢复了多图像检索中的置换不变性，表明 MLLMs 具备潜在的视觉感知能力，只是目前被结构解码先验所掩盖。
更广泛的影响：研究结果表明，某些 MLLM 基准测试中报告的较低准确率可能反映的是位置偏差，而非真实的能力局限，因为模型在内部“看到”了正确答案，却无法将其表达出来。

这项工作突显了内部注意力机制在增强 MLLMs 于复杂多图像上下文中的鲁棒性方面尚未开发的潜力。