Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

该论文提出了一种名为 CAPL 的框架，通过引入可选择的图像令牌交互注意力机制和基于跨图像建模的偏好优化策略，有效增强了大型视觉语言模型在多图像任务中的跨图像关联感知能力，从而显著缓解了幻觉问题并提升了整体性能。

要点

这篇论文主要解决了一个让大型人工智能（AI）感到头疼的问题：当 AI 同时看好几张图片时，它很容易“胡编乱造”（产生幻觉）。

想象一下，你给 AI 看两张图：一张是猫在沙发上，另一张是狗在花园里。然后你问它：“猫和狗在同一个房间吗？”

• 普通的 AI可能会因为训练数据里“猫和狗经常一起出现”的刻板印象，或者因为看图顺序不对，自信满满地回答：“是的，它们在客厅玩耍。”（这就是幻觉，因为它没真正对比两张图的信息）。
• 这篇论文提出的方法（CAPL），就像给 AI 戴上了一副“超级眼镜”和一套“纠错训练法”，让它能真正看清两张图的关系。

下面我用三个生动的比喻来解释这篇论文的核心内容：

1. 问题所在：单向的“流水线” vs. 双向的“圆桌会议”

现状（普通 AI 的毛病）：
现在的 AI 看多张图，就像在单向流水线上工作。

• 它先看第一张图（猫），记在脑子里。
• 再看第二张图（狗），这时候它可以回头看看第一张图。
• 但是！ 当它看第一张图的时候，它完全不知道后面还有第二张图。
• 后果： 这种“先入为主”的单向流动，导致 AI 在分析第一张图时，无法和后面的图进行“双向交流”。它容易依赖文字上的老经验（比如“猫狗常在一起”）来瞎猜，而不是基于图片事实。

论文的方案（CAPL 的“圆桌会议”）：
作者给 AI 设计了一种**“跨图像注意力校准”**机制。

• 比喻： 把单向流水线变成了**“圆桌会议”**。
• 现在，代表“猫”的 token（信息点）和代表“狗”的 token 可以互相看着对方，自由地交换信息。
• 为了不让会议太乱（信息太多太杂），他们只让**“关键人物”**（比如猫的眼睛、狗的尾巴这些最重要的部分）进行深度对话，忽略无关紧要的背景噪音。
• 效果： AI 不再瞎猜，而是真正建立了图片之间的“联系”，发现“哦，原来猫在沙发，狗在花园，它们不在一个房间”。

2. 训练方法：如何教 AI 不再“胡编乱造”？

光有“圆桌会议”还不够，AI 以前习惯了单向思考，突然让它双向思考，它可能还不适应。于是作者设计了一套**“偏好学习”**（Preference Learning）的训练法。

比喻：找“错误示范”和“正确示范”来练级

• 正确示范（Positive Sample）：
  让 AI 戴上“超级眼镜”（开启双向交流），认真对比两张图，然后给出正确答案。这是我们要它学习的。

• 错误示范（Negative Sample）—— 这是最精彩的部分！
  以前的训练很难找到高质量的“错误答案”来惩罚 AI。作者想了一个绝招：故意把 AI 的“眼睛”蒙上！

  • 他们故意切断所有图片之间的交流（把“圆桌会议”变成“单人牢房”）。
  • 这时候，AI 被迫只能靠一张图和它的“老经验”（文字偏见）来瞎编。
  • 结果： AI 这时候生成的答案，往往就是它最容易犯的“胡编乱造”的错误。
  • 训练过程： 把“蒙眼瞎编的答案”和“睁眼看清事实的答案”放在一起，告诉 AI：“你看，蒙眼的时候你多蠢，睁眼的时候多聪明！以后要选睁眼的那条路！”

通过这种**“对比训练”**，AI 深刻记住了：只有真正利用图片之间的信息，才能避免犯错。

3. 最终效果：不仅看图准，单张图也更强

比喻：练好了“团队配合”，单兵作战也变强了

通常，专门训练多张图片的 AI，可能会忘记怎么单独看一张图。但这篇论文的方法很神奇：

• 多图任务： 在需要对比多张图的测试中，AI 的“幻觉”大幅减少，推理能力变强。
• 单图任务： 即使只给它看一张图，它的表现也没有变差，甚至因为学会了更仔细地观察细节（关键信息提取），反而更精准了。

总结

这篇论文就像给 AI 装上了**“双向沟通的耳朵”（Cross-Image Attention），并给它安排了一场“找茬特训”**（Preference Learning，通过故意制造错误来纠正它）。

• 以前： AI 看多张图像“盲人摸象”，容易靠猜。
• 现在： AI 像“侦探”，能同时观察所有线索，互相印证，只讲事实，不讲瞎话。

这个方法不仅让 AI 在处理复杂的多图任务时更聪明，还证明了这种“互相交流”的机制是通用的，对 AI 的整体智商提升都有帮助。

技术摘要

论文技术总结：面向多图像幻觉缓解的跨图像注意力校准与偏好学习 (CAPL)

1. 研究背景与问题定义

背景：大型视觉语言模型（LVLMs）在单图任务中表现优异，但在多图像输入场景（如多图对比、跨图信息整合）中，极易产生幻觉（Hallucination），即生成看似合理但事实完全错误的回答。
核心问题：

1. 注意力机制的局限性：现有的基于 Transformer 的自回归 LVLMs 通常采用统一的因果注意力（Causal Attention）机制。在多图像输入中，这意味着后续图像可以关注前面的图像，但前面的图像无法关注后面的图像。这种单向信息流导致了严重的位置偏差（Position Bias），破坏了跨图像关系的对称性和稳定性。
2. 跨图像建模不足：现有方法往往将每张图视为独立上下文，缺乏显式的跨图像关系建模，导致模型过度依赖文本先验（Text Priors）而非真实的视觉证据，从而引发错误的推理。
3. 现有缓解手段的不足：
   • 基于解码的策略（如调整解码分布）仅做局部修正，未从根本上增强跨图像交互。
   • 基于训练的方法（如 SFT）通常只利用正样本，未能有效惩罚模型固有的幻觉推理模式。

2. 方法论：CAPL 框架

作者提出了**跨图像注意力校准与偏好学习（Cross-Image Attention calibration and Preference Learning, CAPL）**框架，旨在从架构层面增强图像间交互，并在训练层面强化对真实视觉证据的依赖。

2.1 选择性跨图像 Token 交互注意力 (Selective Cross-Image Token Interaction)

为了解决因果注意力带来的单向偏差，作者设计了一种可选择的跨图像 Token 互注意力机制：

• 打破单向约束：移除不同图像 Token 之间的因果掩码（Causal Mask），允许不同图像的 Token 进行双向交互，同时保留单图内部的因果结构以维持时序/位置信息。
• 关键 Token 选择：为了避免全量交互带来的冗余和噪声，引入基于**嵌入能量（Embedding Energy）**的 Token 选择机制。计算每个视觉 Token 的响应强度（L2 范数），仅选取响应强度最高的前 $\rho$ 比例 Token 作为“关键 Token"参与跨图像交互。
• 融合策略：
  • 推理阶段：将选择性跨图像注意力与原始因果注意力进行等权融合（$A^{fuse} = 0.5 \times A^{causal} + 0.5 \times A^{cross\_sel}$），以平衡关系建模与生成稳定性。
  • 层级交替：在解码器层中采用交替掩码策略（奇数层使用跨图像掩码，偶数层使用因果掩码），以增强关系建模同时保持泛化能力。

2.2 基于注意力的偏好学习 (Attentive Preference Learning)

为了将架构改进内化到模型参数中，作者提出了基于**直接偏好优化（DPO）**的训练策略：

• 正样本构建（Preferred）：使用上述增强型跨图像注意力机制生成回答，并利用高级模型（Qwen3）进行反馈修正，确保回答的正确性。
• 负样本构建（Rejected）—— 核心创新：
  • 截断注意力（Truncated Attention）：利用因果注意力的局限性，完全切断所有跨图像的注意力连接（$g(i) \neq g(j)$ 时掩码为 $-\infty$）。
  • 强迫幻觉：在这种设置下，模型被迫仅依赖单张图像和文本先验进行推理，无法利用跨图像视觉证据。这迫使模型暴露其固有的幻觉行为，生成包含错误推理路径的“困难负样本”。
• 优化目标：
  • DPO Loss：对比正样本（全交互）和负样本（截断交互）的生成概率，引导模型偏好基于真实跨图像证据的回答。
  • NLL Loss：在正样本上增加负对数似然损失，确保模型不仅学会偏好，还能模仿高质量 Token 的生成轨迹。
  • 总损失函数：$L_{total} = L_{DPO} + \lambda L_{NLL}$。

3. 主要贡献

1. 问题归因分析：深入分析了多图像推理中幻觉的结构性成因，指出不平衡的视觉信息流和不足的跨图像语义关联是关键瓶颈。
2. CAPL 框架提出：
   • 提出了选择性跨图像注意力机制，在架构层面实现了细粒度的跨图像实体对齐和信息流。
   • 设计了基于截断注意力的负样本构建策略，通过强制模型在“视觉失明”状态下推理，有效挖掘并抑制其幻觉模式。
3. 广泛的实验验证：证明了该方法在多个主流架构（Qwen2.5-VL, InternVL2.5, GLM4.1VBase）上均能显著降低多图像幻觉，同时保持甚至在单图任务上提升性能，展现了极强的泛化能力。

4. 实验结果

• 多图像幻觉基准（BLINK, MUIRBench）：
  • CAPL 在所有测试模型上均取得了显著提升。例如，在 MUIRBench 上，Qwen2.5-VL 从 58.42 提升至 62.00，GLM4.1VBase 从 57.84 提升至 60.57。
  • 消融实验表明，仅引入注意力改进（+Attn）有小幅提升，结合偏好训练（Ours）后提升显著，证明了结构化建模与偏好优化的协同效应。
  • 截断注意力生成的负样本比原始模型生成的负样本更具挑战性（准确率降低约 20%），提供了更强的优化信号。
• 多图像通用任务（NLVR2, QBench2 等）：
  • 模型在通用推理任务上表现稳定或略有提升，说明该方法增强了模型对视觉证据的依赖，而非单纯抑制生成。
• 单图像任务（POPE, CHAIR, MMBench 等）：
  • 在仅针对多图像数据训练的 CAPL 框架下，模型在单图任务上的幻觉指标（如 CHAIRs）显著降低，通用能力（如 MMB）保持稳定或微增，证明了方法未破坏原有的单图理解能力。

5. 意义与价值

• 理论层面：揭示了因果注意力机制在多模态多图像场景下的固有缺陷，并提出了一种通过双向注意力校准和对抗性偏好学习来解决该问题的新范式。
• 技术层面：提供了一种无需重新预训练、即可显著提升现有 LVLM 多图像推理能力的轻量级方案。其“截断注意力生成负样本”的思路为多模态幻觉抑制提供了新的数据构建视角。
• 应用层面：对于需要高精度多图对比、跨图检索和复杂视觉推理的实际应用场景（如医疗影像对比、工业质检、多视角监控分析），CAPL 能有效减少错误推断，提高系统的可靠性和可信度。

总结：CAPL 通过“架构修正（双向注意力）”与“训练优化（对抗性偏好学习）”的双重手段，成功解决了 LVLM 在多图像任务中的幻觉问题，实现了从“依赖文本先验”到“依赖真实视觉证据”的推理模式转变。