🤖 AI

Mitigating Cross-Image Information Leakage in Multi-Image Understanding with Large Vision-Language Models

本文介绍了 FOCUS，一种无需训练且与架构无关的方法，它通过聚合来自部分掩码输入的逻辑值（logits）并利用仅含噪声的参考进行优化，从而减轻了大型视觉语言模型中的跨图像信息泄漏问题，进而显著提升了在多图像和视频理解任务上的性能。

原作者： Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位非常聪明的艺术评论家（即 AI），擅长描述单幅画作。但当你被要求观察并描述并排悬挂的两幅画中的第一幅时，你会感到困惑。你会不小心开始描述第二幅画，并将两者混在一起，变成一段混乱且错误的描述。

这篇论文识别出了这个特定问题，并提供了一个无需训练的巧妙解决方案：FOCUS。

以下是他们发现的问题以及他们如何解决它的拆解，使用了简单的类比：

问题：“视觉汤”效应

当大型视觉语言模型（LVLMs）同时观察多张图像时，它们的内部“大脑”会变得浑浊。它们无法将图像分开，而是像搅拌果昔一样将它们混合在一起。

场景： 想象你向 AI 展示一张装有黄色郁金香的白色花瓶的照片（图像 A）和一张装有红玫瑰的红色花瓶的照片（图像 B）。
问题： “第一幅图像里有什么？”
错误： 困惑的 AI 不会说“黄色郁金香”，而是会说“黄色郁金香和红玫瑰”。它将第二幅图像的信息泄露到了对第一幅图像的回答中。
原因： 论文称之为跨图像信息泄露（Cross-Image Information Leakage）。因为 AI 会一起处理所有图像，所以其“视觉标记”（图像的数字构建模块）会纠缠在一起，使 AI 认为所有东西都是一个巨大的组合场景。

解决方案：“蒙眼”技巧 (FOCUS)

作者意识到，这些 AI 模型实际上非常擅长一次只看一张图像。问题只发生在它们试图同时看很多张图像时。

因此，他们创建了一种名为 FOCUS 的方法（这代表了一个特定的技术过程，但你可以将其理解为“专注于一个清晰的来源”）。它不需要重新训练 AI 或改变其大脑；它只是改变了 AI 在对话过程中观察图片的方式。

以下是 FOCUS 的工作步骤：

蒙眼（视觉掩蔽/Visual Masking）：
想象你想让 AI 描述图像 A。与其向它清晰地展示图像 A 和图像 B，不如给图像 B 戴上一个“数字眼罩”（随机噪声）。现在，图像 B 只是像没有信号的电视那样的静态噪点。AI 只能清晰地看到图像 A。
- 类比： 这就像是在第二幅画上盖上一张纸，让评论家只能看到第一幅画。
切换（逐图像推理/Image-wise Inference）：
AI 对集合中的每一幅图像都执行此操作。
- 首先，它清晰地观察图像 A（此时图像 B 是模糊的）。
- 然后，它清晰地观察图像 B（此时图像 A 是模糊的）。
- 它逐一进行，确保它永远不会因为同时看到两幅清晰的图像而产生困惑。
噪声过滤器（对比聚合/Contrastive Aggregation）：
即使戴上了眼罩，模糊图像中的一点点“静态噪声”仍可能泄露出来。为了修复这一点，AI 还会观察一个完全空白、充满噪声的屏幕（只有静态噪点，没有图像），以了解“纯粹的混乱”听起来是什么样的。
- AI 随后会从其答案中减去这种“混乱噪声”。
- 类比： 如果 AI 说“我在郁金香的图片里看到了一点红玫瑰”，系统会检查：“当我们只看静态噪声时，是否也看到了红玫瑰？”如果是，它就会意识到“红玫瑰”只是一个故障，并将其从最终答案中移除。

结果

当他们在许多不同的 AI 模型和基准测试上测试这种“蒙眼 + 噪声过滤器”技巧时：

准确率提升了： AI 不再混淆图像。
它无处不在： 它适用于小型模型、大型模型，甚至于视频理解（其中视频帧就像是一系列图像）。
无需额外训练： 他们不需要教 AI 任何新知识。他们只是在 AI 回答时的那一刻改变了游戏规则。

总结

这篇论文指出，目前的 AI 模型就像是一个试图同时听两个广播电台的人，最后听到的只是混乱的混合声。FOCUS 是一个简单的技巧，它强迫 AI 一次只听一个电台，同时过滤掉来自另一个电台的静态噪声，从而得到清晰、正确的答案。

技术摘要：缓解多图理解中大型视觉语言模型的跨图像信息泄漏问题

问题陈述

尽管大型视觉语言模型（LVLMs）在单图任务上表现出色，但在同时处理多张图像时，其能力会显著下降。虽然之前的研究已经注意到这种性能下降，但其底层机制仍未得到充分理解。

作者通过实证研究确定了一种被称为**跨图像信息泄漏（cross-image information leakage）**的特定现象。在多图设置下，模型的视觉表示会发生纠缠，导致它将来自不同图像的视觉线索混合在一起，而不是独立地解释它们。正如论文动机中所阐述的，当面对两张图像（例如，一张是黄色的郁金香，另一张是红色的玫瑰）并针对第一张图像进行提问时，模型往往无法隔离目标对象。它不会选择正确的选项（“黄色的郁金香”），而是错误地选择了合并后的选项（“黄色的郁金香和红色的玫瑰”）。

这种泄漏归因于将多张图像作为一系列级联视觉标记（tokens）的标准处理方式。图像间的因果注意力机制（inter-image causal attention mechanism）导致来自不同图像的标记产生强烈的交互，从而混合了潜在表示，并导致了由于非目标图像内容污染响应而产生的幻觉。

论文还指出，一种朴素的解决方案——即独立处理每张图像并聚合结果——是行不通的，因为它牺牲了图像间关系（例如比较、交叉引用），而这些关系对于复杂的跨图像推理任务至关重要。

方法论：FOCUS

为了在不需要额外训练或架构修改的情况下解决这一挑战，作者提出了 FOCUS，这是一种无需训练、与架构无关的推理方法。该方法基于这样一个观察：LVLMs 在处理单图时推理能力良好，因此旨在引导模型在保持多图输入位置上下文的同时，一次专注于一张图像。

FOCUS 由三个连续步骤组成：

视觉掩码（Visual Masking）：
对于一组 $N$ 张输入图像，该方法生成 $N$ 个部分掩码的输入和一个全掩码的参考输入。
- 对于每个目标图像 $I_i$ ，所有其他图像 $I_j$ ( $j \neq i$ ) 都被随机噪声（比例为 $\lambda$ ）破坏，而 $I_i$ 保持清晰。
- 同时创建一个全噪声掩码输入（ $I_{noise}$ ），其中所有图像都被破坏。
- 这迫使模型在每次前向传播中主要关注单张清晰图像，同时维持原始图像的顺序。
逐图像聚焦推理（Image-wise Focused Inference）：
模型对这 $N$ 个部分掩码的输入分别进行推理，以获得每个目标图像 $I_i$ 的对数概率分布 $\ell_i$ 。此外，使用全掩码输入计算一个噪声参考对数概率分布 $\ell_{noise}$ 。这一步捕捉了模型在联合上下文中专注于特定图像时的推理情况。
对比聚合（Contrastive Aggregation）：
最终输出通过聚合聚焦后的对数概率并抑制残余噪声伪影来得出。使用的公式为：
$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$
这里 $\alpha$ 是通过验证集调优的超参数。减去噪声参考（ $\ell_{noise}$ ）有助于隔离并消除即使在掩码后仍然存在的伪影信号，确保最终预测依赖于清晰的图像内容而非噪声诱导的伪影。

核心贡献

识别跨图像信息泄漏： 论文提供了实证证据，表明多图性能下降与跨图像视觉表示的纠缠密切相关，这会导致合并且错误的响应。
FOCUS 方法： 一种新型的、无需训练的推理策略，通过使用噪声掩码和对比对数概率聚合来缓解泄漏。它在防止内容混合的同时，保留了图像间的关系（这与独立推理不同）。
泛化性： 该方法被证明在多种 LVLM 系列（InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL）以及不同规模（从小于 7B 到大于 30B 参数）上均有效。
视频理解扩展： 作者展示了 FOCUS 可以从静态多图输入推广到视频理解任务（Vinoground），这表明该机制解决了时序和序列视觉推理中的基本问题。

实验结果

作者在五个多图基准测试上评估了 FOCUS：Winoground、VisMin（简单和困难版）、Mantis-Eval、MuirBench 和 MIRB。

性能提升： FOCUS 持续提高了图像得分（I）和组得分（G），这两个指标直接反映了多图推理能力，而**文本得分（T）**则基本保持不变。
- 在 Winoground 上，图像得分提升高达 +18.8，组得分提升达 +16.8。
- 在 VisMin-Easy 上，提升非常显著，例如 InternVL3-2B 的图像得分从 29.96 提高到了 74.33。
- 在 Mantis-Eval 上，准确率最高提升了 5.5 个百分点。
- 在 MuirBench 和 MIRB 上，观察到了持续但幅度较小的增益。
与替代方案的比较： FOCUS 优于其他方法，包括：
- 独立处理（Independent Processing）： 分别处理图像并拼接文本的方法，这种方法无法捕捉图像间的关系。
- 常规对比解码（VCD）： 专为单图设计的标准对比方法在多图设置下性能反而下降。
- SoFA： 一种针对位置偏差的方法，并未一致地提高性能，这表明位置偏差与信息泄漏是不同的问题。
消融实验： 去除噪声注入或噪声参考减法步骤会显著降低性能，证实了这两个组件都是必不可少的。
延迟： 该方法引入了适度的延迟开销（对于 $N$ 张图像需要 $N+1$ 次推理过程），作者指出，为了获得准确性的提升，这种权衡是合理的。

重要性与主张

论文声称 FOCUS 提供了一种实用且可泛化的推理时解决方案，用于增强多图推理能力。通过对跨图像信息泄漏进行实证表征，并提供一种无需重新训练即可缓解该问题的方法，这项工作解决了当前 LVLMs 的一个关键局限。

作者强调，他们的方法：

不需要额外的训练数据或架构更改。
适用于各种模型规模和系列。
可扩展至视频理解，表明视觉纠缠问题并不局限于静态图像。
为提高多图推理的可靠性提供了一个通用的解决方案，这对于需要用户同时提供多张图像的现实应用场景至关重要。

论文总结道，虽然 FOCUS 显著提高了性能，但它并不是解决所有长上下文或重检索型任务的万灵药，因为这类任务的瓶颈可能在于定位相关信息，而非消除视觉内容的歧义。然而，对于需要整合和比较多个视觉输入的任务，FOCUS 提供了一种鲁棒的增强手段。