🤖 AI

Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning

该论文提出了 CARVE，一种无需训练的方法，它通过利用通用注意力图与任务特定注意力图之间的对比来过滤视觉噪声并精炼焦点，从而增强视觉语言模型的视觉推理能力，在无需额外训练或外部工具的情况下实现了显著的性能提升。

原作者： Yuyao Ge, Shenghua Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Xuanshan Zhou, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuyao Ge, Shenghua Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Xuanshan Zhou, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，一种特殊的计算机程序已经出现，它们能够同时进行视觉观察和语言表达。这些被称为“视觉-语言模型”的系统，通过在海量的图像和文本库上进行训练，使其能够回答有关所见内容的问题、描述场景或识别照片中的标牌。它们在许多任务中表现得非常出色，但在面对混乱的视觉世界时仍然显得力不从心。正如人类在面对人群拥挤或广告牌闪烁的嘈杂环境时，可能难以看清标牌上的单个词汇一样，这些计算机程序也经常会被物体周围的视觉噪声所干扰。当图像中充满了过多的纹理、色彩或相互竞争的物体时，模型的内部注意力就会发生分散，导致它无法精准锁定回答问题所需的特定细节。这种局限性不仅仅是一个小小的故障，它代表了使这些工具在复杂且混乱的现实世界中变得可靠的一个根本障碍。

研究人员长期以来一直怀疑，问题的核心在于这些模型如何分配注意力。它们似乎并没有忽略背景，而是被背景淹没了——它们将精神能量分散在整个图像上，而不是集中在相关的部分。来自中国计算机学会（注：原文为Institute of Computing Technology in China，通常指中科院计算所）与加州大学默塞德分校的一项新研究，深入调查了这一现象是如何发生的，并提供了一个无需重新训练模型的巧妙解决方案。研究团队发现，图像在模式和色彩方面的复杂程度越高，模型的注意力就越分散。他们发现这种分散性与错误直接相关：当模型的焦点变得弥散时，其准确率就会下降。然而，他们也注意到模型并不总是失败；它通常知道该看哪里，只是无法完全聚焦于那里。关键在于，他们意识到需要帮助模型在尝试回答之前过滤掉视觉杂质。

为了解决这个问题，研究人员开发了一种名为 CARVE 的方法，全称为“对比注意力精炼视觉增强”（Contrastive Attention Refinement for Visual Enhancement）。其核心思想出奇地简单：要求模型以两种不同的方式观察图像并对比结果。首先，他们向模型提出一个非常宽泛、通用的问题，例如“请对图像进行通用的描述”。在这种状态下，模型会扫描整张图片，其“注意力图”（即代表其观察位置的数字表示）看起来就像一张覆盖全身的宽阔且模糊的网。这种广泛的扫描捕捉到了视觉噪声，即那些可能使系统产生困惑的纹理和色彩。接着，他们向模型提出他们真正想要回答的具体问题，例如“杯柄后面看到的形状是什么？”在这种状态下，模型试图聚焦于答案，但在杂乱的图像中，它的注意力仍会被周围的混乱事物拉向多个方向。

通过在数学上对比这两个状态，研究人员可以分离出信号与噪声。他们将宽泛的通用扫描视为视觉杂质的地图，将针对具体问题的扫描视为预期焦点的地图。当他们对比两者时，对回答至关重要的图像部分会脱颖而出，而干扰性的背景则会逐渐淡化。这就像是将两张透明胶片叠放在光线下观察：一张显示了整个凌乱的房间，另一张显示了人正在注视的地方；两者的重叠之处，真正的目标便清晰可见。研究人员随后利用这种对比来创建一个数字掩模（mask），从图像中物理性地切除干扰性的背景，只留下本质部分。然后，他们将这张清理后的、裁剪过的图像重新输入模型，以生成最终答案。

这一方法的实验结果令人瞩目。团队在七个不同的基准测试上测试了该方法，涵盖了从阅读复杂文档中的文字到在拥挤场景中识别微小物体等各种任务。他们发现，通过简单地移除视觉噪声，模型的任务表现能力显著提升。在某些任务中，这种进步是巨大的。例如，在一项旨在测试模型能否在杂乱场景中找到特定隐藏物体的测试中，一个旧模型的准确率从大约 39% 跃升至近 67%。即使是更新、更先进的模型也展现出了持续的增益，证明了视觉干扰问题影响着所有模型。该方法无需教导模型任何新知识；它是一种无需训练的技术，充当了一个透镜的角色，通过剥离无关细节来锐化模型的视觉。

这项发现之所以特别有价值，是因为它适用于不同类型的模型和任务，从阅读图表到回答科学问题。研究人员表明，任务的视觉需求越高，模型从这种清理过程中获得的收益就越大。当图像简单时，模型不需要太多帮助；但当场景混乱时，能否忽略背景成为了正确答案与彻底失败之间的分水岭。研究还揭示，当模型处于思考过程的特定阶段时，该技术最为有效，这表明干预的时机与干预本身同样重要。

尽管该方法功能强大，但研究人员也谨慎地指出了其边界。它擅长处理那些答案隐藏在图像特定局部区域的任务，如阅读标牌或寻找微小物品。然而，如果一项任务需要理解整个场景中物体之间的关系，或者判断深度与距离，那么切除背景有时可能会移除解决问题所需的全部语境。在这些情况下，该方法会优雅地退后一步，允许模型看到完整的图像（如果背景不是过于干扰的话）。这种平衡确保了该工具是起到辅助作用而非阻碍作用。

这项工作的意义超越了仅仅提高测试分数。它为人工智能如何与视觉世界进行交互提供了一种全新的思考方式。与其试图构建更大、更复杂的模型，让它们设法自行学会忽略干扰，不如通过“策展”它们所看到的内容来帮助它们。通过利用模型自身的注意力机制来识别并移除噪声，我们可以解锁一个此前无法触及的清晰度水平。这项研究证明，有时帮助计算机看得更清楚的方法，不是给它更多的数据，而是让它看到更少的内容。

技术摘要：基于对比注意力的聚焦 (CARVE)

1. 问题陈述

视觉语言模型 (VLMs) 在多种任务中取得了显著成功，但在复杂视觉环境中表现出性能下降。作者研究了是否类似于人类视觉，复杂的视觉特征（丰富的纹理和颜色）会分散 VLM 对任务相关区域的注意力。

通过定量分析，本文确立了三个核心发现：

与复杂性的相关性： 视觉复杂度（由纹理密度和颜色多样性定义）与高注意力熵强相关。
注意力分散： 高注意力熵（分散的注意力）会对推理准确性产生负面影响。虽然注意力通常从浅层的全局扫描演变为深层的聚焦收敛，但复杂的场景会阻止这种收敛，导致即使在深层，注意力仍然保持分散状态。
性能退化： 注意力熵与任务准确率之间存在强烈的负相关关系；随着熵的增加，性能显著下降。

现有的增强方法通常需要额外的训练，依赖外部分割工具（如 SAM、YOLO），或者在粗粒度层面运行，未能利用 VLM 内在的注意力能力来区分信号与噪声。

2. 方法论：CARVE

作者提出了用于视觉增强的对比注意力细化 (Contrastive Attention Refinement for Visual Enhancement, CARVE)，这是一种无需训练的方法，通过对比注意力图来提取任务相关的视觉信号。

理论基础

该方法依赖于注意力图 $A$ 的乘法分解假设：
$A^{(Q)}_{l,t}(I) = F_{vis}(I) \otimes F_{sem}(Q, I)$
其中：

$F_{vis}(I)$ 代表图像固有的视觉噪声（与特定问题无关）。
$F_{sem}(Q, I)$ 代表任务相关的语义信号。
$\otimes$ 表示 Hadamard（逐元素）积。

作者认为，视觉噪声在注意力权重中起到了空间变化增益的作用。因此，乘法对比比加法对比更合适，因为除法可以归一化异构的噪声强度。

操作机制

CARVE 分三个阶段运行：

通用指令推理： 模型使用任务无关的提示词（例如，“请对图像进行一般性描述”）处理图像。这会生成一个近似于视觉噪声分量 $F_{vis}(I)$ 的注意力图 $A^{(G)}$ ，因为缺乏特定的语义线索，导致其语义信号接近均匀分布（ $F_{sem} \approx \mathbf{1}$ ）。
任务特定推理： 模型使用实际的任务问题 $Q$ 处理图像，生成 $A^{(Q)}$ 。
对比细化： 通过对比这两个图来估计语义信号：
$\hat{A}_i = \frac{A^{(Q)}_i}{A^{(G)}_i + \lambda}$
此操作在 $F_{vis}(I)$ 占据主导地位时抑制其影响，从而分离出语义信号。

视觉提取

精炼后的注意力图 $\hat{A}$ 在不同层级和时间步进行融合，经过阈值处理（前 $p$ 百分位数），并用于生成二值掩码。该掩码应用于原始图像以裁剪并放大任务相关区域，从而在最终推理传递之前有效地移除视觉噪声。

3. 核心贡献

经验性发现： 本文提供了定量证据，证明视觉复杂度驱动了注意力分散（高熵），这直接导致了 VLM 的推理失败。
理论洞察： 提出了一个注意力乘法分解模型，证明了通过对比通用指令和特定指令可以近似地分离视觉噪声与语义信号。
无需训练的方法： CARVE 无需微调、外部分割工具或额外数据即可实现视觉增强。它完全依赖于模型自身的内部注意力机制。
鲁棒性： 该方法在不同模型架构（Qwen2.5-VL, LLaVA-1.5）和规模上得到了验证，显示出一致的改进。

4. 实验结果

作者在七个基准测试上评估了 CARVE：A-OKVQA, POPE, V*, TextVQA, DocVQA, ChartQA, 和 ScienceQA。

性能提升： CARVE 在所有测试的模型和数据集上都提升了性能。
- TextVQA： 观察到显著收益，Qwen2.5-VL-7B 从 75.0% 提升至 81.9%（+9.20%），LLaVA-1.5-7B 从 47.8% 提升至 58.2%（+21.76%）。
- V（细粒度搜索）：* 该方法在这个拥挤场景基准测试中取得了巨大的提升，LLaVA-1.5-7B 从 38.7% 跳升至 66.5%（+27.8%）。统计分析（McNemar 检验）确认这些增益是显著的（ $p < 0.001$ ）。
- 文档与图表问答 (Document & Chart QA)： 在 DocVQA（Qwen2.5-VL-3B 的相对增益高达 +24.14%）和 ChartQA 中均看到了显著改进。
对比： 尽管不需要外部分割模型，CAR切 CARVE 在准确率上优于同期的无需训练方法（如 ViCrop）以及基于外部工具的方法（如 SAM、YOLO、CLIP）。
消融实验：
- 分解方式： 乘法对比优于加法对比，验证了“噪声即增益”的假设。
- 层级选择： 融合深层（如第 20-25 层）的注意力比浅层效果更好，这与注意力在深层趋于收敛的发现一致。
- 时间步： 使用最后一个生成 token ( $t_{end}$ ) 的注意力通常优于早期 token。

5. 重要性与声明

论文声称，CARVE 提供了一种有效的策略，通过利用模型自身的注意力机制来过滤噪声，从而提高视觉推理能力。

适用范围有限： 作者明确指出，CARVE 对于需要局部、细粒度感知的任务（如文本识别、杂乱环境中的小目标识别）最为有效。
局限性： 该方法可能会降低需要全局空间上下文的任务（如深度排序或物体关系推理）的性能，因为掩码过程会移除必要的上下文线索。在这种情况下，当掩码阈值趋近于 1.0 时，该方法会退化为原始模型的性能。
成本： 该方法会带来约三次前向传播的推理开销（两次用于提取注意力，一次用于最终推理），但作者指出，可以通过提前终止和缓存策略来减轻这一成本。

总之，本文证明了视觉复杂度是 VLM 推理失败的主要来源，而对比注意力提供了一种稳健且无需训练的机制来缓解这一问题。