💻 computer science

Direct Visual Grounding by Directing Attention of Visual Tokens

本文提出了一种新颖的 KL 注意力损失（KLAL），该损失直接监督视觉标记对相关语言标记的注意力，从而通过解决标准下文标记预测所提供的注意力信号不足的问题，提升视觉定位任务的性能。

原作者： Parsa Esmaeilkhani, Longin Jan Latecki

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Parsa Esmaeilkhani, Longin Jan Latecki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机可以观察一张图片并对其进行描述，就像你我通过手机聊天讨论照片一样。这就是**视觉-语言模型（Vision-Language Models, VLMs）**的领域——这是人工智能的一个分支，试图弥合相机所见与人类所言之间的鸿沟。可以将这些模型想象成超级聪明的翻译官，它们接收一张图像，将其分解为被称为“视觉标记（visual tokens）”的微小数字拼图碎片，并将它们与文字混合在一起，以回答诸如“这只猫是什么颜色的？”或“那里有几个苹果？”之类的问题。

长期以来，科学家们一直认为这些模型在这方面已经做得非常出色了。但有一个挥之不去的谜团：有时，即使答案是正确的，计算机似乎也完全忽略了图片。这就像一个正在参加考试的学生，在读完题目后，瞥了一眼图表，然后完全根据记忆中的教科书内容来作答，完全忘记了去看眼前的具体线条和形状。研究人员面临的核心问题是：为什么在给出最终答案时，计算机的“大脑”停止关注视觉线索了？ 本论文深入探讨了这一问题，试图弄清楚我们是否可以教会这些 AI 模型在说话时真正地“注视”图像中正确的部位。

问题所在：机器中的“幽灵”

来认识一下视觉-语言模型。你可以把它看作一个读过百万本书、看过百万张照片的、非常爱聊天的机器人。当你针对一张图像提问时，它会将图像分解成一个由微小方块组成的网格（视觉标记），并将它们与你输入的文字混合在一起。

诡异之处在于：论文发现，在思考的最后时刻，也就是机器人准备打出答案之前，它往往会停止观察图片。这就像一位厨师，桌上摆满了所有的食材，但在装盘的时候，却决定忽略食物，仅仅根据记忆中的食谱来猜测味道。研究人员发现，计算机对图像中最重要部分（例如两条线的交点或某个特定物体）的“注意力”几乎为零。就好像视觉线索成了幽灵——它们存在于系统中，但对于负责写出答案的那部分大脑来说却是不可见的。

论文指出，这些模型的标准训练方式（称为“下一标记预测/Next-Token Prediction”）就像是一位只看最终作文成绩、却从不检查学生是否真的看了参考图片的老师。计算机学会了如何正确猜测下一个词，但它并没有学会为什么这个词是正确的，也没有学会是图像中的哪一部分使其变得正确。

解决方案：注意力的“激光笔”

为了解决这个问题，作者提出了一种巧妙的新型训练技巧，称为 KL 注意力损失（KL Attention Loss, KLAL）。

想象一下你正在教一只狗去捡球。在旧的方法中，当它把球叼回来时，你只会说“好狗！”，但狗可能只是在随机乱跑时碰巧抓住了球。而在本文提出的新方法中，你使用了一个激光笔。每当狗看向球时，你就用光点照向它，并说：“没错！看那里！”

在计算机世界里，“激光笔”是一个特殊的数学信号，它强制模型将注意力集中在对答案至关重要的图像像素上。

如果问题是“这些线交叉了几次？”，激光笔就会照在两条线相交的确切位置。
如果问题是“这个节点是否与那个节点相连？”，激光笔就会追踪连接它们的线条路径。

如果模型看向了别处，它就会受到惩罚（通过损失函数）。这就像是在告诉机器人：“你不能仅仅靠猜，你必须证明你在看图片的正确位置。”

研究发现：从猜测到观察

研究人员在一些需要精确视觉推理的棘手任务上测试了这个想法，例如计算两条弯曲线条交叉了几次，或者追踪复杂图表中的路径以观察两点是否相连。他们甚至设计了一个名为“线条追踪（Line Tracing）”的新游戏，要求计算机穿过一个由点组成的迷宫。

以下是当他们开启“激光笔”（KLAL）时发生的情况：

更好的答案： 模型的表现有了显著提升。例如，在“线条交点（Line Intersection）”任务中，通过加入这种新的训练方法，一个模型的准确率从约 47% 提升到了 70% 以上。在“指向（Pointing）”任务（即模型必须准确说明某个物体所在位置）中，提升幅度巨大，从接近随机猜测提升到了近一半的正确率。
更强的专注力： 最令人兴奋的部分不仅是分数，还有模型的“思考方式”。当研究人员观察模型的“注意力图”（显示计算机正在看哪里）时，他们看到了剧烈的变化。在采用新训练法之前，模型在观察图像的随机部分；而在训练之后，模型的注意力紧紧锁定在交点或特定物体上，就像人类观察那样。
更强的记忆力： 论文还发现，这种训练不仅改变了模型的观察位置，还实际上增强了它对图像的内部记忆。重要图像部分的数字“权重”变得更重、更清晰，这意味着模型真正更好地“理解”了视觉数据，而不仅仅是理解了文字。

结论

论文表明，这些 AI 模型有时在简单视觉任务上失败的原因，并不是因为它们不够聪明，而是因为没有被教会如何正确地“观察”。通过在训练期间添加直接的“激光笔”信号，研究人员迫使模型将其语言直接与所代表的像素联系起来。

结果显示，这种方法适用于各种类型的模型，从开源模型到一些最大的商业 AI 系统。即使是最先进的商业模型，在应用此方法之前，在处理这些特定的几何任务时也表现挣扎。作者总结道，如果我们希望 AI 真正理解世界，我们不能只让它去猜，我们必须教会它关注正确的事物，就像老师引导学生的眼睛看向图表的正确部分一样。

简而言之，论文证明了，当你强迫 AI 在开口说话前先观察证据时，它就不再是胡编乱造，而是开始真正地观察。

技术摘要：通过引导视觉 Token 的注意力实现直接视觉定位

问题陈述
视觉语言模型（VLM）在 LLM 模块内集成视觉和文本 Token，但它们在需要精确视觉推理的任务（如几何推断、物体计数和空间关系验证）中经常失败。一个关键的问题在于，在 LLM 的最终层中，回答 Token 对最相关的视觉 Token 分配的注意力极少甚至没有。相反，模型往往依赖语言先验，即使存在视觉信息，也会导致幻觉或错误答案。标准的下一 Token 预测（NTP）损失无法为引导模型关注特定视觉区域提供足够的信号，导致视觉 Token 被有效忽略或与无关 Token 等同对待。

方法论
作者提出了一种创新的训练框架，引入了 KL 注意力损失（KLAL），旨在直接监督 VLM 的注意力机制。其核心假设是：通过显式地将语言回答 Token 的注意力分布与地面真值（GT）视觉区域对齐，可以提升性能。

注意力监督： 该方法计算视觉 Token 相对于最终生成的回答 Token 的注意力分布。该分布被视为一个概率向量。
地面真值构建： 地面真值注意力图的构建无需新的手动标签即可自动完成：
- 合成任务： 图谱源自任务几何结构（例如，包含线段交点或连接节点的路径的补丁）。
- 真实图像： 通过平滑函数从标准标注（边界框或点标注）进行投影。
损失函数： 提出的 KLAL 最小化所有 LLM 层中模型预测的注意力分布与构建的 GT 分布之间的 Kullback-Leibler（KL）散度。
训练目标： 总损失结合了标准的 NTP 损失与 KLAL： $L_{total} = L_{NTP} + \lambda L_{KLAL}$ 。这种方法与模型无关，不需要架构修改，也不需要额外的任务特定头（例如用于分割或定位的头）。

核心贡献

新型损失函数： 引入了 KLAL，通过利用 KL 散度对齐注意力分布，将回答语言 Token 直接锚定到相关的视觉 Token 上。
实证证据： 证明了提高对相关图像区域的注意力直接关联到视觉任务性能的提升，并通过注意力图提供了更好的可解释性。
嵌入增强： 发现该方法改善了视觉 Token 的深层嵌入，使得高范数 Token 能够集中在与正确答案最相关的图像区域。
新数据集： 创建了一个合成的 线条追踪（Line Tracing） 数据集，用于评估 VLM 在复杂图中追踪路径并确定节点间连通性的能力，而这是一个即使商业模型也难以应对的任务。
全面评估： 在几何推理、指向（pointing）和指代理解（REC）任务上，对开源和商业 VLM 进行了广泛的基准测试。

实验结果
该方法在五个数据集上进行了评估：Line Intersection、Line Tracing、Grid Patch pointing、PixMo-Points 和 RefCOCO。

几何任务： 在 Line Intersection 和 Line Tracing 任务中，将 KLAL 添加到 NTP 微调中，其表现显著优于基础模型和仅 NTP 的微调。例如，Qwen2.5-VL 在 Line Intersection 任务上从 47.62% 提升至 70.23%，在 Line Tracing 任务上从 49.62% 提升至 62.21%。
指向任务： 该方法在坐标定位方面取得了实质性进展。Qwen2.5-VL 在 Grid Patch 上达到了 44.90% 的准确率，在 PixMo-Points 上达到了 35.77% 的准确率（使用 NTP+KLAL），超越了包括 GPT-4o 和 Gemini-2.0 Flash 在内的现有先进基准模型。
泛化能力： 跨数据集迁移实验表明，NTP+KLAL 实现了指向数据集之间的有效迁移，而单纯的 NTP 则无法实现泛化。
现实世界定位： 在 RefCOCO 数据集上，即使对于表现已经很强的模型，该方法也提供了可衡量的准确度提升（例如，验证集上为 91.45% vs. 90.05%）。
注意力可视化： 注意力图证实，与注意力弥散或错位的基准模型相比，使用 KLAL 训练的模型能显著更多地聚焦于目标区域（如交点）。

意义与主张
论文声称，当前 VLM 在视觉任务上表现的主要局限在于缺乏对 LLM 模块内视觉注意力的直接监督。通过类比早期儿童的学习过程——即直接监督将视觉优势与单词学习联系起来——作者认为，他们的方法将“被动暴露”转变为“主动学习”。这项工作的意义在于证明了：

标准的 NTP 对于锚定视觉 Token 是不足够的。
通过 KL 散度进行的直接注意力监督是一种简单、有效且与模型无关的解决方案，它既提高了答案的准确性，也提高了模型决策的可解释性。
即使是先进的商业 VLM 也存在基本的几何和连通性推理弱点，而这些弱点可以通过这种针对性的注意力监督得到缓解。

问题所在：机器中的“幽灵”

解决方案：注意力的“激光笔”

研究发现：从猜测到观察

结论

技术摘要：通过引导视觉 Token 的注意力实现直接视觉定位

类似论文