💬 NLP

Learning to Look Again: Loss-Gap Supervision for Free-form Crop Routing in Vision-Language Models

该论文提出了 GapSight，这是一个通过训练轻量级路由器的框架，使视觉语言模型能够根据自身的失败信号（损失间隙监督）有选择地重新检查自由形式的图像区域，从而在不盲目增加计算成本的情况下，显著提升在以细节为中心任务上的性能。

原作者： Jinchang Zhu, Rong Fu, Yi Ding, Chenghao Wu, Ying Liu, Menglin Yang

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinchang Zhu, Rong Fu, Yi Ding, Chenghao Wu, Ying Liu, Menglin Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代计算机在观察图像并回答相关问题方面已经变得非常出色。这些被称为“视觉语言模型”的系统，可以作为通用助手来阅读文档、描述图表或识别照片中的物体。它们的工作原理是：将图像进行压缩，转化为数字摘要，然后利用该摘要来生成答案。然而，一个持久的问题依然存在：当这些模型为了便于处理而压缩图像时，它们往往会丢失回答特定问题所需的微小且关键的细节。一张收据可能会变成一片模糊的灰色，图表中的数字可能会塌陷成难以辨认的污点，或者地图上的一个小标签可能会完全消失。答案往往就在原始图像中，但一旦图像被简化，它就变得无法获取了。

多年来，工程师们试图通过向计算机提供更多的视觉信息来解决这个问题。他们会将图像分解成许多小块，或者让模型反复查看同一张高分辨率图像。虽然这有助于处理文本阅读等任务，但它是一种粗放的方法。它迫使计算机即使在低分辨率视图足以找到答案的情况下，也要对每一个问题都投入额外的计算时间和能量。这就像是用高倍显微镜去读路标；细节确实在那里，但对于不需要细节的问题来说，这种努力是浪费的。挑战在于如何教会模型何时该仔细观察，以及何时该信任它的第一眼印象。

一组研究人员开发了一种名为 GapSight 的新方法，教导这些模型学习何时以及在哪里进行第二次观察。GapSight 并没有强迫计算机以高细节度检查每一张图像，而是训练模型首先进行一次快速的全局观察。如果模型感觉到当前的问题需要其在初始视图中无法看到的证据，它就会学会停下来，并选择图像中一个特定的、自由形式的区域进行更仔细的观察。这种决策并非由人类程序员或单独的规则手册做出；模型是通过观察自身的错误来学习这种行为的。

训练过程通过在学习阶段模拟“第二次观察”来运作。研究人员针对一个问题和一张图像，要求模型仅使用低分辨率视图进行回答。然后，他们生成许多不同的候选裁剪区域（即图像中缩放后的局部区域），并要求模型使用这些缩放后的视图再次回答同一个问题。如果某个缩放后的区域能帮助模型给出更好的答案或提高其选择的信心，该区域就会被标记为“有用”；如果缩放后的区域并未改善答案，则被标记为“不必要”。随着时间的推移，模型学会了如何根据额外的视觉细节是否真的改变了结果，来识别哪些问题需要仔细观察，哪些不需要。

训练完成后，该系统会配备一个轻量级的决策器，附着在主模型之上。当一张新图像到达时，模型会进行第一次全局观察。随后，决策器会预测模型应该维持初始视图，还是注入一个经过精心挑选的单一裁剪区域来进行第二次观察。这个裁剪区域不受固定网格或标准形状的限制；它可以是任何大小或形状，从而能够环绕住一段文本、一个特定的图表区域或一个小物体。系统在看到缩放后的像素之前就会做出决定，它仅依赖于全局图像的上下文和正在询问的问题。

这种方法的结果显示出明显的优势。在涵盖阅读收据、解读图表和分析信息图等任务的六个不同基准测试中，新系统的表现显著优于那些仅仅观察整幅图像或使用固定、始终开启缩向功能的模型。在其中一个特定模型上，这六项任务的平均得分从 52.25 跃升至 64.29。这种进步是在使用比旧方法更少的视觉资源的情况下实现的，证明了该系统学会了高效地分配注意力。它不仅仅是增加了更多数据，而是学会了在正确的时间增加正确的数据。

研究人员还发现，最佳的观察位置通常是针对模型本身而言的。一个区域能帮助一个计算机模型正确回答问题，可能并不适用于另一个模型，因为不同的模型处理视觉信息的方式略有不同。这一发现排除了存在一个适用于所有系统的通用“最佳裁剪区域”的可能性。相反，系统必须基于自身的内部优势与劣势，学习属于自己的重新阅读策略。研究表明，这种学习到的行为具有高度的适应性：当任务涉及阅读密集文本或复杂信息图时，模型会频繁地查看图像；但在问题依赖于场景的整体布局或全局上下文时，它则很大程度上避免了进一步观察。

这种方法代表了从“暴力处理”向“智能分配”的转变。通过教导模型在进行第二次观察之前衡量其价值，该系统避免了在已经解决的问题上浪费能量。它挽救了因局部细节缺失而导致的具体错误（例如路标上的特定数字或图表上的数值），同时又不会干扰对图像全局理解的把握。这项工作表明，解决人工智能领域面向细节问题的关键，不在于看到更多，而在于准确知道何时以及在哪里再次观察。

技术摘要：通过损失间隙监督学习重新观察

问题陈述

视觉语言模型（VLMs）在处理以细节为中心的查询时经常失败，因为回答问题所需的视觉证据虽然存在于图像中，但在将图像压缩为低分辨率全局视图的过程中丢失了。虽然通过分配更多视觉标记（例如，通过高分辨率平铺或恒定裁剪增强）可以提高在 OCR 重型任务上的性能，但这会不加区别地增加计算成本，并可能破坏依赖于全局空间上下文的任务。

核心挑战在于监督：确定模型何时需要重新阅读图像以及在哪里看。有用的裁剪区域是特定于模型的；由于编码器、分词器和解码器的差异，一个有助于某个 VLM 的区域可能对另一个 VLM 并没有帮助。现有的无需训练的方法通常依赖于外部信号（如 CLIP 相关性），这些信号无法直接反映答案质量，而人工标注成本高昂，且可能与模型所需的特定证据不一致（例如，布局上下文与物体边界框之间的差异）。

方法论：GapSight

作者提出了 GapSight，这是一个通过**损失间隙监督（loss-gap supervision）**学习视觉重读策略的框架。该系统分为两个阶段：离线标签挖掘和在线单次推理。

1. 损失间隙监督（离线挖掘）

GapSight 不使用外部标注，而是直接从目标 VLM 自身行为中挖掘监督信号。

过程： 对于给定的图像-问题对，系统比较模型在仅全局视图下与候选裁剪增强视图下的回答行为。
信号生成：
- 对于生成的回答： 裁剪的效用通过目标答案跨度的负对数似然（NLL）的减少量来衡量。
- 对于多项选择基准测试： 效用通过正确选项得分与最高错误选项得分之间差距（margin）的增加量来衡量。
标签创建： 产生显著正向“损失间隙”（改进）的候选裁剪被选为该特定示例和模型的最佳裁剪（ $b^*$ $b^{*}$ ）。这创建了一个包含以下内容的训练标签：
- 动作： review（如果间隙为正）或 preserve（如果间隙不为正）。
- 效用： 改进的幅度（ $\Delta^*$ ）。
- 框：最佳裁剪（ $b^*$ ）的坐标。

2. 自由形式裁剪路由器（Free-Form Crop Router）

一个轻量级的路由器被训练用于仅基于全局图像状态（在任何裁剪标记被渲染之前）预测重读策略。

输入： 来自全局预览的隐藏状态。
输出：
1. 门控对数（Gate Logit）： 一个二进制决策，决定是保留全局视图还是注入裁剪。
2. 效用分数： 对预期收益的标量估计。
3. 连续框： 一个归一化的边界框 $(c_x, c_y, w, h)$ ，它不受固定网格的限制，从而能够适应文本块、图表区域或物体。
训练： 路由器在双路径示例上进行训练。“Preserve”行监督门控放弃操作，而“Review”行使用挖掘的标签监督门控、效用和框头。VLM 主干保持冻结；仅训练路由器及其辅助头。

3. 推理

在推理时，模型处理全局预览。路由器预测动作。如果选择了 review，则渲染一个裁剪并将其注入上下文（全局 + 裁剪），然后生成最终答案。这构成了一个**单次（one-shot）**重读过程。

核心贡献

损失间隙监督： 引入了一种源自目标模型自身回答行为（NLL 减少或选项差距改善）的监督信号，用以确定有用的视觉证据。这使得监督与特定主干网络的具体能力和失效点保持一致。
单次自由形式路由器： 一个轻量级模块，能够仅根据全局状态预测是否重读、预期效用以及连续裁剪框，从而实现动态的视觉预算分配，而无需迭代搜索。
跨主干网络评估： 在三个不同的 VLM 系列（LLaVA-1.5-7B, InternVL2.5-8B, 和 Qwen2-VL-2B-Instruct）和六个多样化基准测试中展示了该框架，证明了裁剪效用是特定于模型的，并且需要定制化的监督。

实验结果

作者在六个基准测试上评估了 GapSight：TextVQA, DocVQA, ChartQA, InfographicVQA, VStarBench, 和 MME-RealWorld-Lite。

性能提升： GapSight 一致优于“无缩放基础（Base no-zoom）”基线以及外部裁剪/缩放方法（ZoomRefine, ViCrop, CropVLM）。
- 在 InternVL2.5-8B 上，六个基准测试的平均得分从 52.25（Base）增加到 64.29，超过了次优方法（CropVLM 为 57.16）。
- 在 LLaVA-1.5-7B 上，平均得分比基线提高了 9.81 分。
- 在 Qwen2-VL-2B-Instruct 上，平均得分从 44.65 上升到 56.02。
标记效率： 与不加区别地添加裁剪的方法相比，GapSight 以更低的平均视觉标记计数实现了这些增益。对于 InternVL2.5-8B，它平均使用 391.0 个标记，而其他裁剪方法约为 512 个，同时实现了更高的准确率。
机制分析：
- 模型特定性： 在不同主干网络之间转移挖掘出的裁剪会导致显著的效用下降（非对角线保留率平均为 0.44），证实了有用的裁剪是针对目标模型架构特有的。
- 错误纠正： 在 InternVL2.5-8B 上，GapSight 纠正了 107 个来自基线的错误，同时仅引入了 27 个退化。
- 自适应行为： 路由器学会了在文本密集型任务上频繁进行 review（在 InfographicVQA 上动作率为 76.5%），但在需要全局上下文的任务上则选择 abstention（在 MME-Lite 上为 25.6%）。

重要性与主张

本文将损失间隙监督定位为教导 VLM “何时以及在哪里再次观察”的一种实用途径。作者声称：

对齐： 源自目标模型自身失败信号的监督优于外部启发式方法（如 CLIP 相关性）或随机采样。
关注点分离： 该方法清晰地将视觉重读的学习与答案生成分离，允许 VLM 保留其标准的生成接口，同时由路由器管理视觉证据的分配。
可控权衡： 该方法展示了一个连续的成本-性能权衡，从业者可以通过调整门控和效用阈值来控制视觉预算。
上下文保留： 通过预测自由形式的、扩展上下文的框，该方法确保局部细节（例如一个数字）能与必要的上下文（例如其单位或轴）一同被观察，从而避免了孤立裁剪的缺陷。

结果表明，视觉重读不仅仅是增加分辨率，而是基于解决查询所需的特定证据进行的学习型分配。