🤖 AI

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

本文介绍了 FOCUS，这是一个结合了视觉支持约束和群体相对策略优化（GRPO）的两阶段训练框架，旨在实现无需显式监督的鲁棒、类别无关的上下文目标定位，使一个 7B 参数的模型能够显著超越规模大得多的 72B 模型。

原作者： Mohammed Asad Karim, Vinay Kumar Verma

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammed Asad Karim, Vinay Kumar Verma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个朋友，他看书极其聪明，但在乱七八糟的房间里找东西却笨手笨脚。如果你对他说：“找那个红色的杯子”，他可能会寻找任何一个红色的杯子，因为他知道什么是“杯子”。但如果你的要求是：“找到那个边缘有缺口的特定红色杯子，就像这张照片里的那一个”，一个普通的聪明朋友可能还是会感到困惑，并抓起另一个红色的杯子，因为他们依赖的是关于“杯子”的通用知识，而不是你给出的具体视觉线索。

这篇论文介绍了一种新的方法，来教导计算机视觉模型（能够观察并理解图像的 AI）做到这一点：仅基于视觉示例来寻找特定的物体，而不依赖于物体的名称或类别。

以下是他们的方法——FOCUS 的拆解，使用了简单的类比：

问题所在：“名牌”依赖症

目前的 AI 模型就像是在学习解数学题时，通过记忆数字的名字而不是理解逻辑来解决问题的学生。

问题在于： 当这些模型尝试在一张新照片中寻找物体时，它们往往会忽略具体的视觉细节（如形状、位置或独特的划痕），转而根据物体的名称进行猜测（例如：“它是一只狗，所以它一定看起来像一只典型的狗”）。
结果： 如果你向他们展示一张戴着帽子的狗的照片，并要求他们在人群中找到“那只特定的狗”，他们可能会选错，因为他们在思考“狗”这个概念，而不是“那只”特定的狗。

解决方案：FOCUS（强制上下文目标定位）

作者创建了一个两步训练法，迫使 AI 停止基于名称进行猜测，转而开始基于视觉证据进行观察。

第一步：“聚光灯”训练（注意力优化）

想象你在教一个孩子寻找隐藏的玩具。你不是说“找那个泰迪熊”，而是指着玩具的照片说，“看这里”。

他们做了什么： 他们在训练过程中移除了所有的文本标签（如“猫”、“车”、“狗”）。AI 只会看到一系列图像：其中一些图像在目标物体周围画了一个框，而最后一张图像则是 AI 必须猜测该物体所在位置的任务。
诀窍： 他们添加了一个特殊的规则（一种“损失函数”），就像一个聚光灯。如果 AI 的内部“眼睛”（注意力）看向了图像错误的部位，或者忽略了示例图中的方框，系统就会给它一个“差评”。这迫使 AI 学习到：“我必须观察示例中显示的特定形状和位置，而不是仅仅根据我认为这个物体叫什么来做猜测。”

第二步：“教练的哨声”（使用 GRPO 的强化学习）

一旦 AI 知道该看哪里，它仍然需要变得精准。想象一位教练正在观察运动员练习投球。

他们做了什么： 他们使用了一种叫做**群体相对策略优化（GRPO）**的技术。可以把这想象成一位教练，他不仅仅是说“做得好”或“做得不好”。相反，教练会让运动员尝试五次不同的投球。
对比： 教练会比较这五次投球。如果其中一次投球比其他的稍微好一点，教练会说：“多做些那样的动作。”如果某次投球变差了，他们会说：“停止做那样的动作。”
奖励： AI 会根据其绘制的方框与真实物体匹配的程度获得一个“分数”（使用一种称为 IoU 的指标，即两个形状的重叠程度）。通过不断比较自己的尝试并挑选出最好的那些，AI 学会了如何以极高的精度绘制方框。

结果：小脑瓜，大成就

这篇论文中最令人惊讶的部分是他们使用的模型规模。

他们训练了一个拥有 70 亿参数的模型（可以理解为一个非常聪明但紧凑的大脑）。
他们将其与拥有 720 亿参数的庞大模型（巨型大脑）进行了对比。
结果： 他们这个经过特殊训练的小型模型击败了那些巨型模型。这证明了教导 AI 如何看（策略）比仅仅扩大 AI 的规模（扩展）更为重要。

为什么这很重要（根据论文所述）

论文声称，这种方法在以下情况下至关重要：

物体没有名字： 比如寻找一个形状奇特、手工制作的工具，它不符合标准的分类。
你需要找到“那一个”特定的物品： 比如编辑一张照片，仅移除你所指的那个人，而不是所有看起来像他的人。
个性化搜索： 在一堆蓝色的杯子中找到“我的那个特定蓝色杯子”。

简而言之，这篇论文教导 AI 停止依赖它的“词典”，开始依赖它的“眼睛”，使其能够仅通过参考照片，就能在人群中找到特定的事物，即使它以前从未见过那个完全相同的物体。

技术摘要：FOCUS —— 通过视觉支持约束与策略优化实现强制性上下文内目标定位

1. 问题定义与动机

上下文内目标定位 (In-Context Object Localization, ICOL) 是一项任务，旨在根据推理时提供的少量视觉支持示例（带有边界框的图像），在查询图像中识别并定位特定的目标对象，而无需对特定目标进行任何参数更新或训练。

尽管视觉语言模型 (VLMs) 已取得显著进展，但在现实且类别无关的设置下，它们在 ICOL 任务中仍表现挣扎。现有的方法（如 IPLoc）通常依赖于语义先验（例如类别名称或伪标签），而非纯粹的视觉证据。这导致了两个关键的失效模式：

类别偏差 (Category Bias)： 模型倾向于定位该类别的最典型或视觉上最显著的实例，而不是支持示例中所定义的特定实例（例如，定位任何“碗”而不是支持示例中显示的那个特定的“碗”）。
视觉接地能力弱 (Weak Visual Grounding)： 当前模型的注意力机制往往在查询图像上过度弥散，或者过度依赖类别标记，无法集中于支持边界框所提供的几何与空间线索。

本文认为，对于个性化视觉搜索和特定实例图像编辑等应用，模型必须仅基于视觉对应关系和空间推理来推断目标，从而完全脱离文本类别标签。

2. 方法论：FOCUS 框架

作者提出了 FOCUS，这是一个旨在强化视觉接地并消除类别偏差的两阶段训练框架。该方法基于类别无关的假设：模型仅接收视觉输入（支持图像及其边界框）和查询图像，提示词中不包含类别名称。

第一阶段：基于注意力的边界框优化（监督微调）

第一阶段通过显式优化模型的潜在注意力图来解决“注意力弱”的问题，使其优先考虑空间标注。

提示词规范： 输入是一个交错序列，包括自然语言指令、支持图像及其边界框（序列化为文本标记），以及查询图像。至关重要的是，不包含任何类别名称。
注意力损失 ( $L_{bbox}$ )： 作者引入了一个损失函数，强制要求查询图像标记的注意力权重集中在支持图像的边界框标注标记上。
- 一个二进制掩码用于区分 BBOX 标记和非 BBOX 标记。
- 该损失函数采用基于间隔的 Hinge 损失，鼓励模型将更高的注意力质量分配给 BBOX 标记 ( $p^+$ ) 而非非 BBOX 标记 ( $p^-$ )。
- 这确保了模型学会“注视”支持示例提供的几何约束，而不是依赖语义捷径。
实现： 此阶段利用 LoRA（低秩自适应）在基础 VLM（如 Qwen2-VL-7B）上进行监督微调 (SFT)。

第二阶段：使用组相对策略优化 (GRPO) 进行强化学习

第二阶段旨在精细化预测边界框的精度。

目标： 最小化定位误差 (IoU) 并确保输出的语法正确性。
奖励函数： 使用组合奖励 $R$ $R$ ：
1. IoU 奖励 ( $r_{iou}$ )： 预测框与真实框之间的交并比 (Intersection-over-Union)。
2. 格式奖励 ( $r_{fmt}$ )： 一个二进制奖励，确保输出遵循要求的格式（例如 <answer>[x_min, y_min, x_max, y_max]</answer>）。
优化： 采用 GRPO 来更新策略。与 PPO 不同，GRPO 不需要学习的评论家 (Critic)；相反，它通过比较采样输出在组内的相对表现来计算优势，从而计算相对于组平均奖励的优势。这稳定了少样本设置下的训练，并直接针对高质量对齐进行优化。

3. 核心贡献

类别无关框架： 本文引入了一种纯视觉的上下文内定位设置，移除了提示词中所有的类别名称，迫使模型完全依赖视觉外观和几何形状。
注意力图优化： 提出了一种新颖的损失函数，通过显式地将模型的注意力与支持边界框标记对齐，纠正了 VLM 倾向于忽视空间约束而依赖语义先验的问题。
基于 GRPO 的精细化： 集成了组相对策略优化 (GRPO)，实现了定位误差 (IoU) 的直接最小化，并强制执行严格的输出格式，提升了实例级的精度。
高效性与可扩展性： 作者证明，通过这些目标训练的 7B 参数模型，其表现显著优于规模大得多的模型（高达 72B 参数），证明了上下文感知定位目标比单纯的模型规模扩展更为关键。

4. 实验结果

作者在包括 TAO、GOT-10k、LaSOT、PerSeg 和 PerMIRS 在内的多样化基准测试中评估了 FOCUS。

性能对比基准： FOCUS（基于 Qwen2-VL-7B）达到了最先进的水平，显著超越了强力的基准模型，如 IPLoc (7B)、Qwen2-VL-72B 和 InternVL2-76B。
- 在 GOT-10k（零样本类别泛化）上，FOCUS (4-shot) 达到了 82.6%，大幅超过了 72B 参数的 Qwen2-VL 模型 (59.9%)。
- 在 TAO（开放世界、多目标）上，FOCUS 达到了 68.5% (4-shot)，而 Qwen2-VL-72B 为 55.6%。
泛化能力： 模型对未见类别和领域偏移（例如 PerSeg 中的合成数据）表现出鲁棒的泛化能力，在类别依赖型模型无法区分实例的情况下仍能保持高性能。
消融实验：
- 移除注意力损失会导致性能显著下降，证实了强制注意力转向 BBOX 标记的必要性。
- 在 SFT + 注意力损失之上添加 GRPO，在 TAO 的 4-shot 设置中带来了额外的 11.4% 增益。
- 研究发现，将注意力损失应用于 Transformer 的前五层对于建立接地能力最为有效，这表明早期层对于建立空间对应关系至关重要。

5. 重要性与主张

论文声称 FOCUS 成功地将上下文内定位重新定义为一个视觉推理任务，而非语义检索任务。通过消除类别监督，并通过注意力约束和策略优化来强化严格的视觉对应关系，该方法实现了稳健的实例级接地。

作者强调，他们的方法证明了专门的训练目标可以产生优于单纯扩大模型规模的效果。一个经过 FOCUS 训练的 7B 模型能够超越 72B 模型，这凸显了“上下文感知定位目标”是解决类别无关目标定位问题比单纯依赖海量参数量更高效的路径。这项工作表明，对于用户驱动的、特定实例的应用，模型必须被训练为忽略语义先验，并严格专注于视觉证据。