💬 NLP

Learning GUI Grounding with Spatial Reasoning from Visual Feedback

本文介绍了 GUI-Cursor，该模型将 GUI 定位重构为一种交互式搜索任务，利用渲染光标提供的视觉反馈和强化学习来克服视觉语言模型在坐标预测方面的局限性，从而以更少的训练数据在空间推理和智能体任务中实现更优越的性能。

原作者： Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《通过视觉反馈中的空间推理学习 GUI 定位》的解释。

核心难题：“盲眼建筑师”

想象你是一位建筑师，正试图告诉一个机器人，如何在巨大而复杂的墙壁（即电脑屏幕）上放置一块特定的砖块。这面墙非常巨大，而砖块却极其微小。

长期以来，研究人员试图通过让机器人一次性猜出精确坐标（例如“第 45 行，第 12 列”）来教会它们完成这项任务。但论文指出，这就像让建筑师在不看墙壁、也不看砖块的情况下猜测位置。即使是最高明的 AI 模型也往往在此失败，因为它们擅长识别事物“是什么”，却极不擅长确定它们在高分辨率屏幕上的确切“位置”。它们是“空间盲”的。

解决方案：“寻宝游戏”（GUI-CURSOR）

作者 Yu Zhao 及其团队决定不再让 AI 立即猜测答案，而是将这项任务变成了一场寻宝游戏。

他们引入了一种名为GUI-CURSOR的新方法。AI 不再仅仅被告知“按钮位于 (500, 500)"，而是获得了一个虚拟鼠标光标。它必须在屏幕上一步步移动这个光标，直到找到目标。

以下是这场“寻宝游戏”的运作方式：

移动：AI 观察屏幕并说：“我认为目标在那边”，然后移动光标。
反馈：电脑向 AI 展示一张新图片，显示光标现在位于那个新位置。
检查：AI 观察新图片并自问：“光标在正确的按钮上吗？没有？好的，我需要向左移动。”
重复：它不断移动并检查，直到它说：“是的，我找到了！”然后停止。

关键秘诀：从错误中学习

论文解释说，这一过程由强化学习驱动。这就像训练一只狗。

如果狗将光标移向目标更近的位置，它就会得到“奖励”（奖励）。
如果狗向错误的方向移动、过早停止，或者一直在原地打转，它就会得到“否定”（惩罚）。

作者制定了一套特殊的规则（奖励函数）来教导 AI 如何高效地寻宝：

不要过早放弃：如果你还没到达就停止，这将受到惩罚。
不要原地打转：如果你移动到了已经去过的地方，这将受到惩罚。
不要远离：如果你向远离目标的方向移动，这将受到惩罚。

为何这种方法更优

论文声称，这种方法在两个主要原因上优于旧方法：

视觉反馈循环：在旧方法中，AI 猜一个数字，却从未看到结果是否正确。而在新方法中，AI 能看到它的猜测落在了哪里。这就像是在地图上猜测一个位置，与真正走到那里看看是否找到了宝藏之间的区别。这有助于 AI 学习“数字”与“视觉位置”之间的联系。
更强的空间推理能力：作者在简单的游戏上测试了 AI：“一个黑点是否在红框内？”他们发现，标准 AI 模型对这项简单任务的表现令人惊讶地差，除非红框正好位于屏幕中心，否则它们往往会失败。然而，通过“寻宝游戏”方法训练的 AI 在这项任务上表现要好得多，尽管他们并没有明确地教它玩这个游戏。似乎，学习移动光标教会了 AI 更好地理解空间和距离。

结果：更快、更智能、更经济

团队将他们的新 AI（GUI-CURSOR）与其他顶级模型进行了测试。

准确性：在困难的高分辨率屏幕上，它击败了之前的最佳模型。
效率：它学会了在仅仅两步内解决 95% 的问题。
数据节省：它仅使用8,000个训练样本就取得了这些成果，而之前的领先者需要64,000个。这就像在小型赛道上练习几小时就学会了开车，而不是需要驾驶好几天。

总结

该论文提出，与其强迫 AI 成为计算机坐标的“一次性猜测者”，不如让它成为一个“好奇的探索者”。通过给 AI 一个虚拟鼠标，让它移动、观察并自我修正，AI 能更好地理解屏幕布局。这不仅使其在寻找按钮和图标方面更聪明，而且令人惊讶的是，它也提高了 AI 理解基本空间关系的能力。

技术摘要：通过视觉反馈结合空间推理学习 GUI 定位

问题陈述

图形用户界面（GUI）定位是将自然语言指令映射到屏幕上特定像素坐标以执行操作（例如点击）的任务。尽管近期的视觉 - 语言模型（VLMs）取得了进展，但它们在高分辨率且布局复杂的 GUI 上预测准确数值坐标时经常失败。这种失败源于缺乏空间语义对齐：模型难以将其对视觉元素的理解隐式地映射到离散的坐标令牌上。

现有方法通常将 GUI 定位框架化为单步预测问题，即模型直接从屏幕截图生成坐标。该范式的一个关键局限性在于缺乏视觉反馈循环。模型仅针对最终数值输出进行监督，无法获知其预测实际上落在屏幕的何处。因此，模型未能建立其数值预测与对应屏幕位置之间的稳健对齐，导致空间推理能力不足。

方法论：GUI-CURSOR

为了解决这些局限性，作者提出了GUI-CURSOR，将 GUI 定位从静态的单步任务重构为动态的交互式搜索任务。

1. 交互式搜索环境

模型不是立即预测最终坐标，而是控制 GUI 图像上的虚拟光标。该过程按步骤序列运行：

观察：在每一步 $t$ ，模型观察带有当前光标位置 $(x_t, y_t)$ 的 GUI 截图。
推理与行动：模型生成包含思考过程（分析目标、当前光标位置及空间关系）的响应，随后是行动。该行动要么是移动光标的新坐标 $(x_{t+1}, y_{t+1})$ ，要么是在光标正确定位时发出 STOP 命令。
视觉反馈：环境将光标渲染在新位置，并为下一步提供更新的截图。这种显式的视觉反馈允许模型验证其预测并逐步完善其空间理解。

2. 基于强化学习的训练

模型在此交互式环境中使用组相对策略优化（GRPO）进行训练。训练目标依赖于定制的基于轨迹的奖励函数（ $R_T$ ），旨在指导最终准确性和搜索行为。

奖励函数包括：

位置奖励（ $r_p$ ）：基于最终光标位置与目标边界框之间距离的稠密奖励，同时考虑与边缘的接近程度和框内的中心性。
轨迹惩罚：为防止退化策略（例如立即停止而不移动、来回移动或远离目标），作者引入了四项具体惩罚：
- 错误停止惩罚（ $r_{FS}$ ）：当光标位于目标外部时停止，则予以惩罚。
- 错误移动惩罚（ $r_{FM}$ ）：当光标已进入目标框后继续移动，则予以惩罚。
- 错误方向惩罚（ $r_{FD}$ ）：惩罚那些使距离相对于初始预测增加至目标的移动。
- 重复位置惩罚（ $r_{RP}$ ）：惩罚预测同一坐标超过一次的行为。

3. 以光标为中心的聚焦（CCF）

为了在不产生过高计算成本的情况下高效处理高分辨率图像，作者引入了一种两阶段策略：

训练：图像被下采样至可管理的分辨率（例如 1920×1080）。
推理：对于大于训练分辨率的图像，模型首先在整个图像上进行粗略预测。然后，它以该预测为中心裁剪一个区域（保持训练分辨率），并在该聚焦视图中进行细粒度的移动。这平衡了训练效率与推理准确性。

主要贡献

GUI 定位的重构：本文将范式从静态坐标预测转变为动态交互过程，模型通过视觉反馈学习坐标与空间的对齐。
GUI-CURSOR 模型：引入了一个在交互式环境中通过强化学习训练的 GUI 定位模型，利用稠密的、感知轨迹的奖励函数来强制理性的搜索行为。
增强的空间推理：综合评估表明，通过移动光标学习 GUI 定位不仅提高了定位准确性，还增强了通用的空间推理能力，这些能力可泛化到分布外领域。

实验结果

作者在多个基准测试上评估了 GUI-CURSOR，包括ScreenSpot-Pro、OSWorld-G、UI-Vision和ScreenSpot-v2，使用的基座模型为Qwen2.5-VL-7B和UI-TARS-1.5-7B。

定位性能：GUI-CURSOR consistently 优于强基线模型（包括 SeeClick、UGround 等监督微调方法，以及 GTA1 等基于 RL 的方法）。值得注意的是，在具有挑战性的ScreenSpot-Pro基准测试上，基于 UI-TARS-1.5-7B 的 GUI-CURSOR 超越了领先模型GTA1达8.1%，尽管其使用的训练样本显著更少（8K 对比 64K）。
智能体任务：在OSWorld的在线智能体评估中，与 GTA1 相比，GUI-CURSOR 以更少的动作步骤实现了更高的成功率，证明了其在现实多样化场景中的有效性。
空间推理：
- 光标在框内测试：一项自定义测试显示，标准 VLMs（即使是微调过的）在简单的空间分类（判断光标是否在框内）方面表现挣扎，并表现出强烈的中心偏差。GUI-CURSOR 未针对此分类任务进行显式训练，却取得了显著更高的 F1 分数，表明其定位能力建立在更稳健的空间理解之上。
- 泛化能力：在SPHERE和SpatialMQA等基准测试上，GUI-CURSOR 在推理和组合技能方面表现出改进，表明交互式训练范式增强了超越 GUI 领域的空间推理能力。
效率：该模型学会仅在困难样本（例如小目标）上自适应地执行更多步骤，95% 的实例在两步内解决。

意义与主张

本文主张，这项工作的主要意义在于证明了视觉反馈循环对于在 VLMs 中将数值预测与空间现实对齐至关重要。通过将定位重构为搜索任务，模型学会了“思考”空间关系并修正其轨迹，而不是依赖单次猜测。

作者断言，这种方法：

解决了一步预测中固有的空间语义对齐问题。
提高了数据效率，使用更少的训练样本即可达到最先进（SOTA）的结果。
培养了更稳健的空间推理能力，可泛化至分布外任务，表明交互式搜索目标的能力是多模态智能体空间理解的基本组成部分。

该工作得出结论：通过移动光标学习 GUI 定位是开发能够有效导航和交互复杂数字界面的智能体的更优策略。