🤖 AI

VISTA: View-Consistent Self-Verified Training for GUI Grounding

VISTA 是一个基于 GRPO 的 GUI 定位训练框架，它通过从同一实例的多个保持目标的视图中构建比较组，并引入自验证跨视图锚点以稳定坐标生成，从而增强模型的性能和鲁棒性。

原作者： Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在电脑屏幕上点击按钮。机器人的任务是听取类似“点击‘导出’按钮”的指令，并将鼠标移动到完全正确的位置。

这篇论文介绍了一种名为 VISTA 的新训练方法，旨在帮助机器人做得更好。为了理解为什么 VISTA 特别，我们首先需要了解它所解决的问题。

问题所在：“旧视图”陷阱

此前，研究人员使用一种称为 GRPO 的方法来训练这些机器人。把 GRPO 想象成一位老师，一遍又一遍地向学生展示同一张电脑屏幕的照片，并要求他们找到那个按钮。

简单情况： 如果按钮很大且显眼，学生每次都能做对。老师会想：“太棒了！”但由于尝试之间没有任何差异，老师也学不到任何新东西。
困难情况： 如果按钮很小或被遮挡，学生每次都会失败。老师会想：“糟糕，”但同样学不到任何东西，因为每一次尝试都以完全相同的方式失败了。

在这两种情况下，老师都无法告诉学生如何改进，因为反馈缺乏多样性。这就像试图通过 100 次击打同一个位置的球来学习打网球一样；你永远无法学会如何去适应一个移动中的球。

解决方案：VISTA（“缩放与裁剪”老师）

VISTA 通过意识到无论你怎么看，一个按钮始终是同一个按钮，从而改变了游戏规则。与其反复向机器人展示相同的全屏图像，VISTA 会创建多个不同的“裁剪视图”（缩放或偏移后的视图）来展示同一个屏幕，并确保目标按钮始终可见。

以下是 VISTA 的工作原理，使用一个简单的类比：

1. “合影”类比（视图一致性组）

想象一下，你正在试图教你的朋友在停车场里找到一辆特定的红车。

旧方法： 你向他们展示 8 张整个停车场的宽幅照片。如果他们没找到车，他们会 8 次都找不到。如果他们找到了，他们会 8 次都找到。这不会产生学习效果。
VISTA 方法： 你向他们展示 8 张关于同一个停车场的不同照片。在其中一些照片中，镜头放大了；在另一些照片中，镜头向左或向右偏移了。红车都在所有照片里，但它在照片中的位置发生了变化。
- 在一张照片中，车很容易被发现。
- 在另一张照片中，它被一棵树部分遮挡了。
- 在第三张照片中，它就在角落里。

现在，机器人必须弄清楚：“好吧，车是同一辆，但在这张特定的照片里，它在哪里？”这迫使机器人去理解按钮的“概念”，而不仅仅是死记硬背一个坐标。这创造了一组包含正确和错误答案的“组”，从而为老师提供了用于改进机器人的有用数据。

2. “安全网”（自我验证锚点）

这种新方法存在一个风险：如果机器人被缩放照片中奇怪的角度搞糊涂了，它可能会开始胡乱猜测并导致失败频率增加。

为了解决这个问题，VISTA 加入了一个自我验证锚点（Self-Verified Anchor）。你可以把它想象成一个只在机器人准备好时才部署的安全网。

老师（计算机）会观察机器人的尝试。
如果机器人在 8 张照片中都完全无法找到按钮，老师就什么也不做。老师不会强加答案，因为机器人还没准备好。
然而，如果机器人在其中至少一张照片中正确找到了按钮，老师就会说：“啊哈！你证明了你能做到！”
只有到那时，老师才会展示“完美答案”（按钮的正中心）作为稳定的引导，以锁定这一成功。

这防止了机器人被迫去模仿它尚未理解的答案，同时也通过在它展现出能力时给予助力。

结果

论文在多个基准测试（如 ScreenSpot-Pro，这是一个寻找微小按钮的严苛测试）上测试了这种方法。

使用 VISTA 之前： 机器人（特别是 Qwen3-VL 模型）大约能完成 55% 的困难点击任务。
使用 VISTA 之后： 它们的表现跃升至 63% 到 67%（取决于模型大小）。

论文还指出，机器人的“鲁棒性”变得更强了。即使在测试期间屏幕被裁剪或从奇怪的角度观看，机器人也不太容易感到困惑或“翻转”其答案。

总结

VISTA 是一种更聪明的训练 AI 点击按钮的方法。它不再让 AI 对同一个静态图像进行重复练习，而是让它在同一图像的许多不同“视图”上进行练习。它只有在 AI 已经证明自己可以独立解决谜题时，才会给出“标准答案”（完美答案）。这使得 AI 更聪明、更具适应性，并且能更好地在混乱、真实的电脑屏幕中找到按钮。

技术摘要：VISTA（视图一致性自验证训练）用于 GUI 定位

1. 问题陈述

GUI 定位涉及将自然语言指令与截图映射到精确的点击坐标。虽然最近的工作已尝试将群体相对策略优化（GRPO）应用于此任务，并使用基于规则的“点在框内”（point-in-box）奖励，但作者指出一个关键的失效模式：奖励退化（reward degeneracy）。

在标准的 GRPO 中，一组采样（rollouts）是从单个固定的截图视图中抽取的。这导致了两种问题场景：

全失败组（All-Fail Groups）： 在困难实例上，所有采样的样本都未能击中目标，导致该组的奖励全部为零。
全成功组（All-Success Groups）： 在简单实例上，所有样本都击中了目标，导致该组获得全额奖励。

在这两种情况下，组均值 ( $\mu$ ) 和标准差 ( $\sigma$ ) 都会坍缩，导致所有样本的相对优势 ( $A$ ) 均为零。这消除了学习信号。作者指出，在固定视图的 GRPO 中，只有不到 5% 的训练组是“有信息量的”（即包含成功与失败的混合）。此外，由于 GUI 坐标与截图几何结构紧密耦合，即使目标仍然可见，在一个视图中正确的预测在经过裁剪后也可能变得错误。标准 GRPO 无法暴露这些几何敏感性，因为它没有在同一个比较组内改变输入视图。

2. 方法论：VISTA

论文提出了 VISTA（视图一致性自验证训练），这是一个基于 GRPO 的框架，旨在构建有信息量的比较组并稳定坐标生成。它由两个主要部分组成：

A. 视图一致性组采样（View-Consistent Group Rollout）

VISTA 并非从单个固定截图中抽取多个完成结果，而是通过构建来自同一 GUI 实例的多个保持目标的视图来构建每个 GRPO 组。

保持目标的裁剪（Target-Preserving Crops）： 对于给定的任务 $(I, q, B)$ ，系统生成 $K$ 个裁剪视图。每个裁剪视图都保证完整包含目标边界框 $B$ 。
精确重映射： 目标框坐标被几何地重映射到新的裁剪坐标系中。
组构建： 模型为每个视图生成 $n$ 个完成结果（其中 $K \times n = G$ ，即总组大小）。
益处： 这确保了该组包含语义等价的输入（相同的指令和目标），但具有不同的几何截图。这增加了在单个组内观察到混合结果（既有命中也有错过）的可能性，从而恢复了非零的相对优势。

B. 自验证跨视图锚点（Self-Verified Cross-View Anchor）

虽然多视图采样提高了探索能力，但它们可能会在坐标生成方面引入不稳定性，尤其是在存在歧义的视图上。为了解决这一问题而不回归到无条件的监督微调（SFT），VISTA 引入了一个自验证锚点。

条件激活： 只有当当前策略已经在组内产生了至少一个最大奖励完成结果时，才会引入预言机答案（即重映射后目标框的中心）作为训练信号。
基准排除： 预言机答案被排除在组均值 ( $\mu_m$ ) 和标准差 ( $\sigma_m$ ) 的计算之外。它被视为一个独立的监督信号。
机制：
- 如果该组是“自验证”的（包含一个成功的模型完成结果），则通过从模型自身基准中获得的正向优势来激活锚点。
- 如果该组是“全失败”的（没有模型完成结果成功），则不激活锚点。这防止了模型在尚未展示出解决该实例的能力时就向预言机学习，避免了学习信号坍缩为无条件的模仿。

C. 训练目标

最终的损失函数结合了标准的用于模型生成结果的裁剪 GRPO 目标，以及用于锚点的优势加权监督损失（当激活时）：
$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$
锚点损失仅在组被自验证时才进行计算，确保监督信号仅在策略已经表现出胜任能力时才稳定训练。

3. 核心贡献

视图一致性组采样： 一种新型的组构建策略，它从同一实例的多个保持目标的视图中进行采样，而不是来自单一固定视图。这显著增加了有信息量组的比例（从 <5% 提升至 ~20%）并恢复了奖励方差。
自验证跨视图锚点： 一种条件稳定机制，仅在模型已在组内至少一个视图中取得成功时注入预言机引导。这防止了锚点偏移 GRPO 基准或对无信息的“全失败”组进行监督。
全面的验证： 在五个基准测试（ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G）和多种模型规模（4B 到 30B+）上进行了广泛的实验。

4. 实验结果

论文报告了在 Qwen3-VL 主干网络（4B, 8B, 30B-A3B）和 Qwen3.5 初始化模型上的持续改进。

ScreenSpot-Pro 性能： VISTA 在这个具有挑战性的基准测试上显著提高了准确率，该测试的特点是目标小且界面密集。
- Qwen3-VL 4B： 从 55.5 提升至 63.4。
- Qwen3-VL 8B： 从 52.7 提升至 65.8。
- Qwen3-VL 30B-A3B： 从 53.7 提升至 67.0。
- Qwen3.5 35B-A3B： 从 71.7 提升至 72.9（与标准 GRPO 相比）。
鲁棒性： 与标准 GRPO 相比，VISTA 展示了更高的最差视图准确率和更低的预测翻转率，表明其在几何扰动下具有更好的稳定性。
消融研究：
- 去除视图一致性裁剪（使用标准 GRPO）会导致性能下降。
- 去除自验证门控（使用无条件预言机注入）会导致性能严重下降（例如，在一项消融实验中，ScreenSpot-Pro 从 64.3 降至 57.8），证实了条件激活的必要性。
- 两者的结合产生了最佳结果。

5. 意义与主张

论文声称 VISTA 解决了将 GRPO 应用于 GUI 定位时的根本瓶颈：由于视图不变的奖励退化导致的缺乏有信息量的相对优势。

设计重心的转移： 作者认为，提高 GUI 定位 RL 能力的关键不仅在于如何奖励一次点击，而在于如何构建比较组。通过在保持语义的同时改变视图几何结构，VISTA 迫使策略学习鲁棒的坐标生成，而不是记忆特定的像素位置。
无需模仿的稳定性： 自验证锚点允许模型从地面真值（ground-truth）引导中受益，而不会使 RL 过程变成无条件的模仿学习，后者可能会抑制探索。
泛化性： 该方法在不同模型规模和主干网络上均表现有效，表明视图一致性组构建是 GUI 定位任务中一种可泛化的训练信号。

作者总结道，VISTA 提高了准确性和鲁棒性，特别是在标准 GRPO 无法提供学习信号的困难实例上。他们承认了关于混合可操作/拒绝数据集以及优化对激进裁剪敏感性的局限性，并建议未来的工作可以采用自适应调度。