技术摘要：基于人类演示的计算机使用智能体对齐（GROUNDCUA 与 GROUNDNEXT）

问题陈述

开发能够代表用户操作软件的可靠计算机使用智能体（Computer-Use Agents, CUAs），其核心在于对齐（grounding）：即能够将自然语言指令准确地映射到特定的屏幕 UI 元素上。尽管针对 Web 和移动端交互存在大量数据集，但针对桌面环境的高质量资源仍然非常有限。桌面应用面临着独特的挑战，包括高分辨率显示器、密集的布局、视觉相似的元素，以及在训练期间未曾见过的用户特定人工制品所带来的变异性。现有的自动化数据集通常存在辅助功能信号不完整、小图标控制项代表性不足，以及缺乏精确定位所需的细粒度标注等问题。因此，当智能体无法识别出所需的精确按钮、菜单项或控件时，往往无法正确执行计划。

方法论

1. GROUNDCUA 数据集

为了解决高质量桌面数据匮乏的问题，作者推出了 GROUNDCUA，这是一个源自专家演示的大规模、人工标注的数据集。

• 数据收集： 该数据集包含来自 87 个开源应用程序（涵盖 12 个类别，如 Office、开发、CAD、科学计算）的 56,000 张截图。不同于以往依赖自动遍历或随机状态生成的做法，该数据由受过训练的标注员通过执行真实任务（例如编辑电子表格、运行模拟实验）来收集。
• 标注过程： 提取了用户动作发生前一刻的关键帧。标注员提供了 356 万个经人工验证的标注，为每个可见元素标注了边界框（bounding boxes）、文本名称和类别。大约 50% 的元素被分配到了高层类别（如菜单、按钮、滑块）。
• 指令生成： 利用密集的标注（边界框、OCR、上下文），作者构建了一个 70 万条指令微调数据集。指令生成了三种类型，以模拟现实世界的多样性：
  • 直接型 (Direct)： 描述属性或文本（例如，“点击‘保存’按钮”）。
  • 功能型 (Functional)： 侧重于动作（例如，“打开一个新标签页”）。
  • 空间型 (Spatial)： 使用相对位置（例如，“点击‘文件’左侧的图标”）。
• 规模与多样性： 该数据集具有高分辨率图像（0.39M 至 7.0M 像素），且平均每张截图有 64 个标注，其密度显著高于现有基准。它包含了容易被自动化流水线忽略的细粒度元素，如小型图标和工具栏。

2. GROUNDNEXT 模型家族

作者开发了 GROUNDNEXT，这是一系列基于 Qwen2.5-VL-Instruct 的视觉语言模型（参数量分别为 3B 和 7B），旨在将指令映射到目标 UI 坐标。

• 第一阶段：监督微调 (SFT)： 模型在从 GROUNDCUA 整理出的 70 万个指令-图像对上进行训练。视觉编码器和语言模型均进行了微调。
• 第二阶段：强化学习 (RL)： 使用 相对留一法 (Relative Leave-One-Out, RLOO) 优化进行后训练阶段。
  • 奖励函数： 一个定制的离散奖励，基于预测坐标与真实边界框之间的归一化距离。预测落在框内的获得正向奖励，落在框外的则根据其距离受到惩罚。
  • 数据： 使用了 10,000 个新样本（与 SFT 集不同）进行 RL，以确保泛化能力。

核心贡献

1. GROUNDCUA 数据集： 目前规模最大的专家标注桌面对齐数据集，拥有 56,000 张截图、356 万个以上的元素，并具备跨 87 个应用程序的高分辨率多样性。它填补了密集、细粒度桌面监督数据的空白。
2. GROUNDNEXT 模型： 一个通过两阶段 SFT+RL 流水线训练的 3B 和 7B 模型家族。它们在桌面基准测试中实现了最先进（SOTA）的性能，且使用的训练样本（700K SFT + 10K RL）显著少于之前使用数百万样本训练的模型。
3. 效率与泛化性： 该工作证明了高质量、专家驱动的数据可以优于规模更大但精度较低的数据集。尽管仅在桌面数据上进行训练，这些模型在移动端和 Web 环境中也表现出了强大的跨平台泛化能力。

结果

基准测试

模型在五个基准测试上进行了评估：ScreenSpot-Pro、OSWorld-G、UI-Vision、MMBench-GUI 和 ScreenSpot-v2。

• SFT 性能： GROUNDNEXT-3B (SFT) 取得了 66.4 的平均分（包含 UI-Vision）和 68.4 的平均分（不含 UI-Vision），大幅领先于下一个最佳的 3B SFT 基准模型（GUI-Actor-3B，领先幅度为 +12.1 分）。GROUNDNEXT-7B (SFT) 在 7B SFT 组中同样处于领先地位。
• RL 性能： 加入 RL 后进一步提升了结果。GROUNDNEXT-3B (RL) 达到了 68.4 (平均值)，而 GROUNDNEXT-7B (RL) 达到了 70.5。
• 对比： 尽管使用的 SFT 数据量不到 JEDI（900 万样本）的十分之一，GROUNDNEXT 依然超越了现有的 SFT 基准模型，并与经过 RL 微调的系统保持了竞争力。

智能体性能（OSWorld 验证）

在以 OpenAI o3 作为规划器的多步智能体设置下进行评估：

• GROUNDNEXT-3B (RL) 取得了 50.6 的总分，显著优于其他 3B 开源模型（例如 OpenCUA-A3B 为 17.7），并超越了更大的模型如 OpenCUA-72B (46.1) 以及闭源 API 如 Qwen3-VL-Flash (41.6)。
• 它取得了与 JEDI-7B (51.0) 相当的性能，尽管其规模不到后者的一半，展示了极高的实际应用价值。

分析

• 数据质量 vs. 数量： 在来自各种数据集（Aguvis, UGround, JEDI 等）的 100K 样本上训练相同的基座模型表明，GROUNDCUA 带来了最高的性能，证实了密集的专家监督比单纯的原始规模更有效。
• RL 增益： RL 提供了适度但持续的改进。在 SFT 阶段使用 GROUNDCUA 训练的模型在 RL 阶段的增益较小，这表明 SFT 数据本身已经具有高度的信息量。
• 跨领域： 模型在移动端和 Web 界面（MMBench-GUI, ScreenSpot-v2）上也表现出良好的泛化性，尽管在 Web 任务上的表现略低于桌面端，这表明未来需要整合多领域数据。

重要性与主张

论文声称，高质量、专家驱动的数据集对于推进通用计算机使用智能体至关重要。核心结论是，数据质量和密度可以替代原始的数据规模。通过专注于对真实世界桌面交互进行人工验证和细粒度标注，作者证明了较小的模型可以通过高效的训练实现卓越的对齐性能。

这项工作将 GROUNDCUA 和 GROUNDNEXT 定位为面向开源研究社区的基础资源，旨在解锁可靠、可适应智能体的核心能力。作者强调，虽然目前的 RL 奖励设计较为简单，但 GROUNDCUA 中的密集标注为开发更精确的奖励信号奠定了基础。他们还强调了数据集中使用开源应用程序的重要性，以确保对现实世界软件功能的广泛且符合许可要求的覆盖。