🤖 AI

Task-Adaptive Rubrics for GUI Reward Modeling

本文介绍了 AdaptRubric，这是一个由粗到精的框架，它通过类别级检索和实例级细化来动态构建任务自适应的评判标准，从而增强了 GUI 奖励建模，并与现有方法相比，显著提高了奖励评估准确度和任务成功率。

原作者： Tao Xiong, Xavier Hu, Wenkai Wang, Qinzhuo Wu, Changqiao Wu, Pengzhi Gao, Wei Liu, Jian Luan, Shengyu Zhang

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tao Xiong, Xavier Hu, Wenkai Wang, Qinzhuo Wu, Changqiao Wu, Pengzhi Gao, Wei Liu, Jian Luan, Shengyu Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个能够观察屏幕、理解人类请求并点击正确按钮来完成工作的计算机程序。这就是现代图形用户界面（GUI）智能体的愿景——一个能够驾驭手机和电脑复杂界面的数字工作者。但为了让这些智能体学习并改进，它们需要一位老师。在人工智能的世界里，这位老师是一个观察智能体行为并判定其成功或失败的奖励系统。如果智能体成功设置了定时器或发送了电子邮件，老师会给予一个“做得好”的信号；如果智能体点错了按钮或未改变某项设置，老师必须说“再试一次”。这种反馈的质量至关重要；一个过于模糊或过于严苛的老师会让学生感到困惑，导致它永远无法学会正确的行为方式。

长期以来，这些数字老师一直面临着一个特定的问题：它们经常忽略人类实际要求的细节。它们可能会看到屏幕上的某个数字发生了变化，便假设任务已完成，即便改变的是错误的数字；或者它们可能会忽略关于将一段文本放置在何处的具体指令。由 Tao Xiong 和 Shengyu Zhang 领导的研究团队意识到，这些老师判断成功的方式过于僵化。它们要么使用适用于每项任务的通用清单，要么依赖于计算机对重要事项的自我猜测。这两种方法都会导致错误，即计算机认为自己成功了，而实际上却失败了，反之亦然。

为了解决这个问题，该团队开发了一种名为 ADAPTRUBRIC 的新方法。可以将它想象成一个为每一项任务创建定制评分标准的两步走过程。首先，系统查看用户的请求，并确定该请求属于哪种广泛的工作类别，例如“发送消息”、“更改设置”或“删除文件”。对于这些类别中的每一个，系统都有一套预先编写的规则，涵盖了常见的陷阱和标准要求。这是“粗粒度”阶段，它提供了一个坚实的基础，确保老师了解任务的一般边界。

但系统并未止步于此。在第二步“细粒度”阶段，它会仔细观察当前请求的具体细节。如果用户要求将设置更改为恰好五十，系统会增加一条特定规则来检查这个数字。如果用户要求将文件移动到特定文件夹，系统会增加一条规则来验证目的地。这使得老师能够针对当下的独特约束进行即时调整。研究人员在包括 Windows、macOS、Android 和 Web 在内的不同操作系统上的各种任务中测试了这种新方法。他们发现，通过将广泛的类别规则与具体的、任务自适应的细节相结合，系统在判断成功方面变得显著更好。

结果是清晰且可衡量的。在对超过 1,400 次不同任务尝试的基准测试中，新方法正确识别任务成功或失败的准确率达到了 86.7%。这比以往经常出现较大偏差的方法有了明显的进步。更重要的是，研究人员利用这个更聪明的老师在真实环境中训练了一个 AI 智能体。当智能体从 ADAPTRUBRIC 提供的反馈中学习时，它独立完成任务的能力变得更强，其成功率比使用旧的、不够精确的奖励系统训练时高出了 4.23 个百分点。

这项研究还强调了旧方法失效的具体之处。在一个特定的例子中，用户要求智能体在数字笔记的最顶端添加一段问候语。智能体确实添加了问候语，但它将其放在了文本的底部。旧的老师由于只关注文本是否出现，便将其标记为成功。然而，新系统识别出指令明确要求文本必须在顶部，因此正确地将该尝试标记为失败。这种区分“发生了某事”与“以正确的方式完成了正确的事”的能力，正是其区别所在。通过构建一个既能覆盖通用任务又足够敏锐以捕捉特定细节的评判系统，研究人员为 AI 智能体如何从错误中学习并精通数字世界提供了一种更可靠的方式。

技术摘要：面向 GUI 奖励建模的任务自适应评分标准

1. 问题陈述

近期 GUI（图形用户界面）智能体的进展高度依赖于结果奖励模型（Outcome Reward Models, ORMs），用于评估执行轨迹是否满足用户指令。然而，现有的奖励验证器存在一个关键局型限制：判别标准定义不足（under-specified judging criteria）。

目前的方法主要分为两类，两者都缺乏任务自适应性：

静态模板（Static Templates）： 使用固定的评分结构。虽然稳定，但过于通用。它们可能验证任务是否“完成”，但无法根据当前指令中定义的特定目标、所需数值、操作范围或输出格式来调整检查内容。
隐式推理（Implicit Reasoning）： 依赖模型的内部推理而没有明确的边界。这提供了灵活性，但存在忽视特定指令细节或引入非原定任务约束（范围蔓延/scope creep）的风险。

核心问题在于，验证器必须在分配奖励之前，从用户指令中推导出显式的、任务自适应的判别标准。若缺乏这一步，验证器可能会错误地将轨迹判定为成功（例如：仅验证了内容的呈现，却忽略了特定的位置约束），或者因强制执行未说明的要求而过于严苛。

2. 方法论：ADAPTRUBRIC

作者提出了 ADAPTRUBRIC，这是一个由粗到细的评分标准框架（Coarse-to-Fine Rubrics Framework），旨在通过两个阶段构建任务自适应的判别标准。该框架通过将类别级的粗略评分标准与实例级的精细评分标准相融合，来引导视觉语言模型（VLM）验证器。

2.1 第一阶段：类别级粗略评分标准检索

此阶段根据任务类型建立验证边界。

分类法构建： 作者定义了一个包含 8 个 GUI 任务类别的分类法（如 info_query、create_modify、delete_cleanup、communication、transfer、state_navigation、composite_workflow、general）。
评分库（Rubric Bank）： 使用基于 LLM 辅助的归纳程序，在开发轨迹池上离线构建了一个固定的评分库。每个类别条目 ( $E_c$ $E_{c}$ ) 包含：
- 验证步骤： 该类别的标准流程。
- 常见陷阱： 典型的失败模式。
- 特殊规则： 特定领域的约束。
- 输出格式： 结构化的响应要求。
路由： 在推理时，任务路由器 ( $g_\phi$ ) 根据指令 $I$ 预测类别 $c$ 。系统从库中检索相应的粗略评分标准 ( $R_c$ )。如果未识别出特定类别，则回退到通用评分标准。

2.2 第二阶段：实例级精细评分标准生成

此阶段将粗略评分标准适配到当前指令的具体约束中。

生成器： 精细评分标准生成器 ( $h_\psi$ ) 以指令 $I$ 、预测的类别 $c$ 和粗略评分标准 $R_c$ 作为输入。
约束条件： 生成器被限制只能产生一个紧凑的列表，且项数最多为两个 ( $|R_f| \le 2$ $∣ R_{f} ∣ \leq 2$ )。
- 指令落地（Instruction Grounding）： 每一项精细标准必须由用户指令中明确的短语或数值支持。
- 弃权机制： 如果不需要额外的特定线索，生成器可以返回空集 ( $R_f = \emptyset$ )，以防止引入幻觉约束。
输出： 结果是一组紧凑的、实例级的线索 ( $R_f$ )，强调具体的数值、范围或约束（例如：“添加到笔记的顶部”而非仅仅是“添加文本”）。

2.3 准则融合与奖励验证

融合： 最终的判别准则 $R$ 通过将精细评分标准附加到粗略评分标准上来形成： $R = R_c \oplus R_f$ 。这在保留类别级边界的同时，增加了指令特定的细节。
上下文选择： 上下文选择器 ( $\sigma$ ) 从完整轨迹中提取紧凑的轨迹上下文 $\tau'$ （例如：初始状态、最终状态以及高信号动作帧）。
验证： 融合后的准则 $R$ 、指令 $I$ 和上下文 $\tau'$ 被传递给 VLM 验证器 ( $f_\theta$ )，以预测二元结果奖励 ( $\hat{r} \in \{0, 1\}$ )。

3. 核心贡献

形式化定义： 本文对 GUI 结果奖励建模中的任务自适应准则构建问题进行了形式化定义，强调了在分配奖励前从指令中推导显式准则的必要性。
框架 (ADAPTRUBRIC)： 引入了一个由粗到细的框架，该框架结合了可重用的类别级评分标准与紧凑的、基于指令落地的实例级评分标准。
实证验证： 通过全面评估证明，显式构建任务自适应的判别标准可以提高离线奖励辨别能力以及下游在线强化学习（RL）的性能。

4. 实验结果

4.1 离线奖励辨别 (OGRBench)

在 OmniGUIRewardBench (OGRBench) 上，涵盖五个平台（Ubuntu, Mobile, Windows, macOS, Web），使用多种 Qwen 和 Gemini 后端进行评估。

性能： ADAPTRUBRIC 实现了 86.7% 的准确率和 86.6% 的 F1 分数。
提升： 在匹配 10 张截图图像预算的情况下，它比基准平均水平（ZeroGUI 和 OS-Themis）的 F1 分数提高了 3.6 个百分点。
召回率增益： 主要的提升来自于召回率（从 80.2% 提高到 86.5%），表明该方法能够在不牺牲精确度的情况下成功找回更多的正样本轨迹。
一致性： 该方法在所有平台和评判后端上均优于基准模型。

4.2 在线强化学习

在 MobileWorld 环境中使用 ClawGUI 框架进行 GRPO 优化进行评估。

设置： 在训练循环中用 ADAPTRUBRIC 替换奖励智能体，同时保持策略后端（MAI-UI-8B）和训练协议不变。
结果： 使用 ADAPTRUBRIC 作为奖励验证器，任务成功率实现了 4.23 个百分点的绝对提升（从 19.70% 上升至 23.93%），优于所有对比的奖励智能体（DigiRL, ZeroGUI, OS-Themis）。

4.3 奖励引导的测试时缩放 (Test-Time Scaling)

在包含 113 个 AndroidWorld 任务的异构池中进行评估，每个任务有 10 个候选轨迹。

选择协议： 测试了 EarlyStop（低延迟）和 BestOfN（批处理）选择方案。
结果： ADAPTRUBRIC 相比随机选择取得了最大增益：EarlyStop@7 提升了 11.88 个百分点，BestOfN@8 提升了 13.28 个百分点。
效率： 它保持了较低的假阳性率（11.17%），与保守的 OS-Themis 基准相当，同时在准确率和 F1 分数上显著优于其他模型。

4.4 消融实验与效率

消融实验： 移除粗略或精细任一组件都会导致 F1 下降 2.0 个百分点。如果两者都移除（仅依赖图像和指令），F1 会下降 5.9 个百分点，这证实了两个阶段之间的互补性质。
效率： ADAPTRUBRIC 提供了最佳的质量-成本权衡，在使用比 OS-Themis 和 ZeroGUI 少得多的 Token 和运行时间的同时，实现了更高的准确率。

5. 重要性与主张

本文主张，显式构建任务自适应的准则对于可靠的 GUI 奖励建模至关重要。

动机： 作者认为，通用的模板或隐式推理是不够的，因为它们无法同时兼顾保留任务类别的验证边界并适配特定指令的具体约束。
影响： 通过结合类别级边界（通过粗略评分标准）与实例级线索（通过精细评分标准），ADAPTRUBRIC 使验证器能够正确识别基准模型会错过的失败情况（例如，如“Hello, World!”案例研究所示，验证了内容但忽略了位置约束）。
下游价值： 改进的奖励信号直接转化为更好的策略优化，这表明高质量的奖励准则是当前 GUI 智能体训练的瓶颈。

作者对局限性保持了谦逊的态度，指出分类法是在离线状态下固定的，可能无法捕捉到每一种新兴的应用或特定领域的流程，且尽管评估是跨平台的，但并未穷尽所有可能的界面设计。