技术摘要：通过行为判别器（Behavior Judge）实现计算机使用智能体的规模化扩展

问题陈述

计算机使用智能体（Computer-use agents, CUAs）在自动化执行跨操作系统的日常数字任务方面具有巨大的潜力。然而，它们在长程、复杂问题上的表现仍不够可靠。核心挑战不仅在于解决单个步骤，而在于在数十甚至数百次交互中保持正确性。微小的错误会随时间累积，反馈往往具有延迟性，且环境噪声（如 UI 变化或延迟）会导致结果的高方差。

虽然先前的研究尝试在单次运行（rollout）内进行规模化（例如逐步的 Best-of-N），但这些方法在长程任务上的收益有限。另一种选择是“宽向扩展”（wide scaling）——即并行生成多个运行轨迹并从中选择最优者。然而，这种方法面临一个根本性的瓶颈：评估。智能体轨迹信息密度极高、是多模态的，并且通常存在多种有效的解决方案。由于大多数细节与任务成功无关，且脚本化的自动评估难以处理计算机使用任务中的细微差别，因此可靠地判断多个长程轨迹中哪一个是正确的非常困难。

方法论：行为判别器 (Behavior Judge, BJudge)

为了解决评估瓶颈并实现有效的宽向扩展，作者引入了 Behavior Judge (BJudge)。该框架将密集、原始的智能体轨迹转化为紧凑、可解释的表示形式，以促进候选方案之间的原则性选择。

1. 宽向扩展范式

与单次运行规模化不同，BJudge 使用一组基础策略 $\{\pi_m\}$ 生成多个候选轨迹 ($\tau$)。这些策略可以包括不同的模型，或者从同一模型进行随机解码以获取多样性。目标是选择使任务奖励 $R(\tau, I)$ 最大化的轨迹 $\hat{\tau}$。

2. 行为叙事生成

第一个关键组件是 行为叙事生成器 (Behavior Narrative Generator)。系统并没有将原始截图和动作直接输入给判别器，而是将每个转换过程 $(s_i, a_i, s_{i+1})$ 转换为“行为叙事” ($\phi_i$)。

• 事实提取： 视觉语言模型 (VLM) 分析动作前后的状态，以推导出描述智能体实际做了什么以及如何影响环境的事实。
• 视觉增强： 为了确保准确性，特别是针对指针交互（点击、拖拽），生成器会在动作前的截图中叠加标记，并在动作后的截图中提取缩放裁剪图。这有助于验证像素级的变化，并减少关于动作是否成功的幻觉。
• 叙事构建： 最终的叙事 $\tilde{\tau}$ 由初始状态、派生的事实序列和最终状态组成。它过滤掉了无关细节，同时保留了与任务相关的“动作-效果”摘要。

3. 比较行为评估器

第二个组件是 比较行为评估器 (Comparative Behavior Evaluator)。该模块不是独立地对轨迹进行排名，而是对行为叙事进行直接比较。

• 机制： VLM 评估器被提示使用单轮多选题 (MCQ) 格式同时比较所有候选叙事。
• 优势： 这种方法允许判别器在对比候选方案时引用并对比特定的事实，从而实现比独立排名更具洞察力的选择。它旨在实现高 token 效率，且比多轮锦标赛式的比较更快。

4. 改进的智能体框架 (Agent S3)

为了支持 BJudge，作者引入了基于 Agent S2 构建的改进基准框架 Agent S3。其关键架构变化包括：

• 扁平化策略 (Flat Policy)： 取消了层级化规划，转而采用扁平化策略，该策略可以根据当前指令和历史记录随时进行重新规划，充分利用了现代基础模型强大的上下文维护能力。
• 集成编程智能体 (Integrated Coding Agent)： 一个专门的编程智能体被原生集成到 GUI 智能体的动作空间中。当程序化编辑（例如批量文件操作、结构化解析）比直接进行 GUI 操作更高效时，可以调用该智能体。它在一个带有沙盒虚拟机 (VM) 的受限内循环中运行，并向 GUI 策略提供执行反馈。

核心贡献

1. 宽向扩展范式： 本文确立了只要存在有效的选择机制，通过从多个并行轨迹中进行仔细选择，可以显著提高 CUAs 的鲁棒性和覆盖范围。
2. Behavior Judge 框架： 一种新颖的系统，它将密集的轨迹转换为紧凑的行为叙事，并使用比较评估来选择最优解，解决了宽向扩展中的评估瓶颈。
3. 新的最先进水平 (SoTA)： 通过将 BJudge 与 Agent S3 基准结合，作者在 OSWorld 基准测试上实现了新的 SoTA。
4. 泛化能力： 该方法展示了对不同操作系统（Windows 和 Android）强大的零样本泛化能力。

实验结果

OSWorld 性能

在 OSWorld 基准测试（361 个任务，100 步限制）中，所提方法达到了 72.6% 的成功率。

• 这比之前的 SoTA (63.4%) 实现了 9.2% 的绝对提升。
• 它超越了报告的人类水平性能 (72.36%)。
• 通过使用 GPT-5 和 Opus 4.5 的集成，该系统表明有效的规模化可以将智能体能力推向超越人类在这些任务上的基准。

效率与消融实验

• Agent S3 效率： 与层级化的 Agent S2 相比，Agent S3 在提高 13.8% 成功率的同时，减少了 52.3% 的单任务 LLM 调用次数，并将任务完成时间缩短了 62.4%。
• 表示法消融： 行为叙事显著优于其他表示法。与“仅截图”基准 (56.0%) 和“轨迹摘要”基准 (55.0%) 相比，行为叙事达到了 60.2% 的成功率（使用 GPT-5 Mini），实现了 3.4% 的绝对增益。
• 选择策略： 在不同的运行预算下，BJudge 的表现均优于适配后的独立排名方法（如 WebJudge），证明了比较评估对于规模化选择是必要的。

泛化性

• WindowsAgentArena： BJudge (N=3) 相比 Agent S3 基准实现了 6.4% 的提升（在 100 步时为 56.6% vs 50.2%）。
• AndroidWorld： BJudge (N=3) 相比 Agent S3 基准实现了 3.5% 的提升（71.6% vs 68.1%）。

模型集成

对混合模型集成的实验表明，多样性是任务覆盖的关键。GPT-5 和 Claude Opus 4.5 的组合产生了最高的成功率 (71.6%)，而最多样化的混合（包含所有测试的模型）则实现了最高的任务覆盖率 (Pass@N) 为 80.5%。

意义与主张

本文声称，规模化计算机使用智能体的主要障碍不是生成解决方案，而是对这些解决方案进行评估与选择。通过引入 Behavior Judge，作者提供了一个能够使宽向扩展发挥作用的实用框架。

作者强调，有效的规模化需要结构化的轨迹理解与选择。如果仅仅是生成更多的运行轨迹而没有稳健的比较机制，收益将会递减。BJudge 通过将嘈杂的原始轨迹抽象为高层级的行为叙事解决了这一问题，使得系统即使在复杂的长程环境中也能识别出正确的路径。

结果表明，通过正确的框架，CUAs 不仅可以达到而且可以超越人类在复杂桌面自动化任务上的表现，这为实现可靠、自动化的数字工作流提供了一条可行路径。作者指出，这些结果依赖于可以进行独立运行的受控环境（虚拟机），并承认直接部署在真实的活跃用户桌面环境时，在状态隔离方面仍面临额外挑战。