🤖 AI

ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents

该论文介绍了 ENVS，这是一个在训练阶段利用实时 OSWorld 环境来生成经过验证且全局均衡的监督信号的搜索与过滤流水线，旨在为 GUI 智能体实现更优的性能和计算效率，以应对长程任务，并展示出对现实桌面中断更强的鲁棒性以及更好的视觉推理能力保持能力。

原作者： Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试教一个机器人如何使用电脑。机器人需要学习如何点击、打字以及操作窗口来完成任务，比如“预订机票”或“编辑文档”。

问题在于，计算机环境非常混乱。如果机器人犯了错，它往往直到任务结束时才知道是哪一步导致了失败，而那时为时已晚，无法修复。此外，通过让机器人在真实电脑上运行数千种场景来进行测试，速度极其缓慢且成本高昂（就像为了看一个机器人失败而专门租用一台超级计算机一样）。

这篇论文介绍了一种名为 ENVS（环境原生验证搜索，Environment-Native Verified Search）的新方法来解决这个问题。以下是它的工作原理，使用了简单的类比：

1. 旧方法：“在黑暗中试错”（在线强化学习，Online RL）

把旧方法（称为 Online RL）想象成一个学生试图通过亲自开车并到处乱开，直到撞车来学习驾驶。

他们开车、撞车、重置，然后再次尝试。
他们只有在行程结束时才会得到一个“通过”或“失败”的结果。
如果他们撞车了，他们不知道是因为转弯太早、刹车踩得太重，还是因为看错了路标。
这需要耗费大量的时间（计算资源）和燃料（金钱）。

2. 新方法：“模拟实验室”（ENVS）

作者提出了另一种方法。与其让机器人在现实中开车，不如建立一个模拟实验室，在机器人真正坐到驾驶位之前，测试每一种可能的转向。

分支展开： 想象机器人在一个十字路口。系统并没有只让它选择一条路，而是同时派出 32 个“侦察兵”（虚拟机器人）沿着不同的路径前进。
聚合相似动作： 如果有 20 个侦察兵向左转，10 个向右转，系统就会意识到“向左”是更受欢迎、更可能是正确的动作。于是，它会将精力集中在那里。
“验证”过滤器： 系统会检查每条路径的终点。侦察兵是否成功预订了机票？
- 是：太棒了！我们将这条路径保存为“金标准”教案。
- 否：我们丢弃这条路径。我们不会浪费时间去教机器人如何失败。
结果： 机器人随后仅在这些“金标准”路径上进行训练。它不是从一堆撞车记录中学习，而是从一个精选的成功案例库中学习。

3. “噪声”基准测试：“分心的办公室”

论文还引入了一个新的测试，叫做 OSWORLD-NOISY。

场景： 想象你正在处理一份文档，但每隔几分钟，就会有同事走过并大声叫喊，或者弹出广告遮住了你的屏幕，或者电话响了起来。
测试： 机器人能否忽略这些噪声，关闭弹窗，并回到工作中？
发现： 使用这种新的“模拟实验室”方法（ENVS）训练出的机器人，比使用旧的“试错”方法训练出的机器人，在处理这些干扰方面表现得更好。因为它在训练数据收集过程中已经见过这些中断，所以它学会了如何“重新聚焦”和“等待”。

4. 为什么这很重要（结果）

论文声称 ENVS 取得了三个主要的胜利：

更聪明： 它正确解决了更多的任务（成功率为 30.3%），相比之下，旧方法（成功率为 26.7%）表现较差。
更便宜： 它使用了显著更少的计算能力（减少了约 25%），因为它不需要一遍又一遍地重新运行失败的实验。
更鲁棒（稳健）： 它不仅在主任务上做得更好，而且在其他技能（如理解视觉谜题）上也变得更强了，因为训练数据的质量更高，并且包含了“噪声”场景。

总结

可以将 ENVS 想象成一位老师，他不仅仅是让学生参加考试并看他们通过还是失败。相反，老师首先运行一千场练习考试，过滤掉那些让学生感到困惑的考试，然后从成功的尝试中制作出一份完美的学习指南。随后，学生只学习这份完美的指南，从而学得更快、花费更少的时间，并且在面对嘈杂、容易分心的课堂时准备得更加充分。

技术摘要：ENVS：面向长程 GUI 智能体的环境原生验证搜索

1. 问题陈述

本文探讨了训练多模态智能体以控制真实软件图形用户界面（GUI）的挑战。尽管基础模型在界面理解方面取得了进展，但在真实的桌面环境中执行长程、精确的鼠标和键盘动作序列仍然非常困难。其核心瓶颈在于：

稀疏且延迟的反馈： 在 OSWORLD 等环境中，反馈通常仅在轨迹结束时提供一个二元的成功/失败信号。失败的轨迹无法揭示究竟是哪一个具体的中间动作导致了失败。
高昂的 Rollout 成本： 获取反馈需要在实时的虚拟机（VM）中执行动作，这在计算上非常昂ous且缓慢。
在线强化学习（Online RL）的低效性： 当前的方法，如 ARPO（自适应强化策略优化）和基于树搜索的方法（如 SEEA-R1），通常将轨迹发现与策略更新耦合在一起。这导致了以下问题：容易完成的任务占据了过多的梯度信号，长轨迹被过度代表，且难以控制跨任务和不同轨迹长度的全局梯度质量分配。

2. 方法论：ENVS

作者提出了 环境原生验证搜索（ENVS），这是一个在训练阶段将轨迹发现与策略优化解耦的框架。ENVS 并不使用在线强化学习（RL），而是在训练开始前构建一个经过验证且平衡的监督数据集。

核心流水线

行为差异门控搜索（Behavioral-Disagreement-Gated Search）：
- 系统在实时的 OSWORLD 虚拟机中使用冻结的基础策略进行搜索。
- 在每一步，系统采样 $K$ 个候选动作，并将它们简化为粗粒度的“行为指纹”（例如：动作类型 + 离散化的坐标或文本）。
- 候选动作按指纹进行分组。系统探索具有最高一致性（多数派动作）的前 $k$ 个桶，同时剪枝少数派动作。这确保了搜索过程专注于具有行为差异性的路径，而非仅仅关注 Token 噪声。
虚拟机边界搜索（VM-Bounded Search）：
- 不同于假设模拟成本极低的经典蒙特卡洛树搜索（MCTS），ENVS 在实时桌面环境中运行，而在其中重复访问状态的成本很高。
- 它使用显式的成本门控取代了自适应选择（UCB/PUCT）：包括每个任务的分支预算、每步上限以及硬性的步数截断。它不使用学习到的价值函数。
环境验证与过滤：
- 一旦轨迹到达叶节点，OSWORLD 任务判别器会分配一个二元奖励（ $R(\tau) \in \{0, 1\}$ ）。
- 失败的轨迹会被丢弃。成功的轨迹会被分解为每步的监督样本 $(x, o_{\le t}, a_t)$ ，从而将稀疏的终端成功转化为稠密的动作级监督。
监督数据的全局平衡：
- 收集到的数据集天然存在不平衡现象（容易的任务产生大量成功；困难的任务产生极少成功）。
- ENVS 在训练前应用一种重加权方案。任务 $i$ 的权重 $w_i$ 计算如下：
  $w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$
  其中 $SR_i$ 是搜索成功率， $T_i$ 是步数。这种方法将梯度质量转向困难任务，并针对轨迹长度进行归一化，防止容易的任务主导训练信号。

OSWORLD-NOISY 基准测试

为了评估鲁棒性，作者引入了 OSWORLD-NOISY，这是一个动态基准测试，在任务执行期间注入可恢复的桌面中断（例如：弹窗、焦点变化、后台对话框）。

约束条件： 扰动是“非破坏性”的；它们不会触及任务相关的文件，也不会向目标窗口传递输入，从而确保任务仍然是可解的。
调度方式： 在训练期间，噪声强度随任务成功率进行缩放（较难的任务接收较少的噪声）。评估时则使用固定的、针对留出集扰动的确定性调度。

3. 核心贡献

ENVS 框架： 一个利用环境本身来验证成功轨迹，并将其转化为全局平衡监督数据的搜索与过滤流水线。它将发现过程与优化过程分离，从而实现了对梯度分配的显式控制。
OSWORLD-NOISY： 一个新的基准测试，用于测试 GUI 智能体针对现实中可恢复的桌面中断的鲁棒性，同时保留了原始任务的功能。
效率与鲁棒性： 证明了经过验证的搜索可以比在线 RL 以更少的计算量实现更高的准确率，同时保留视觉推理能力。

4. 实验结果

实验在包含 300 个 OSWORLD 任务（86 个可训练任务，214 个留出任务）的池中进行，使用的是 UI-TARS-1.5-7B 基础模型。

干净环境表现： ENVS 在干净的 OSWORLD 上达到了 30.3% 的 pass@8，优于基础模型（22.7%）和 ARPO（26.7%）。
噪声鲁棒性： 在 OSWORLD-NOISY 上，ENVS 达到了 29.0% 的 pass@8，显著优于基础模型（20.3%）和带噪声的 ARPO（21.7%）。值得注意的是，噪声 ARPO 在干净任务上的表现有所下降，而 ENVS 在两种条件下均保持了高性能。
计算效率： ENVS 需要 138–153 GPU 小时，而匹配的 ARPO 基线需要 184–192 GPU 小时。这种效率源于 ENVS 仅需收集一次经过验证的轨迹并将其用于监督微调（SFT），而 ARPO 在每个训练步骤都需要进行新鲜的在策略（on-policy）Rollout。
数据效率： 仅使用收集到的搜索数据的 30%，ENVS 就达到了 27.0% 的 pass@8，追平或超过了在全量数据集上训练的 ARPO。
能力保留： 在噪声环境下训练更好地保留了辅助视觉推理能力。例如，在 OSWORLD-G Refusal 基准测试中，噪声 ENVS 得分为 16.7%，而干净 ENVS 仅为 1.9%，这表明中断提供了有用的监督，有助于智能体学习重新聚焦、等待和恢复。

5. 重要性与主张

本文声称 ENVS 通过将轨迹发现与策略更新解耦，提供了优于在线 RL 的结构性优势。这使得以下目标成为可能：

全局梯度控制： 能够限制过度代表的简单任务，并提升稀有成功任务的权重，解决了在线 RL 中固有的“二项分布退化”和梯度不平衡问题。
熵值保留： 与容易导致熵崩溃（动作分布变窄）的在线 RL 不同，ENVS 通过在多样化的已验证轨迹上进行训练，保持了更高的动作熵，从而带来了更好的泛化能力。
高性价比训练： 通过将昂贵的环境交互摊销到已验证的数据集中，ENVS 在提高性能的同时降低了计算成本。
通过中断提升鲁棒性： 结果表明，动态扰动不仅是压力测试，更是监督信息的来源，帮助智能体学习如何重新聚焦、等待和恢复，而不会牺牲干净环境下的任务完成能力。

作者总结道，环境原生训练可以使智能体训练变得更便宜且更具复用性，尽管他们也指出，该方法在噪声的合成性质以及 OSWORLD 环境特定的基础设施要求（并行虚拟机、可靠的重置机制）方面存在局限性。