Safe and Scalable Web Agent Learning via Recreated Websites

本文提出了 VeriEnv 框架，通过利用语言模型自动将真实网站克隆为可执行且可验证的合成环境，使智能体能够在安全、可扩展且无需启发式评判的条件下进行自我演化训练，从而显著提升其在未见网站上的泛化能力与特定站点掌握度。

要点

这篇论文介绍了一个名为 VERIENV 的新框架，它的核心目标是让 AI 智能体（Web Agent）能够更安全、更高效地学习如何操作网页。

为了让你轻松理解，我们可以把这篇论文的故事想象成**“教一个新手司机开车”**。

1. 过去的困境：在真实车流中练车（不安全且低效）

想象一下，如果你想教一个刚拿到驾照的新手（AI 智能体）如何开车，传统的做法是直接把他扔到真实的城市街道（真实的互联网网站）上。

• 危险（Unsafe）： 新手可能会撞车、闯红灯，或者不小心把别人的车刮了（AI 可能会误删数据、骚扰真实用户或违反网站规则）。
• 无法重置（Hard to Reset）： 在真实世界里，一旦撞了车，你没法按个按钮就让时间倒流，把路障和车辆都变回原样。每次练习都要等很久。
• 评分模糊（Unverifiable）： 怎么判断新手开得对不对？以前是靠一个“教练”（大语言模型）凭感觉打分。教练可能会看走眼，比如新手其实开错了，但教练觉得“看起来挺像那么回事”就给满分。这种评分不可靠，新手就学不到真本事。

2. VERIENV 的解决方案：建造一个完美的“赛车模拟器”

VERIENV 的做法完全不同。它不直接把新手扔上真实街道，而是先建造一个一模一样的“赛车模拟器”。

• 克隆网站（Recreating Websites）：
  论文里的“代码特工”（Coding Agent，一种会写代码的 AI）会像3D 建模师一样，把真实的网站（比如亚马逊、谷歌财经）完整地“克隆”到一个虚拟的实验室里。

  • 这个虚拟网站不仅有漂亮的前台（界面），还有后台（数据库和逻辑）。
  • 最重要的是，这个模拟器是完全可控的。你可以随时按“重置键”，让一切回到初始状态，就像游戏里的存档读档一样。

• 内部透视眼（Python SDK）：
  在真实网站里，你只能看到屏幕上的东西。但在 VERIENV 的模拟器里，AI 拥有一副**“透视眼镜”**（通过 Python SDK 访问内部数据库）。

  • 当 AI 完成任务时，系统不需要猜它做没做对，而是直接去查数据库：“任务要求的商品是不是真的被加购了？”
  • 这就好比在模拟器里，系统直接读取新手的仪表盘数据，而不是靠教练肉眼观察。

3. 如何训练：从“猜谜”到“标准答案”

在传统的训练里，AI 做任务，靠另一个 AI 来猜它做得好不好（LLM-as-a-Judge），这就像让两个盲人互相评价谁画得更好。

在 VERIENV 里：

• 任务生成： 系统自动生成任务，比如“在模拟的 CVS 网站上，找到最便宜的感冒药并加入购物车”。
• 自动判卷（Verifiable Judges）： 任务生成时，系统会同时生成一段**“标准答案代码”**。
  • 当 AI 做完任务，系统运行这段代码，直接去数据库核对：“感冒药加购了吗？价格对吗？”
  • 如果对了，给满分；错了，就是 0 分。没有模棱两可，没有“我觉得”。

4. 核心优势：安全、可进化、可规模化

• 安全（Safe）： 新手在模拟器里怎么撞车、怎么乱点，都不会影响真实世界的一个像素。
• 自我进化（Self-Evolving）： AI 可以在这个模拟器里反复练习成千上万次。它自己出题，自己做题，自己改错，像打游戏刷副本一样，水平越来越高。
• 规模效应（Scalable）： 研究者可以像搭积木一样，快速克隆出 149 个不同的网站模拟器。实验证明，训练的网站越多，AI 就越聪明，甚至能举一反三，去处理它从未见过的真实网站。

总结

简单来说，VERIENV 就是给 AI 智能体建了一个**“无限重置、自带透视眼、自动判卷”的虚拟驾校**。

它不再让 AI 在危险的真实互联网上“碰运气”，而是让它在安全、可控的克隆环境中，通过无数次的“试错 - 验证 - 修正”，练就一身真本事。最终，这些在模拟器里练出来的 AI，能够自信地走进真实的互联网世界，安全、高效地帮人类完成任务。

一句话比喻：
以前是让 AI 在真实的马路上学开车，随时可能出车祸且没人能准确打分；现在是用 VERIENV 给 AI 造了一个完美的虚拟赛车场，既能无限次重置，又有精准的电子裁判，让 AI 在安全的环境下飞速进化。

技术摘要

论文技术总结：通过重建网站实现安全且可扩展的 Web 智能体学习

1. 研究背景与问题 (Problem)

自主 Web 智能体（Web Agents）旨在协助人类完成现实世界中的复杂任务。然而，直接在真实互联网环境中训练这些智能体面临三大核心挑战：

1. 安全性与限制：真实网站的探索往往是不安全的（可能干扰其他用户、违反平台政策）或受到严格限制（如 Cloudflare 防护、CAPTCHA 验证码），导致智能体难以进行大规模探索。
2. 环境重置困难：真实网站的状态难以重置，无法支持高效的强化学习循环。
3. 反馈验证缺失：现有的自进化（Self-Evolving）学习范式通常依赖大语言模型（LLM）作为裁判（LLM-as-a-Judge）来评估智能体的轨迹。这种方法存在主观性、不可靠且容易产生幻觉，缺乏确定性的验证机制。此外，生成的任务指令往往定义模糊，导致奖励信号不可信。

核心痛点：缺乏一个既能保证安全探索，又能提供确定性、可验证奖励信号的训练环境，限制了 Web 智能体的自我进化能力。

2. 方法论：VERIENV 框架 (Methodology)

为了解决上述问题，作者提出了 VERIENV 框架。该框架的核心理念是将大语言模型视为“环境创造者”，自动将真实世界网站克隆为完全可执行、可验证的合成环境。

2.1 核心流程

VERIENV 的工作流程分为三个主要阶段（如图 2 所示）：

1. 环境重建 (Environment Construction)：

   • 利用编码智能体（Coding Agent，如 GPT-5.2），结合真实网站的截图，自动克隆目标网站。
   • 重建内容包括：前端界面、后端逻辑、底层数据库以及一个Python SDK。
   • 关键创新：Python SDK 提供了受控的内部访问权限，允许直接查询数据库状态和验证环境状态，而无需通过浏览器模拟。
   • 迭代优化：编码智能体通过 Playwright MCP 与部署的网站交互，自动发现功能差异（如布局错误、逻辑缺失）并修复 Bug，直到生成一个稳定、可重置的合成环境。

2. 可验证任务与裁判生成 (Verifiable Task & Judge Generation)：

   • 利用 LLM 生成自然语言任务指令。
   • 关键创新：每个任务都附带一个可执行的验证程序（Validation Program）。该程序利用 Python SDK 模拟任务执行过程，确定任务成功的条件（例如，检查数据库中是否包含特定记录）。
   • 基于验证程序生成确定性裁判（Verifiable Judge），在任务结束时自动评估智能体的最终状态，输出二值奖励（成功/失败），完全摒弃了基于 LLM 的主观评分。

3. 智能体自我进化学习 (Self-Evolving Agent Learning)：

   • 智能体在合成环境中与克隆网站交互，解决生成的任务。
   • 通过执行验证程序获取确定性的奖励信号。
   • 采用基于拒绝的微调（Rejection Fine-tuning）策略：仅保留那些成功通过验证程序检查的轨迹作为训练数据，使智能体在安全、可验证的信号指导下不断自我进化。

3. 主要贡献 (Key Contributions)

1. VERIENV 框架：提出了一种自动将真实网站重构为可执行合成环境的框架，实现了任务生成与可验证裁判的自动化，消除了对真实网站交互的依赖。
2. 可验证的奖励机制：通过 Python SDK 和数据库状态检查，提供了确定性、可审计的奖励信号，解决了传统 LLM-as-a-Judge 方法的不稳定性和幻觉问题。
3. 可扩展的自进化训练：证明了通过增加训练环境的数量（环境缩放），可以显著提升智能体的泛化能力和特定网站的掌握程度。
4. 大规模数据集构建：构建了包含 149 个不同领域网站、7,400 个可验证任务的合成环境数据集，涵盖了从简单浏览到复杂交互的各种难度。

4. 实验结果 (Results)

作者在 WebArena 和 Mind2Web-Online 等基准测试上进行了广泛实验：

• 跨域泛化能力 (Generalization)：
  • 在 WebArena 上，基于 VERIENV 训练的 Qwen3-4B 模型成功率提升了 6.06%，LLaMA-3.2-3B-Instruct 提升了 9.09%，显著优于基线模型和其他合成数据方法（如 Synatra, ADP）。
  • 在 Mind2Web-Online 上，VERIENV 同样带来了显著的性能提升（LLaMA-3.2 提升 13.19%），证明了其在未见过的真实网站上的泛化能力。
• 特定网站掌握能力 (Site-Specific Mastery)：
  • 在单一克隆网站上的反复训练中，VERIENV 表现出持续的性能增长，而依赖非验证性任务的对比方法（PAE）性能提升有限。这证明了可验证奖励对稳定学习的重要性。
• 环境缩放效应 (Scaling Effects)：
  • 实验表明，随着训练环境数量的增加，智能体性能呈现一致的提升趋势。相比之下，依赖固定数据集的方法性能趋于饱和。
• 人类评估：
  • 人工评估显示，合成的网站功能正确率平均达 90%，视觉质量评分为 4.7/5。任务的可执行性为 90%，裁判正确性为 76%（主要误差源于数据库重置时的随机种子问题，可通过重跑验证程序解决）。

5. 意义与影响 (Significance)

• 安全性：将训练过程完全隔离在合成环境中，彻底避免了在真实互联网上操作可能带来的法律风险、隐私泄露或对真实用户的干扰。
• 可复现性与严谨性：通过确定性的代码验证替代主观的 LLM 评分，使得实验结果更加可靠、可复现，为 Web 智能体的研究提供了更严谨的评估标准。
• 可扩展性：VERIENV 提供了一种自动化的“环境工厂”，能够低成本、大规模地生成多样化的训练场景，解决了高质量 Web 训练数据稀缺的瓶颈。
• 未来方向：该框架为强化学习（RL）在 Web 智能体中的应用铺平了道路，使得基于确定性奖励的自进化训练成为可能，有望推动通用 Web 智能体的发展。

总结：VERIENV 通过“重建网站”这一创新思路，成功解决了 Web 智能体训练中安全、验证和扩展性三大难题，为构建安全、高效且具备自我进化能力的下一代 Web 智能体奠定了坚实基础。代码和资源将在论文接收后开源。