🤖 AI

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer 是一种新颖的网页轨迹生成器，它采用系统性的广度优先探索、探索引导的任务合成以及基于轨迹的优化，以克服数据稀缺和幻觉问题，从而在 WebArena 基准测试中显著提升网页智能体的性能与任务多样性。

原作者： Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个机器人如何在一个庞大而复杂的图书馆（即一个网站）中导航，以找到特定的书籍、办理借阅或撰写评论。问题在于，这个机器人并不了解图书馆的布局，而且也没有人为它编写任何操作手册。

AutoSurfer 是一个新系统，旨在通过扮演一位极其细致、有条理的人类图书管理员来教导这些“网络机器人”（称为网络智能体）。这位管理员会先探索图书馆，编写一份完美的指南，然后利用该指南来教导机器人。

以下是 AutoSurfer 的工作原理，分解为简单步骤：

1. 问题：机器人迷路

当前试图导航网站的机器人经常失败，因为它们没有接受过足够多的优质示例训练。

旧方法： 以往的方法试图通过以下方式教导机器人：
- 从正门猜测： 它们查看首页并猜测可能执行的任务，从而错过了图书馆深处隐藏的“房间”。
- 漫无目的地游荡： 它们像游客一样随机走动，四处碰壁。这通常导致机器人编造实际上并不存在的任务（幻觉），或者错过重要功能，例如直到点击后才显示的隐藏下拉菜单。

2. 解决方案：AutoSurfer 的三步策略

AutoSurfer 通过采用一种“边做边学”的方法来解决这个问题，这种方法模仿了人类学习新网站的方式。

步骤 A：系统性探索者（广度优先搜索）

AutoSurfer 不像漫无目的地游荡，而是像带着清单的侦探一样行动。

队列： 它保存一份已发现但尚未完全探索的页面列表。它从首页开始，然后检查该页面上的每个链接，接着检查那些页面上的每个链接，依此类推。
“展开”技巧： 想象一个菜单，只有在点击“更多”时才会隐藏选项。旧方法经常错过这些。AutoSurfer 足够智能，能够点击“更多”按钮，查看新选项，并立即将这些新选项添加到其清单中。它会递归地执行此操作，像人类一样一层层剥开菜单。
无冗余： 如果它在首页发现了一个“搜索”框，它就不会浪费时间去每个其他页面上寻找“搜索”框。它会记住已知内容并跳过重复项。

步骤 B：编写故事（任务合成）

一旦 AutoSurfer 探索完网站，它不会只说“我点击了这里”。它会编写一个故事。

连接点： 它查看所采取的路径（探索轨迹），并基于该真实路径创建一个任务。
隐喻： 想象你在教某人如何烤蛋糕。
- 旧方法可能会说：“买面粉，然后买鸡蛋，然后烘烤。”（孤立的步骤）。
- AutoSurfer 会说：“首先，你走到过道，拿起面粉，走到收银台付款，然后走到烤箱……"它将任务扎根于实际旅程中，使指令更难被误解。

步骤 C：润色（优化）

指令的初稿可能很杂乱。也许机器人绕了远路，或者不小心点击了两次按钮。

编辑者： AutoSurfer 将自己旅程的“草稿”交给一个网络智能体（一个聪明的机器人），并附带提示：“这是我们走过的路径；现在，请完美地完成此任务。”
结果： 该智能体清理了路径，移除了不必要的步骤，并确保指令 100% 准确。这为训练创建了一份高质量的“教科书”。

3. 结果：超级学生

AutoSurfer 将这些经过验证的干净路径转化为数据集，用于训练特定的“网站专用大语言模型”（即专攻单一网站的机器人大脑）。

测试： 研究人员在名为 WebArena 的基准测试上测试了该方法（这是一个模拟互联网，包含 Reddit、购物商店和代码仓库等网站）。
得分： 由 AutoSurfer 训练的机器人正确完成了 24.23% 的任务。而最佳的前任方法仅正确完成了 19.59%。
多样性： 它不仅更准确，还学习了更广泛的任务。它不仅学会了简单的内容，还发现了其他方法错过的网站深层复杂功能。

总结类比

训练网络智能体就像为巨大而令人困惑的办公楼培训新员工。

旧方法只给员工一张标有大厅的地图，并告诉他们“去找休息室”。结果他们迷路了。
AutoSurfer 则派一名资深员工走遍每条走廊，打开每扇门，检查每个壁橱，并根据实际行走过程编写一份分步指南。然后，它将该指南交给新员工。新员工到达时，确切知道休息室在哪里、如何到达以及到达后该做什么。

该论文声称，通过这种彻底和系统的方式，AutoSurfer 创建了更好的训练数据，从而产生了更准确、更少编造内容、且能够处理网络上复杂多步骤任务的网络智能体。

以下是论文《AutoSurfer – 通过全面浏览、学习与建模训练 Web 智能体》的详细技术总结。

1. 问题陈述

由多模态大语言模型（MLLMs）驱动的 Web 智能体旨在自动化网站上的复杂任务。然而，其准确性受到高质量 Web 轨迹训练数据稀缺的严重限制。现有的自动数据生成方法存在三个主要缺陷：

覆盖不完整：依赖基于主页的任务提议（如 Explorer）或随机游走探索（如 OS-Genesis、SynthAgent）的方法，无法发现深层、隐藏的功能，如多级菜单或动态内容。
幻觉与歧义：任务合成通常依赖于孤立的页面内容或随机操作，导致生成的任务与实际导航路径或用户意图不符，产生幻觉。
轨迹根基薄弱：生成的轨迹往往缺乏连贯性，因为它们并非基于对网站实际状态空间的系统性探索，导致用于特定网站大语言模型（wLLMs）的训练数据不可靠。

2. 方法论：AutoSurfer

AutoSurfer 是一个全面的 Web 轨迹生成器，旨在通过三阶段流水线解决上述限制：系统性探索、基于轨迹的任务合成以及基于轨迹引导的优化。

A. 系统性广度优先探索

与随机游走不同，AutoSurfer 采用**广度优先遍历（BFS）**策略，全面映射网站的操作空间：

基于队列的导航：它维护一个已发现页面及其对应操作轨迹的队列。它将早期页面的知识传播到后期页面，以避免冗余探索。
递归 GUI 扩展：它区别对待静态和动态元素：
- 静态元素：系统性地遍历固定功能（如导航栏）。
- 动态元素：采样动态内容（如列表项）的代表性子集，以避免冗余同时捕捉功能。
- 菜单/下拉框处理：它递归地展开菜单和下拉框。如果某个操作（例如点击个人资料名称）揭示了新元素，AutoSurfer 将这些新元素识别为层级结构，并使用完整操作前缀重构叶子任务（例如，“点击个人资料” $\rightarrow$ “点击设置”）。
任务过滤：它排除涉及授权（登录/注册）、支付、广告和弹出窗口的任务，专注于可操作且能改变状态的操作。

B. 基于探索轨迹的任务合成

AutoSurfer 通过组合在探索过程中发现的逻辑相连的简单任务来合成复杂任务：

面向操作的任务：它识别跨越至少三个 GUI 操作的简单任务序列。它利用大语言模型推理来评估完整性，仅保留高质量的任务元组。
信息寻求任务：它生成用户可能针对页面内容提出的问题，并基于到达该状态所采取的具体导航路径进行扎根。
关键创新：与以往从孤立页面内容合成任务的方法不同，AutoSurfer 将任务扎根于完整的探索轨迹中。这确保了任务描述反映了实际的导航上下文，从而减少了幻觉。

C. 基于轨迹引导的优化

初始探索数据通常包含冗余步骤或次优路径（例如缺失滚动操作）。AutoSurfer 利用一个增强的 Web 智能体（SynthAgent），将探索轨迹作为提示来优化这些数据：

该智能体使用探索路径作为“真实值”指南，以修正任务描述并生成干净、高效的轨迹。
这一步骤过滤掉失败的尝试并优化操作序列，确保最终数据适用于监督微调（SFT）。

D. 模型训练（wLLM）

优化后的任务 - 轨迹对被转换为 ShareGPT 格式的 SFT 数据集。该数据集包括任务描述、页面截图、可访问性树和操作历史。这些数据用于微调多模态大语言模型（具体为 Qwen2.5-VL 和 Qwen3-VL），以创建特定网站大语言模型（wLLMs）。

3. 主要贡献

系统性探索策略：一种新颖的 BFS 方法，递归展开菜单，区分固定和动态元素，并在页面间传播知识，以实现近乎完整的网站覆盖。
基于轨迹的扎根合成：一种利用完整探索路径来合成任务的方法，与依赖孤立页面内容或随机游走的方法相比，显著减少了幻觉。
通过探索提示进行优化：一种优化机制，利用探索轨迹作为约束，引导 Web 智能体走向正确的执行路径，从而提高数据质量。
首个 wLLM 训练框架：AutoSurfer 是首个明确设计用于生成 wLLM 训练数据的工作，证明了全面的网站覆盖对于构建高性能、特定网站的智能体是必要的。

4. 实验结果

作者在 WebArena 基准测试（使用 CMS、Gitlab、Reddit 和购物环境）上评估了 AutoSurfer，通过微调 Qwen2.5-VL-7B-Instruct 模型进行验证。

性能：AutoSurfer 显著优于最先进的方法（Explorer、OS-Genesis、SynthAgent）。
- 总体准确率：AutoSurfer 实现了 24.23% 的总体任务完成准确率，而最佳 prior 方法（SynthAgent）为 19.59%。
- 单站收益：它在所有测试网站上均表现出一致的改进，其中 Reddit 上的提升尤为显著（34.62% 对比 SynthAgent 的 19.64%）。
任务多样性：与 OS-Genesis 和 SynthAgent（0.7459）相比，AutoSurfer 生成了更多样化的任务集（多样性得分：0.7774），表明其对网站操作空间的覆盖更广。
优化影响：消融研究表明，仅使用探索数据训练的模型准确率为 11.54%，而使用优化后数据训练的模型准确率达到 34.62%。这凸显了优化阶段在去除噪声和优化轨迹方面的关键重要性。
泛化能力：该方法在不同模型（Qwen3）上得到了验证，显示出一致的性能提升，表明数据质量具有模型无关性。

5. 意义

数据质量优于模型规模：该论文证明，高质量、全面的训练数据可以显著提升更小、更高效模型（7B-8B 参数）的性能，从而可能减少 Web 自动化对庞大、昂贵模型的需求。
隐私与效率：通过支持高质量 wLLMs 的训练，AutoSurfer 促进了设备端智能体的部署，增强了用户隐私并降低了延迟。
范式转变：它将该领域从“随机探索”或“基于教程的合成”转变为“系统性、类人探索”，为构建可靠、通用的 Web 智能体提供了稳健的框架。

总之，AutoSurfer 通过证明全面、系统的探索结合基于轨迹引导的优化对于训练准确可靠的 Web 智能体至关重要，从而确立了 Web 轨迹生成的新标准。