💬 NLP

Region4Web: Rethinking Observation Space Granularity for Web Agents

本文介绍了 Region4Web，这是一个通过分层分解和持久化 PageDigest 流水线将网页智能体观察粒度从元素级重新定义为功能区域级的框架，该框架在 WebArena 基准测试中针对多种大语言模型后端实现了任务成功率的提升和观察长度的缩短。

原作者： Donguk Kwon, Dongha Lee

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Donguk Kwon, Dongha Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人进行在线购物、填写表格或预订行程。为此，机器人需要“看到”网页。目前，大多数机器人接收到的网页视图，就像是一份庞大且杂乱无章的清单，列出了房子里的每一块砖、每一颗钉子和每一颗螺丝。它们必须逐一查看每个项目，才能找出门在哪里，或者哪扇窗户可以打开。这种方式既缓慢又令人困惑，还浪费了大量的算力。

论文《Region4Web：重新思考网络智能体的观察空间粒度》提出了一种更聪明的方式来向机器人展示网页。与其提供一份砖块清单，不如给机器人一张突出功能区域的平面图。

以下是该解决方案的运作方式，分解为简单的概念：

1. 问题：“逐块查看”的视角

目前，网络智能体（机器人）将网页视为一个长长的、扁平的列表，其中包含成千上万个微小的元素（按钮、文本、图像）。

类比：想象一下，试图通过阅读一份剧本去理解一部电影，该剧本逐一列出了每一帧、每一个道具和每一个背景群众演员，却未告知你当前处于哪个场景。你不得不根据看到的冰箱、炉灶和桌子去猜测“厨房场景”正在发生，而不是被告知“这里是厨房”。
问题：机器人必须在每一步都自行进行所有这些猜测，这导致其速度缓慢且容易出错。

2. 解决方案：Region4Web（“平面图”生成器）

作者创建了一个名为Region4Web的系统，在机器人查看网页之前对其重新组织。

运作方式：它将杂乱的元素列表分组为功能区域。
类比：与其提供一份砖块清单，不如让系统构建一张平面图。它会说：“这组砖块是厨房（其用途是烹饪），而这组砖块是客厅（其用途是放松）。”
神奇之处：它不仅仅是将位置靠近的事物分组，而是将协同工作的事物分组。例如，一组产品卡片可能看起来像是一个相似物品的网格，但 Region4Web 能够判断它们是独立的产品（独立区域），还是一个单一的“畅销品”展示区（一个大区域）。它为每个组分配一个标签（用途）以及当前发生情况的简要总结（状态）。

3. 交付系统：PageDigest（“简报”）

即使有了平面图，每次机器人迈出一步就向其展示整栋房子，信息量仍然过大。

解决方案：他们构建了一个名为PageDigest的管道。
类比：想象一位导游（机器人）进入一个新房间。与其向他们展示整座宅邸的完整蓝图，导游会递给他们一份简报，其中仅列出与当前任务相关的房间。
- 如果任务是“购买鞋子”，导游会在简报中高亮显示“鞋类区”和“购物车”，并提供这些区域的详细信息。
- 对于“关于我们”页面或“页脚”，导游只需写下“这是页脚，你不需要查看这里”，从而节省空间。
保持更新：如果机器人点击了一个按钮并出现下拉菜单，PageDigest 不会重写整份简报。它只需添加一张小便利贴，写着：“哦，这里出现了一个新菜单。”这保持了机器人的“待办事项列表”简短且易于管理。

4. 结果：更快、更智能

作者在名为WebArena的基准测试（一个包含购物或使用地图等任务的模拟网络环境）上测试了该方法。

结果：通过从“逐块查看”切换到“逐室查看”（Region4Web），并使用“简报”（PageDigest）：
- 机器人需要读取的信息量减少了30% 到 50%。
- 机器人实际上更擅长完成任务，在不同类型的“大脑”（大型语言模型）中，从小型到超大型，其成功率均有所提高。
- 即使机器人被赋予不同类型的任务，该方法依然表现良好，这证明了理解页面区域的功能比仅仅看到每一个按钮更为重要。

总结

简而言之，这篇论文认为，我们不应该教机器人像查字典一样（逐字逐句）阅读网页。相反，我们应该教它们像人类一样阅读：通过识别功能区域（如结账按钮、搜索栏或产品列表），并仅关注与当前任务相关的页面部分。这使得机器人更快、更高效，也更能胜任工作。

技术摘要：Region4Web 与 PageDigest

问题陈述

Web 智能体通过观察空间感知其环境，然而该观察空间的粒度一直是一个未被充分审视的设计选择。现有方法通常以与动作空间相同的元素级粒度处理观察空间，将页面表示为扁平或分层的独立 DOM 元素列表（例如 AXTree 节点）。虽然元素级粒度对于选择特定动作（例如点击特定链接）是自然的，但它对于页面状态理解而言并非最优。

在元素级观察中，页面的功能组织——即元素组如何服务于“商品列表”、“导航菜单”或“搜索表单”等共享目的——仍然是隐式的。智能体被迫在每一步从原始元素信号中推断这些功能区域及其目的。这种方法未能利用定义功能单元的结构线索，往往导致过长的观察上下文，从而掩盖了页面的组织结构。此外，在页面内的每一步都重建完整的元素级观察是冗余的，因为大多数动作仅对 DOM 产生边际变化。

方法论

本文提出了一个两部分的框架：Region4Web用于构建区域级观察，PageDigest用于高效地交付这些观察。

1. Region4Web：构建区域级观察

Region4Web 通过两个阶段将页面的 AXTree 重组为功能区域：

层次分解：此阶段在单次自底向上的遍历中，将 AXTree 中的每个父子边分类为合并或切割。
- 输入：每个节点 $v$ 的特征向量 ( $x_v$ )，结合学习到的角色嵌入与数值结构特征（深度、子树大小、子节点多样性等）。
- 机制：EdgeClassifier 判断子节点是否应与其父节点分离。它利用父节点的特征、子节点的表示以及父节点兄弟节点的平均表示作为上下文。如果分类得分超过阈值 $\tau$ ，则切断该边，形成新的区域边界；否则，将子节点合并到父节点的区域中。
- 输出：AXTree 被划分为若干子树，每个子树构成一个功能区域。
语义抽象：此阶段解释每个识别出的区域，使其目的显式化。
- 机制：一个小型微调语言模型（Qwen3-0.6B）处理每个区域的预处理 AXTree 子树。
- 输出：每个区域的两个正交维度：
  1. 目的 ( $p_i$ )：对该区域用途的高级描述（例如，“商品列表”、“搜索表单”）。
  2. 状态摘要 ( $s_i$ )：对该区域当前可操作上下文的简洁总结（例如，“高端太阳镜的促销展示”）。

这两个阶段被实现为小型专用模型，基于由专有 LLM（GPT-5-mini）在 2,052 个真实网页数据集上生成的标注进行训练。

2. PageDigest：特定于 Web 的推理流水线

PageDigest 是一个流水线，旨在将区域级观察作为紧凑摘要交付给执行智能体，该摘要在页面内的各步骤中持续存在。

任务相关区域选择：当进入新页面时，执行智能体的骨干 LLM 接收任务指令、动作历史以及区域抽象集合 $\{(p_i, s_i)\}$ ${(p_{i}, s_{i})}$ 。模型选择与任务相关的区域。
- 选中区域：以完整的 AXTree 子树形式暴露，以保留用于动作执行的元素级粒度。
- 未选中区域：仅由其目的摘要表示，在避免令牌膨胀的同时保留页面的整体结构上下文。
页面感知观察转换管理：PageDigest 跟踪增量变化，而不是在每一步重新运行 Region4Web。
- 它将当前 AXTree 与页面进入时的状态进行比较，以识别添加、移除或修改的节点。
- 更新：移除/修改的节点会更新其区域目的下的现有结构；添加的节点单独列出，以避免改变现有区域的目的。
- 这种方法避免了冗余重建，同时保持了页面状态的连续性。
回退机制：如果智能体确定选中的区域不足，它可以调用 view_all 动作，以完整的 AXTree 形式揭示所有区域。

主要贡献

Region4Web 框架：一种新颖的方法，通过层次分解和语义抽象将 AXTree 重组为功能区域，使页面的功能组织对智能体显式化。
PageDigest 流水线：一种特定于 Web 的推理机制，将区域级观察作为紧凑、持久的摘要交付，在跟踪状态转换时无需完整重建，从而减少观察长度。
实证验证：在WebArena基准上的全面评估表明，区域级观察提高了任务成功率，并降低了各种骨干 LLM 和智能体方法下的观察长度。

结果

在 WebArena 基准（涵盖 5 个领域：购物、CMS、Reddit、GitLab、地图，共 812 个任务）上的评估显示，所提出的方法产生了以下结果：

观察长度减少：PageDigest 将四种不同骨干 LLM（GPT-5.1、Gemini 3.1 Flash-Lite、DeepSeek-V3.2、Qwen3.5-27B）的平均观察令牌长度大幅减少了43%（从 6,437 个令牌降至 3,671 个令牌）。根据骨干模型的不同，减少幅度在 16% 到 54% 之间。
任务成功率 (SR) 提升：尽管上下文减少，PageDigest 将整体任务成功率平均提高了2.3 个百分点。
- 例如，对于 GPT-5.1，SR 从 45.2% 提升至 47.5%。
- 对于 Qwen3.5-27B，SR 从 38.2% 提升至 39.9%。
泛化性：这些改进在专有和开源模型（具有不同容量）以及既有的智能体方法（SteP 和 AgentOccam）中均成立，表明区域级观察提供了一种互补信号，用于页面状态理解，且独立于模型能力。
消融研究：
- 仅使用Region4Web在观察长度相当的情况下提高了 SR（48.5% $\to$ 50.3%），证实了功能区域有助于理解。
- 仅使用PageDigest（不使用 Region4Web，采用元素级选择）降低了 SR（48.5% $\to$ 46.1%），表明即使进行压缩，元素级处理也会阻碍性能。
- 组合使用：完整的 PageDigest 流水线以最低的观察长度（3,814 个令牌）实现了最高的 SR（53.9%）。
失败分析：对 50 条失败轨迹的分析显示，82.0% 的失败归因于骨干智能体的动作选择能力，而仅 8.0% 归因于 PageDigest 流水线内的回归（分解、抽象或选择错误）。这表明该流水线按设计可靠运行。

意义与主张

本文认为，观察粒度是 Web 智能体一个关键但未被充分审视的设计选择。通过从元素级转向功能区域级观察，作者证明了：

显式组织：通过区域和目的使页面的功能组织显式化，比从原始元素中推断它为页面状态理解提供了更具信息量的基础。
效率与性能：区域级观察允许更紧凑的上下文，这不仅没有牺牲任务成功率，反而提高了成功率。
解耦：这种方法将观察设计与模型能力和动作策略分离开来，为无论底层 LLM 容量如何都能构建更高效的 Web 智能体提供了一条路径。

作者得出结论，在功能区域粒度上运行比单独的元素级处理提供了更紧凑、更具信息量的决策基础，从而验证了这一假设：智能体如何“看”待网络与其如何“思考”网络同样重要。