🤖 AI

Online Skill Learning for Web Agents via State-Grounded Dynamic Retrieval

本文提出了状态锚定动态检索（State-Grounded Dynamic Retrieval, SGDR），这是一种在线技能学习方法，通过一种能将技能动态匹配至任务目标及当前网页状态的机制，实现逐步的技能复用，从而增强了网络智能体，并在 WebArena 基准测试中表现优于静态检索基准。

原作者： Jiaxi Li, Ke Deng, Yun Wang, Jingyuan Huang, Yucheng Shi, Qiaoyu Tan, Jin Lu, Ninghao Liu

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaxi Li, Ke Deng, Yun Wang, Jingyuan Huang, Yucheng Shi, Qiaoyu Tan, Jin Lu, Ninghao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在互联网上导航，去完成诸如预订机票、填写表格或在论坛上寻找特定帖子等任务。这个机器人是一个“网页智能体”（web agent）。

问题在于，互联网是混乱且不断变化的。机器人可能知道如何开始一项任务，但一旦它点击了一个按钮并跳转到一个新页面，旧的指令可能就不再适用了。

这篇论文介绍了一种教导这些机器人的新方法，称为 SGDR（状态锚定的动态检索，State-Grounded Dynamic Retrieval）。以下是它的工作原理，通过简单的解释如下：

问题所在：“一劳永逸”式的指令

把传统的方法想象成在旅程开始时给机器人一张单一、静态的地图。

旧方法： 你告诉机器人，“去商店买牛奶。”机器人根据这句话从记忆中挑选出一个“购物技能”，然后就一直沿用这个技能直到结束。
缺陷： 如果机器人走进商店发现布局变了，或者它卡在了乳制品区，那张最初的地图就派不上用场了。机器人会陷入困境，因为它无法根据自己当前实际所处的位置来更新策略。这就像是试图用一张十年前的地图，在一部全新的建筑里进行导航。

解决方案：“智能 GPS”法

作者提出的 SGDR 就像是一个智能 GPS，它会根据你当前的位置和交通状况，每隔几秒钟就更新一次路线。

SGDR 使用了以下三个主要技巧：

1. 将任务拆分为“章节”（滑动窗口提取）

SGDR 不会将整个旅程保存为一个巨大的、僵化的故事，而是将其拆分为细小的、可复用的**“章节”**。

类比： 想象你在学习烤蛋糕。你不是把整个食谱作为一个巨大的文本块来记忆，而是学习具体的“动作”：“如何打蛋”、“如何拌入面粉”以及“如何检查是否烤好”。
工作原理： 当机器人成功完成一项任务时，它会回顾自己做了什么，并将过程切分成这些细小的、可复用的“动作”（子程序）。这使得它以后即使在执行不同的烘焙任务时，也能精准抓取“打蛋”这个动作。

2. “双语”技能卡（文本-代码表示）

机器人学习到的每一个“动作”都存储为一张两部分的卡片：

部分 A（描述）： 一句简单的纯英文句子（例如，“点击登录按钮”）。这有助于机器人找到正确的卡片。
部分 B（代码）： 执行该动作所需的实际计算机指令。
重要性： 这确保了机器人不仅是在“读”要做什么，它还拥有立即执行该动作的实际工具。

3. “上下文感知”搜索（状态锚定的动态检索）

这是最重要的一部分。每当机器人采取一步行动时，它不仅会问：“我的目标是什么？”它还会问：“我现在在哪里？”

旧方法： “我需要买牛奶。” -> 检索“去杂货店”技能。（停止思考）。
SGDR 的方式：
- 第 1 步： “我需要买牛奶。” -> 检索“去杂货店”。
- 第 2 步： （机器人到达商店）。“我现在在门口，门锁着。” -> 检索“开门”技能。
- 第 3 步： （机器人进入店内）。“我在乳制品区。” -> 检索“拿起牛奶”技能。

机器人会根据它当前看到的网页，而不仅仅是原始目标，不断重新评估其“技能库”。

结果：有效吗？

研究人员在一个名为 WebArena 的现实网页模拟环境中测试了它（该环境包含购物网站、管理面板、论坛等）。

更高的成功率： 使用 SGDR 的机器人比使用旧有“静态地图”方法的机器人解决了更多的任务。
- 使用强大的 AI 模型（GPT-4.1）时，成功率比之前最好的方法提升了约 10%。
- 使用更小、更高效的模型时，也实现了 10% 的提升。
更快的执行速度： 机器人不仅成功率更高，而且完成任务所需的步骤更少。因为它能立即抓取正确的“动作”，所以不必浪费时间去猜测或尝试错误的行动。

总结

论文认为，要让机器人精通网页操作，它们不能仅仅依赖于开始时制定的计划。它们需要能够观察当前处境，找到符合该特定时刻的特定“动作”，并执行它。SGDR 是让它们实现这一目标的系统，它将僵化的、一次性的计划转变为灵活的、循序渐进的指南，随着旅程的展开不断进行调整。

技术摘要：通过状态锚定的动态检索实现 Web 智能体的在线技能学习

问题陈述

语言智能体正越来越多地被用于多步 Web 自动化任务（例如：信息检索、表单填写）。虽然现有研究已经探索了在线技能学习——即智能体从过去的任务轨迹中归纳出可重用的程序性知识，以提升未来的性能——但当前的方法论中仍然存在一个关键的局限性。

现有的在线技能学习方法主要在任务层面运行。它们在执行开始时，仅根据初始的任务指令检索一组固定的技能，并在整个过程中保持该集合不变。这种静态策略与交互式 Web 执行的本质不相符，因为在交互式执行中，下一步采取何种行动不仅取决于全局任务目标，还取决于当前的网页状态。随着智能体的导航，网页状态会发生转换，这往往导致最初选择的技能变得不再适用，或者无法覆盖新出现的状况。此外，现有方法在技能粒度方面也存在困难：全轨迹技能对于中间状态而言过于具体，而单动作技能则缺乏有意义的程序化抽象。

本文解决的核心挑战是：如何让在线智能体在每个决策步骤中，都能根据不断演进的任务目标和当前的网页状态，动态地检索出正确的、可重用的技能？

方法论：状态锚定的动态检索 (SGDR)

作者提出了状态锚定的动态检索 (State-Grounded Dynamic Retrieval, SGDR)，这是一个旨在取代静态、任务级技能复用的在线技能学习框架，用以实现自适应的步级检索。该方法在一个顺序任务流场景下运行，智能体必须在无需执行期间获取地面真值（ground-truth）成功信号的情况下，实时更新其技能库。

SGDR 由三个核心组件组成：

1. 滑动窗口技能提取

为了解决粒度挑战，SGDR 并不将整个任务轨迹存储为单一技能。相反，在任务完成后并由评估模型判定成功后，系统会对轨迹应用滑动窗口提取过程。

过程： 轨迹被分割成局部子程序（长度不一的窗口）。
验证： 每个候选片段被转化为一个技能，并通过用技能调用替换原始轨迹中的相应动作来进行验证。只有那些能保持轨迹成功性的技能才会被添加到库中。
结果： 这产生了紧凑且可重用的子程序（例如：“填写短表单”、“应用过滤器”），这些子程序适用于中间网页状态，而非仅仅是全任务上下文。

2. 双重文本-代码表示

每个归纳出的技能 $s_k$ 都表示为一个对 $(d_k, c_k)$ ：

描述 ( $d_k$ )： 用于检索的自然语言摘要。
代码 ( $c_k$ )： 用于执行动作的可执行函数。
这种双重表示确保了技能既具有语义可检索性，又能在浏览器环境中进行功能性执行。

3. 状态锚定的动态检索

不同于在开始时仅检索一次技能的静态方法，SGDR 在每一个决策步骤 $t$ 根据当前状态检索技能。

查询构建： 检索查询结合了原始任务指令 $g$ 和当前网页状态的精简摘要 $r_t$ （源自无障碍树/accessibility tree）。
相关性评分： 使用技能描述与组合查询之间的加权余弦相似度来计算相关性得分：
$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$
其中 $\alpha$ 平衡了任务目标与当前状态的重要性。
MMR 重排序： 为了防止冗余（由于滑动窗口可能会产生重叠的技能），使用最大边际相关性 (Maximal Marginal Relevance, MMR) 对前 $M$ 个候选对象进行重排序。这在最大化与当前查询相关性的同时，惩罚与已选技能的相似度，从而确保了可选方案的多样性。
注入： 所选技能仅针对当前步骤进行注入，使智能体的支持能力能够随着执行过程的展开而进行调整。

核心贡献

问题形式化： 本文识别并形式化了 Web 智能体中任务级单次技能复用的局限性，强调了需要状态锚定的动态检索来处理不断变化的网页上下文。
方法论创新： 提出了 SGDR 框架，它实现了步级的技能复用。其关键创新包括：
- 滑动窗口提取以生成中间粒度的技能。
- 双重文本-代码表示将检索语义与可执行动作相连接。
- 动态检索机制，将技能选择条件化为任务目标和实时状态观测。
实证验证： 该方法在 WebArena 基准测试的五个领域（购物、管理、Reddit、Gitlab、地图）上进行了评估，使用了两种骨干模型（GPT-4.1 和 QWEN3-4B）。

实验结果

实验表明，SGDR 始终优于强基线模型，包括 Vanilla（无技能）、Agent Workflow Memory (AWM)、Agent Skill Induction (ASI) 和 Contextual Experience Replay (CER)。

成功率：
- 使用 GPT-4.1 时，SGDR 的平均成功率为 37.5%，比最强的基线（CER 为 33.9%）实现了 10.6% 的相对增益。
- 使用 QWEN3-4B 时，SGDR 的成功率为 24.3%，比 CER (22.1%) 实现了 10.0% 的相对增益。
- 在五个领域中的四个领域都观察到了提升，其中在 Admin（47.7% vs. 41.4% 的 ASI）和 Shopping 领域增益显著。
执行效率： SGDR 减少了完成任务所需的平均步数。使用 GPT-4.1 时，平均仅需 4.8 步，而 CER 需要 6.4 步，这表明高层技能抽象有效地取代了多次低层浏览器交互。
消融实验：
- 检索信号： 结合任务和状态信息 ( $\alpha=0.5$ ) 取得了最佳结果，优于仅基于任务或仅基于状态的检索。
- 重排序： MMR 重排序通过减少冗余，显著提升了性能，优于简单的 Top- $M$ 相关性检索。
- 粒度： 滑动窗口提取的表现优于全轨迹提取和单动作提取，证实了中间粒度的必要性。

意义与主张

本文声称 SGDR 代表了从静态任务级复用向自适应状态锚定复用的转变。通过将技能检索与不断演进的网页状态动态对齐，该方法使智能体能够更好地利用积累的程序性知识，应对真实的交互式环境。

作者将这项工作定位为迈向更现实的 Web 自动化的一步，在这种场景下，智能体必须处理连续到达的任务，并需要进行持续的适应。该方法不依赖于预先构建的离线库，而是“在轨”学习并完善其能力，这使其适用于任务分布可能发生偏移或演进的部署场景。结果表明，解决静态技能注入与动态网页状态之间的失配，对于提高语言智能体在复杂 Web 环境中的成功率和效率至关重要。