← 最新论文
🤖 AI

Web Agents Should Use Typed Actions Instead of Click-Based Browsing

本立场文件主张,应以具有类型化的语义层“网络动词”取代脆弱、低层级的基于点击的网络交互,从而构建更可靠、可审计且可复现的智能体化网络系统。

原作者: Linxi Jiang, Rui Xi, Zhijie Liu, Shuo Chen, Zhiqiang Lin, Suman Nath

发布于 2026-06-09
📖 1 分钟阅读☕ 轻松阅读

原作者: Linxi Jiang, Rui Xi, Zhijie Liu, Shuo Chen, Zhiqiang Lin, Suman Nath

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

核心理念:停止点击,开始使用“动词”

想象一下你正在试图教一个机器人如何订披萨。

旧方法(基于点击的浏览):
目前,大多数 Web Agent(AI 机器人)试图通过观察人类点击按钮来学习如何订披萨。机器人必须弄明白:“好的,我需要将鼠标向右移动 400 像素,点击红色按钮,等待页面加载,向下滚动三英寸,然后输入‘意式腊肠’。”

这就像是通过给出一份极其细致的肌肉运动指令来教人开车:“头向左转,脚移动 2 英寸,踩下踏板。”这种方式虽然可行,但极其脆弱。如果披萨店把“下单”按钮向左移动了两英寸,或者改变了菜单的颜色,机器人就会感到困惑并崩溃。它每次都必须重新学习整套动作。

新方法(打字操作 / Web 动词):
本文作者认为,我们不应该再教机器人如何点击。相反,我们应该给它们提供一个**“Web 动词”**菜单。

把一个 Web 动词想象成一个神奇按钮或一张指令卡。与其告诉机器人如何点击,不如使用清晰、结构化的命令告诉它做什么

  • 旧指令: “移动鼠标到 X, Y,点击。”
  • 新动词: search_hotel(destination="Anchorage", check_in="2026-06-01")

这个命令就像一份预包装好的套餐。机器人不需要知道如何切洋葱或煎牛排(这些复杂的点击和滚动细节);它只需要请求“搜索酒店”这份套餐,系统会在后台处理所有繁琐的细节。

我们为什么需要它?

论文指出了“点击”方法的三个主要问题,以及“动词”是如何解决它们的:

1. 可靠性(“脆弱房屋”问题)

  • 问题: 当机器人进行点击操作时,它是在搭建一座纸牌屋。如果网站的布局稍有变动(比如移动了一个按钮),整个纸牌屋就会坍塌。机器人会迷失方向。
  • 动词解决方案: 一个“动词”就像一块坚固的砖块。即使网站更换了涂料或重新布置了家具,这个“搜索酒店”的砖块依然有效,因为它在内部处理了这些变化。机器人只需要请求这块砖,而不需要知道这块砖是如何制造出来的。

2. 效率(“停顿与启动”问题)

  • 问题: 为了完成像预订旅行这样简单的任务,一个点击型机器人可能需要执行 50 个微小的步骤:点击这里,等待,滚动,输入,点击那里。它每走一步都要进行“思考”并“观察”屏幕。这既慢又昂贵。
  • 动词解决方案: 有了动词,机器人可以说:“帮我找酒店”、“帮我找航班”以及“帮我预订”。它通过三个大步骤就能完成整个工作,而不是 50 个小步骤。这就像是在餐厅点了一份完整的套餐,而不是从每一种食材开始亲手烹饪。

3. 可验证性(“黑盒”问题)

  • 问题: 如果一个点击型机器人犯了错,很难判断原因。是它点错了按钮?还是它读错了文字?它留下的是一串难以检查的混乱动作轨迹。
  • 动词解决方案: 动词就像一张收据。当机器人使用动词时,它会得到一个清晰、结构化的答案(例如:“这是带有价格的酒店列表”)。我们可以轻松检查输入(它请求了什么)和输出(它得到了什么)。如果出了问题,我们能准确知道是哪个“砖块”失效了,而不是哪个特定的像素点被机器人点错了。

现实生活中的应用示例

论文通过两个例子进行了测试:

  • 旅行规划: 用户想要寻找博物馆附近的酒店,并按距离进行排序。

    • 点击型机器人: 会感到困惑。它试图画一条连接所有博物馆和酒店的单线,但这并不能正确计算距离。它在所有的点击动作中丢失了数学逻辑。
    • 动词型机器人: 使用 get_directions 动词。它循环遍历列表,向动词请求每个酒店与博物馆之间的距离,将它们相加并排序。它完美地遵循了数学逻辑,因为“距离”是一个明确的数字,而不是视觉上的猜测。
  • 家具购物: 用户想在 1,000 美元的预算内购买一张床、一张书桌和一个台灯,同时让评分最大化。

    • 点击型机器人: 采取贪婪算法逐一挑选物品。它可能会先选一个很棒的床,再选一个很棒的书桌,然后突然意识到已经没钱买台灯了。它无法实现全局目标。
    • 动词型机器人: 使用动词获取所有物品的价格和评分列表。然后它运行一个简单的计算机程序,检查所有可能的组合,以找到符合预算的最佳组合。它通过逻辑解决了这个谜题。

行动号召

作者并不是说 AI 模型需要变得更“聪明”。他们说的是交互界面需要改变。

他们建议网站应该向世界暴露这些“动词”。

  • 对于开发者: 不要仅仅为人类构建网站,要为机器人构建一个“动词层”。这可以是一个简单的 API(直接连接到服务器的线路),或者是一个为你自动执行浏览器点击的脚本。
  • 对于社区: 就像我们有关于网页外观的标准(HTML)一样,我们也需要关于机器人如何与网站对话的标准。我们需要一个通用的“Web 动词”词典,以便机器人确切知道有哪些可用的命令。

总结类比

  • 目前的 Web Agent: 就像一个试图通过手动转动方向盘、踩油门和踩刹车来驾驶汽车的人,同时还在盯着地图看。如果路况发生变化,他们就会撞车。
  • 提议中的 Web Agent: 就像坐在自动驾驶汽车里的乘客。他们只需告诉汽车:“带我去机场。”汽车(即“动词”)会处理转向、刹车和导航。这更安全、更快速,而且你清楚地知道自己要去哪里。

论文指出,为了让“智能体网络”(Agentic Web,即一个机器人能为我们完成事务的网络)变得可靠,我们不能再给机器人一个方向盘,而应该给它们一个目的地。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →