🤖 AI

Executable Agentic Memory for GUI Agent

本文提出了可执行智能体记忆（EAM），这是一种基于结构化知识图谱的框架，它利用价值引导的图搜索，以稳健的检索与执行流程取代了脆弱的逐步大语言模型交互，从而在长视野图形用户界面自动化任务中实现更优的性能、更低的成本和更低的延迟。

原作者： Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《面向 GUI 智能体的可执行代理记忆（Executable Agentic Memory for GUI Agent）》的解释。

问题所在：“健忘”的机器人

想象一下，你雇佣了一个机器人来帮你使用智能手机。每当机器人看到一个新的屏幕（比如打开设置菜单）时，它都必须忘记刚才所做的一切，从头重新阅读屏幕，并猜测下一步该做什么。

这就是目前大多数 AI 智能体的工作方式。它们就像在巨大而混乱的城市中患有失忆症的游客。

它们看到路牌（屏幕）。
它们猜测该往哪个方向走。
它们迈出一步。
然后，它们看到新的路牌，忘记了之前的路牌，再次进行猜测。

如果它们在早期犯了一个小错误，就会迷路。它们可能会走进死胡同（错误的 App 界面），并继续猜测，浪费时间和金钱。这被称为“脆弱”的系统，尤其是对于像“打开蓝牙，然后找到一张特定照片，再将其通过邮件发送”这样的长任务而言。

解决方案：EAM（“活地图”）

作者提出了一种名为可执行代理记忆（Executable Agentic Memory, EAM）的新系统。机器人不再猜测每一步，而是构建一个手机界面的结构化、动态的地图。

不要把 EAM 想象成一份文本笔记列表，而要把它想象成一张巨大的、交互式的地铁地图。

站点：这些是你手机上的不同屏幕。
轨道：这些是你可点击的按钮和操作。
连接：地图确切地知道哪个按钮通向哪个屏幕。

一旦这张地图构建完成，机器人就不需要“猜测”点击按钮后会发生什么。它只需查看地图，看到轨道，然后跟随它即可。

如何构建地图（离线阶段）

在机器人可以使用地图之前，必须先有人绘制它。论文描述了一种聪明的方法，可以在不浪费时间的前提下完成这项工作：

探索者（DFS）：想象派出一位非常有条理的探索者进入手机的应用程序中。他们不是随机游荡，而是使用“深度优先搜索”策略。他们沿着一条路径尽可能深入，标记死胡同，然后回溯以尝试下一条路径。这确保了他们在不陷入死循环的情况下找到所有可能的路线。
压缩器（动作组挖掘）：有时，一个任务需要连续点击五个按钮（例如，“打开设置” -> “网络” -> "Wi-Fi" -> “扫描”）。逐个执行这些操作非常缓慢。系统会寻找这些频繁出现的模式，并将它们粘合成一个单一的“超级按钮”（就像地铁的快车一样）。这使得地图更小，导航速度更快。

机器人如何使用地图（在线阶段）

当你给机器人一个任务（例如“打开 Wi-Fi"）时，它不会只是猜测。它会使用GPS 导航仪在地图上找到最佳路线。

GPS（Q 模型）：机器人拥有一个小型、智能的大脑（一个轻量级 AI 模型），它充当 GPS。它查看地图并说：“如果我走这条轨道，有 90% 的几率到达目标。如果我走那条，只有 10% 的几率。”
搜索（MCTS）：机器人在脑海中模拟几条可能的路线（就像在谷歌地图上查看交通状况一样），以挑选绝对最佳的路径。
执行：一旦选定路径，机器人就会执行步骤。由于路径来自经过验证的地图，因此它保证是有效的。它不会意外点击不存在的按钮或导致屏幕损坏。

为什么这很重要

该论文声称，这种方法解决了三个主要问题：

可靠性：因为机器人遵循预先验证的地图，所以它不会迷路或产生幻觉（编造内容）。这就像遵循地铁地图，而不是向可能正在猜测的陌生人问路。
速度：机器人快得多。它不需要让一个庞大、缓慢的 AI（如 GPT-4）思考每一个步骤，而是使用一个小型、快速的 AI 来读取地图。论文指出，其计算成本降低了 6 倍，每一步仅需2.8 秒。
长任务：它可以处理漫长而复杂的任务，而不会忘记起点。地图将整个旅程保持在视野之中。

结果

研究人员在真实的 Android 手机任务上测试了该系统。

成功率：他们的系统以显著优势（最高提升 19.6%）击败了当前最佳的 AI 模型（如 UI-TARS-7B）。
效率：与大型云端模型相比，它使用的计算机资源（tokens）要少得多。

总结类比

旧方法：一个游客试图通过在每个路口向不同的陌生人问路来穿越城市。他们感到疲惫、困惑，并且经常走到错误的街区。
EAM 方法：一个拥有完美预绘地铁地图和智能 GPS 的游客。他们确切地知道该乘哪趟车、在哪一站下车，并且永远不会迷路。他们快速、廉价且可靠地到达目的地。

该论文得出结论，通过将手机界面视为结构化机器（即地图），而不是一系列需要猜测的随机图像，我们可以使 AI 智能体在长期自动化任务中变得更加可靠和高效。

技术摘要：面向 GUI 智能体的可执行代理记忆

1. 问题陈述

现代 GUI 智能体通常由大型语言模型（LLM）驱动，在模型为中心、逐步交互的范式下运行。在此范式中，LLM 必须在每个屏幕处重新解释用户界面（UI）并重新决策动作。这种方法对于长视野任务而言 inherently 脆弱，因为微小的感知或推理错误会累积，导致幻觉动作和错误的绕路。此外，在上下文窗口中维护任务进度效率低下，且依赖重复生成会引入高延迟和 Token 成本。

现有通过注入外部知识（例如工作流模式或向量数据库）来提高鲁棒性的尝试往往仍不可靠。这些方法通常依赖 LLM 的上下文理解来对检索到的文本进行推理，未能利用历史轨迹固有的结构化信息。因此，它们难以可靠地复现可执行路径，并因重复的逐步生成和检索而 incur 高昂成本。

2. 方法论

本文提出了可执行代理记忆（EAM），这是一个将 GUI 规划从自由形式生成转变为基于结构化**知识图谱（KG）**的稳健检索与执行过程的框架。该系统包含两个主要阶段：

A. 离线知识图谱构建

目标是构建环境交互逻辑的持久化结构化表示（ $G = (S, A, E)$ ），其中 $S$ 代表 GUI 状态， $A$ 代表动作， $E$ 代表转换。

自主探索：系统采用面向任务、状态感知的深度优先搜索（DFS）策略。多模态大语言模型（MLLM）基于可交互元素（锚点）生成候选子目标，并评估进度（继续、回溯或完成）。这确保了任务相关转换的全面覆盖，同时自然地形成前缀树结构。
转换感知知识挖掘：收集到的轨迹被合并为有向无环图（DAG）。双层过滤机制（嵌入相似度后接视觉 - 语言模型验证）处理状态去重。从状态转换中提取语义属性（页面描述和动作函数）以丰富图谱。
动作组挖掘：为了压缩多步常规操作，作者提出了一种受字节对编码（BPE）启发的统计方法。频繁相邻的动作对被迭代合并为新的“动作组”节点，将知识图谱从原子操作转变为可重用的高级技能层次结构。

B. 在线知识增强推理

给定用户指令，智能体使用**价值引导的蒙特卡洛树搜索（MCTS）**从知识图谱中提取可执行路径。

Q 模型引导的 MCTS：与将 Token 映射到图谱的生成式智能体不同，该智能体直接在图谱拓扑上操作。轻量级 Q 函数模型（ $Q_\theta$ ）预测状态 - 动作对的任务成功概率。MCTS 算法利用该 Q 模型初始化节点值，并通过 UCT 准则引导搜索，从受限的动作空间中选择高回报路径。
自训练流程：Q 模型通过迭代过程进行优化：
- 初始化：利用 Bradley-Terry 排序损失，在专家轨迹上通过偏好学习进行训练，以建立初始动作排序。
- 迭代优化：智能体利用当前 Q 模型引导执行 MCTS 以生成搜索树。目标 Q 值通过自底向上的贝尔曼备份计算（对均匀随机策略取平均）。随后，模型使用这些软标签通过二元交叉熵损失进行更新，逐步提升其区分有希望路径的能力。

3. 理论贡献

本文为所提出的框架提供了理论保证：

偏差一致性：作者确立了所学 Q 模型在最优路径恢复所需的关键状态 - 动作集上，与参考价值函数（ $Q_{\pi_u}$ ）具有偏差一致性。随着训练样本数量的增加，误差界会降低。
样本复杂度：推导了 MCTS 过程的有限样本复杂度界。分析表明，恢复最优路径所需的模拟次数随视野和分支因子呈多项式增长，并与有效动作间隙的平方成反比。关键在于，随着 Q 模型的改进（偏差降低），所需的 MCTS 模拟次数减少。

4. 实验结果

该方法在三个基准测试上进行了评估：AndroidWorld、MobileMiniWob++ 和 DroidTask。

性能：EAM 显著优于最先进（SOTA）的基线模型。在 AndroidWorld 上，其实现了 52.6% 的成功率，比 SOTA 模型 UI-TARS-7B（33.0%）高出 19.6%。它还优于基于 GPT-4o 的框架（如 M3A，40.5%），并在使用较小的 3B 参数模型进行路径提取的情况下，取得了与更大的知识增强智能体（如 AppAgentX 和 GUI-Explorer）相当的结果。
效率：与 GPT-4o 相比，EAM 将 Token 成本降低了约 6 倍（每步 8.3K Token 对比 50.8K Token），并实现了 2.8 秒 的平均延迟。这种效率源于“先规划后执行”的框架，该框架仅需一次云端调用即可过滤检索到的路径，而无需为每一步进行迭代 API 调用。
消融研究：
- 自训练：迭代自训练在不同模型规模（0.5B 至 3B）下 consistently 提高了成功率。
- 动作组：将频繁序列合并为动作组显著降低了搜索复杂度和延迟。
- 泛化性：在一个环境（AndroidWorld）上训练的 Q 模型在未见过的环境（DroidTask、MobileMiniWob++）上提升了性能，表明该模型捕捉到了可迁移的 GUI 导航模式。

5. 意义与主张

本文主张，EAM 通过将知识图谱不仅仅视为用于上下文注入的检索源，而是视为一个可执行状态机，代表了 GUI 智能体的范式转变。

可靠性：通过将决策制定建立在有效转换的结构化图谱之上，EAM 保证了智能体保持在可执行路径上，减轻了自由形式生成中常见的幻觉问题。
效率：动作组压缩与价值引导搜索的结合，使得小模型能够以低延迟和低成本执行长视野任务，弥合了小语言模型与前沿 LLM 之间的推理差距。
可扩展性：理论保证和实证结果表明，该方法具有可扩展性和鲁棒性，为实现可靠、实时的 GUI 自动化提供了一条可行路径，而无需当前基于云、逐步生成方法所 prohibitive 的成本。

作者承认了关于 UI 环境相对静态这一假设的局限性，指出显著的应用程序更新可能需要增量图谱演化的机制，这仍是未来工作的方向。