💻 computer science

AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents

本文提出了 AndroTMem 诊断框架及其基准，揭示了长程 GUI 代理性能下降主要源于任务内记忆失效，并据此设计了锚定状态记忆（ASM）机制，通过紧凑的因果中间状态锚点显著提升了代理在长序列任务中的完成率和记忆效率。

原作者： Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang, Chengdong Xu, Jingqi Liu, Xueying Ma, Zhiwen Zheng, Xiaofei Zhang, Bincheng Wang, Nichen Yang, Jie Wu, Lihua Tian, Chen Li, Xuming Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 背景：为什么现在的 AI 助手容易“断片”？

想象一下，你给一个实习生布置了一个任务：

“去京东和淘宝比价，把便宜的那个加入购物车，然后生成一个链接发给微信上的 Alice，并附上‘发现更便宜的了’这句话。”

这个任务看起来简单，但中间有30 到 60 个步骤：打开 APP、搜索、翻页、截图、记价格、切换 APP、复制链接、打开微信、找联系人、发消息……

现在的 AI 助手（就像那个实习生）遇到了什么麻烦？

记不住重点：它可能记得第一步打开了京东，但到了第 30 步要发消息时，它完全忘了第 10 步在京东看到的具体价格是多少。
信息过载：如果让它把每一步都“背”下来（比如把 30 张截图和 30 句操作全读一遍），它的大脑（内存）会爆炸，而且全是废话，找不到重点。
总结太粗糙：如果让它只记“摘要”（比如“我查了价格”），它又忘了具体是哪个价格，导致后面决策错误。

结果就是：任务步骤越长，AI 犯错率越高。它不是看不懂屏幕，而是记不住中间的关键信息。

2. 解决方案：AndroTMem（给 AI 装上“记忆锚点”）

作者们提出了一个叫 AndroTMem 的框架，核心思想是**“锚定记忆”（Anchored Memory）**。

🧠 核心比喻：从“流水账”到“关键路标”

以前的做法（全量回放）：
就像让实习生把过去 30 分钟说的每一句话、做的每一个动作都原封不动地复述一遍给老板听。老板听得头昏脑涨，根本抓不住重点。
- 缺点：废话太多，关键信息被淹没。
以前的做法（粗略总结）：
就像让实习生只写一句总结：“我查了价格，买了东西，发了消息。”
- 缺点：太模糊了！老板问“哪个东西？多少钱？发给谁？”实习生答不上来。
AndroTMem 的做法（锚定记忆 ASM）：
就像给实习生发了一张**“关键路标地图”。它不需要记流水账，只需要记住几个“锚点”（Anchors）**：
1. 锚点 A：京东价格 = $1249（这是关键数据）。
2. 锚点 B：淘宝价格 = $1329（这是关键数据）。
3. 锚点 C：决定买京东的（这是因果逻辑）。
4. 锚点 D：Alice 的微信号已复制（这是关键状态）。
这个“锚点”系统的好处：
- 只记干货：只存那些决定下一步行动的关键信息。
- 有逻辑链条：它知道“锚点 C"是建立在“锚点 A"和“锚点 B"之上的。如果忘了 A 和 B，C 就没意义了。
- 随时调用：当需要发消息时，AI 直接去查“锚点 D"，而不是去翻 30 步前的聊天记录。

3. 他们做了什么实验？（AndroTMem-Bench）

为了证明这个方法有效，作者们造了一个**“魔鬼训练场”**（Benchmark）：

1069 个长任务：平均每个任务有 32 步，最难的有 65 步。
跨 APP 协作：必须同时操作京东、淘宝、微信等多个软件。
强依赖：后面的步骤必须依赖前面的结果（比如：不记住价格，就无法决定买哪个）。

测试结果：
他们测试了 12 种不同的 AI 模型（包括 GPT-4o, Gemini, Qwen 等）。

发现：随着任务变长，所有 AI 的表现都大幅下降。
原因：不是因为 AI 变笨了，而是因为**“记不住中间状态”**。
改进：一旦给这些 AI 装上“锚定记忆（ASM）”，它们的成功率提升了 5% 到 30%！这就像给实习生配了一个智能笔记本，让他随时能查到关键数据，不再靠死记硬背。

4. 总结：这篇论文告诉我们什么？

这篇论文就像是在说：

“想要 AI 真正帮人类处理复杂的日常琐事（比如网购、订票、处理报销），光靠‘大眼’（看得清屏幕）和‘大脑’（能推理）是不够的，还得给它配一个**‘好记性’**。

以前的 AI 像是一个过目不忘但记不住重点的“复读机”，或者一个只会写大纲的“摘要员”。
AndroTMem 给 AI 装上了一个‘关键路标系统’，让它知道在漫长的任务中，哪些信息是必须死死抓住的‘锚’，从而不再在复杂的步骤中迷路。

一句话总结：
让 AI 从“死记硬背全过程”转变为“只记关键路标”，它就能更靠谱地完成那些需要几十步操作的复杂任务了。

这篇论文提出了 AndroTMem，一个针对长程（Long-Horizon）Android GUI 智能体的交互记忆诊断框架，并引入了 Anchored State Memory (ASM) 机制来解决长任务中的记忆瓶颈问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着多模态大语言模型（MLLMs）的发展，GUI 智能体已从执行单步命令转向能够感知、推理并连续执行复杂任务的智能体。然而，当任务跨度（Horizon）延长至数十步甚至跨多个应用时，现有智能体的性能急剧下降。

核心瓶颈：现有研究指出，长程任务失败的主要原因并非感知错误或局部动作失误，而是交互记忆（Interaction Memory）的失效。
现有方法的局限性：
- 全序列回放（Raw Replay）：冗余且放大噪声，随着步骤增加导致上下文过长，稀释关键信息。
- 摘要（Summaries）：往往过于粗糙，丢失了对下游决策至关重要的细粒度中间状态和依赖关系。
现有基准的缺陷：大多数现有基准（如 AITW, AndroidWorld 等）的任务步骤较短或步骤间依赖松散，无法有效评估智能体在长程任务中保留和复用关键中间状态的能力。

2. 核心贡献与方法 (Methodology & Contributions)

A. AndroTMem-Bench：长程 GUI 记忆基准

为了诊断和评估长程记忆能力，作者构建了 AndroTMem-Bench：

规模：包含 1,069 个真实任务，跨越 50 个应用，总计 34,473 个交互步骤（平均每个任务 32.1 步，最长 65 步）。
设计特点：
- 强因果依赖：任务被刻意设计为具有强烈的步骤间因果依赖（Step-to-Step Causal Dependencies）。后续步骤的成功依赖于早期提取的稀疏中间状态（如价格、选定的商品、联系人等）。
- 意图驱动：任务基于 8 种用户意图（如查找、比较决策、购买、分享等）构建，涵盖跨应用工作流。
- 状态锚点（State Anchors）：在轨迹中标注了稀疏的“状态锚点”，用于标记关键的中间状态变化，作为评估记忆保留能力的依据。
评估指标：
- TCR (Task Complete Rate)：任务完成率。不仅看最终结果，更关注是否正确地保留并复用了决定下游决策的关键中间状态。
- AMS (Action Matching Score)：单步动作匹配率。

B. 诊断发现 (Diagnosis)

通过在 12 个开源和闭源 GUI 智能体上的系统性评估，研究发现：

随着交互序列变长，性能下降主要由任务内的记忆失败驱动，而非感知或局部动作错误。
现有智能体难以在长序列中维持和检索稀疏但关键的中间状态（如“比较出的更便宜商品”），导致后续决策（如“加入购物车”）基于错误或缺失的信息。

C. Anchored State Memory (ASM)：锚定状态记忆

针对上述问题，作者提出了 ASM 机制，这是一种结构化的历史表示方法：

核心思想：不再回放完整轨迹或生成自由文本摘要，而是将交互历史组织为因果链接的中间状态锚点（Causally Linked Intermediate-State Anchors）。
锚点结构：每个锚点 $m_k$ $m_{k}$ 包含：
- Type：功能角色（如子目标完成、状态切换、依赖步骤、异常处理、全局上下文、任务完成）。
- Content：语义信息。
- Evidence：支撑该锚点的 UI 观测证据（截图/坐标）。
- Links：与其他锚点的因果依赖关系（如“更便宜商品”依赖于“京东价格”和“淘宝价格”两个锚点）。
工作流程：
1. 检索 (Retrieve)：根据当前 UI 状态和指令，从记忆库中检索最相关的锚点子集。
2. 决策 (Act)：结合当前状态和检索到的锚点进行动作预测。
3. 更新 (Update)：分析当前步骤，决定是否需要创建新锚点、更新旧锚点或建立新的依赖链接。

3. 实验结果 (Results)

在 AndroTMem-Bench 上对 12 个 GUI 智能体（包括 GPT-4o, GPT-5, Gemini 系列，Qwen, UI-TARS 等）进行了评估：

性能提升：
- 相比全序列回放（Raw）和摘要（Summary）基线，ASM 在所有模型上均表现最佳。
- TCR 提升：5% 到 30.16%。
- AMS 提升：4.93% 到 24.66%。
- 例如，Gemini-2.5-Pro 的 TCR 从 41.11% 提升至 63.40%。
鲁棒性：ASM 在长步骤范围（40-69 步）内保持了较高的性能，而 Raw 和 Summary 策略的性能随步数增加显著下降。
效率：ASM 的 Token 消耗和推理时间优于全序列回放，与摘要策略相当，实现了效率与效果的更好平衡。
失败模式分析：ASM 有效缓解了四种主要失败模式：状态丢失（State Loss）、状态错误绑定（State Mis-binding）、上下文漂移（Context Drift）和未验证的进度（Unverified Progress）。

4. 意义与结论 (Significance & Conclusion)

理论意义：首次明确指出了长程 GUI 任务中“记忆瓶颈”是性能下降的主因，并证明了结构化、因果感知的中间状态表示比原始轨迹或粗糙摘要更有效。
实践价值：
- AndroTMem-Bench 为评估长程 GUI 智能体的记忆能力提供了标准化的、具有挑战性的基准。
- ASM 提供了一种通用的、可插拔的记忆模块，显著提升了现有智能体在复杂跨应用工作流中的可靠性。
未来展望：该工作为构建能够处理真实世界长程任务（如跨天、跨会话、动态环境）的可靠智能体奠定了基础。代码、基准和相关资源已开源。

总结：AndroTMem 通过构建强依赖的长程基准，揭示了现有智能体在记忆管理上的短板，并提出了“锚定状态记忆（ASM）”这一创新方案，通过因果链接的结构化锚点实现了高效、精准的长程任务执行，显著推动了 GUI 智能体从“单步执行”向“长程规划”的演进。