💻 computer science

FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory

FocusMem 引入了一种用于 GUI 智能体的创新潜层记忆框架，该框架通过将记忆分解为角色感知的内容存储、状态条件的读取以及用于选择性过滤无关信息的信任门控，从而克服了现有方法中固定记忆压缩和监督机制的局限性，进而提升了性能。

原作者： Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在巨大的、混乱的数字购物中心中导航。这个被称为“GUI智能体”的机器人不仅仅是盯着屏幕看，它还必须点击按钮、输入搜索内容并滚动页面来完成一项任务，比如购买特定款式的鞋子或在维基百科上查找一个事实。棘手之处在于，这个机器人只有极短的短期记忆。它只能看到当前的屏幕和最后执行的几步操作。如果一项任务需要二十步，到第步二十时，机器人往往已经忘记了第一步做了什么。

为了解决这个问题，科学家们尝试给机器人一个存储记忆的“背包”。他们并没有向机器人展示它做过的每一次截图和点击（那就像是为了买一支铅笔而去阅读整部百科全书一样），而是将这些历史记录压缩成一个微小的、高密度的摘要。你可以把它想象成把一整部电影挤进一张明信片里。然后，机器人可以通过瞥一眼这张明信片来回忆发生了什么。然而，以往这种“明信片”方法有一个重大缺陷：它们试图将所有内容塞进一个静态的摘要中。这就像是试图写一个句子，既要解释“如何烤蛋糕”（对未来的烘焙有用），又要说明“我刚刚把面粉放进了碗里”（对现在的进度有用）。其结果往往是一个困惑的机器人，它要么忘记了食谱，要么卡在了搅拌的过程中。

这正是名为 FocusMem 的新研究发挥作用的地方。研究人员与来自顶尖大学的计算机科学家合作，意识到问题不仅在于机器人的记忆量有多大，而在于其记忆是如何组织的。他们提出，一个优秀的记忆系统需要承担三个截然不同的职责，就像人类的大脑一样。首先，它需要存储正确类型的信息（例如：食谱 vs. 进度报告）；其次，它需要根据机器人当前正在进行的操作，以不同的方式去读取信息；第三，它需要一个“保镖”来决定一段记忆是否值得关注，或者它是否仅仅是干扰性的噪音。

该论文介绍了 FocusMem，这是一个将“明信片”拆分为三个专业部分的系统。FocusMem 不再强迫一个记忆块承担所有职责，而是创建了一个“内容基底”（Content Basis），学习将可重复利用的经验与当前的进度分开。接着，它使用“状态调节读取”（State-Conditioned Readout）来充当聚光灯，仅照亮对当前决策有意义的记忆部分。最后，它增加了一个“信任门控”（Trust Gate），这是一个智能过滤器，用于检查检索到的记忆是否真的相关，或者它是否只是来自不同任务的、随机且令人困惑的记忆，从而决定是否应该忽略它。

当团队在涉及网页购物和信息搜索的五个不同基准测试中测试这个新系统时，结果非常明确。FocusMem 的表现始终优于那些完全没有记忆的机器人、那些试图回放完整视频历史的机器人，以及使用旧版记忆压缩方法的机器人。事实上，在一些困难的购物任务中，与之前最好的方法相比，新系统的成功率提高了近 18 个百分点。这项研究表明，通过将“保留什么”、“如何查看”以及“是否信任”进行分离，我们可以构建出更聪明、更高效的数字助手，让它们不会迷失在自己的过去之中。

技术摘要：FocusMem

问题陈述

GUI 智能体需要在两个互补的时间尺度上具备记忆能力：情景记忆（来自已完成任务的可重用证据）和工作记忆（当前交互中的约束与进度）。现有方法面临权衡：重放完整的多模态轨迹在计算上非常昂券，且会扩大策略上下文；而基于文本的记忆则会丢失关键的视觉或程序性细节。

潜在记忆（Latent memory）提供了一种解决方案，即将多模态轨迹压缩为少量的连续 token。然而，目前的潜在记忆方法由于其将轨迹映射到单个、固定潜在块的“一次性（one-shot）”映射方式，存在三个特定的失效模式：

内容可恢复性（Content Recoverability）： 由于单个块必须同时服务于可重用的经验和当前任务的进度（两者对信息的需求不同），重要的细节可能会在压缩过程中丢失。
条件读取（Conditional Readout）： 固定记忆块无法适应不同的决策阶段。同一份压缩证据可能需要根据智能体是在搜索、过滤还是验证阶段，来突出轨迹的不同部分。
证据信任度（Evidence Trust）： 检索到的轨迹可能与当前的决策无关或不匹配，但固定的潜在块仍会影响策略，从而可能误导智能体。

方法论：FocusMem

FocusMem 通过将潜在记忆接口分解为三个截然不同的职责来解决这些问题：内容构建（Content Formation）、状态调节读取（State-Conditioned Readout）以及证据信任（Evidence Trust）。该框架通过一个冻结的 GUI 策略运行，仅优化记忆路径。

1. 证据构建

情景证据（Episodic Evidence）： 从情景库中检索的完整轨迹。
工作证据（Working Evidence）： 当前交互历史中已过期的前缀片段。
两者都被映射到一个 $K$ -token 的潜在块中。

2. 分解后的潜在记忆

该架构由三个阶段组成：

阶段 A：角色感知的内容基底（哪些内容得以保留？）
- FocusMem 没有使用共享查询，而是为情景记忆和工作记忆引入了特定角色的基础查询 ( $Q_{0}^{ri}$ )。
- 语义监督： 通过 KL 散度损失确保潜在块保留了广泛可言语化的轨迹内容。
- 功能监督： 通过角色特定的伪目标损失 ( $\hat{v}^{ri}_i$ ) 确保该块保留了控制相关的关键信息（例如，情景记忆中的可重用程序，以及工作记忆中的状态变化）。
- 此阶段建立了一个独立于当前决策状态的稳定、角色特定的基础。
阶段 B：状态调节读取（现在暴露了什么？）
- 一个轻量级的**状态-项目适配器（state–item adapter）**根据当前决策状态 ( $u_t$ ) 和编码的项目生成残差查询 ( $\Delta Q_{t,i}$ )。
- 最终面向决策的块 ( $Z^{dynamic}_{t,i}$ ) 通过将动态查询与证据进行交叉注意力计算而生成。
- 这使得同一份存储的证据可以根据当前的交互阶段产生不同的潜在表示，从而仅呈现轨迹中相关的部分。
阶段 B：证据信任（是否应该使用它？）
- 一个轻量级的**信任门控（trust gate）**对每个面向决策的记忆块进行评分。
- 在推理期间，评分低于阈值 $\gamma$ 的块会被丢弃并从策略的注意力机制中移除。
- 训练使用直通（straight-through）HardConcrete 掩码，并注入高置信度的无关情景项，以教导门控如何抑制不匹配的证据。

3. 优化

训练分为两个阶段：

阶段 A： 使用固定查询以及语义/功能监督来训练角色感知的内容基底。
阶段 B： 从阶段 A 开始，启用动态查询残差和信任门控。在策略保持冻结的情况下，共同优化共享的压缩器、条件读取器和信任模块。

核心贡献

问题形式化： 作者围绕三个不同的职责（形成可恢复的内容、将其策略视图适配于当前决策、以及控制其对策略的影响）构建了紧凑的潜在 GUI 记忆模型。
FocusMem 框架： 一个冻结策略的潜在记忆框架，通过角色感知的内容基底、状态调节读取和独立的块级信任门控来实现这些职责。
全面评估： 在五个 GUI 智能体基准测试（MMInA-Wikipedia, MMInA-Shopping, DeepShop, WebVoyager, Online-Mind2Web）上进行了匹配评估，并通过针对性诊断隔离了性能提升的来源。

实验结果

FocusMem 与无记忆智能体、原始轨迹重放以及先前的潜在记忆改进方法（CoMEM 式、HyMEM 式、Mem-W 式）进行了对比评估。

性能： FocusMem 始终优于所有基线模型。在五个基准测试中，相比于完全匹配的“仅动作固定（Action-only Fixed）”基线，它将任务成功率（SR）提升了 10.8 到 18.0 个百分点。
效率： 它在实现这些增益的同时，保持了极度紧凑的记忆接口（在门控前最多 48 个潜在 token），并减少了每个任务执行的平均步数。
消融实验：
- 内容基底： 结合语义和功能监督可以为通用内容和角色特定信息提供最佳的可恢复性。
- 动态读取： 虽然在简洁证据下固定读取和动态读取表现相似，但在紧凑瓶颈下，当相关内容必须与额外的轨迹上下文竞争时，动态读取的表现显著更加稳健。
- 信任门控： 门控有效地抑制了注入的无关证据，防止了导致非门控基线性能下降的问题。

意义与主张

本文声称，有效的潜在记忆不仅取决于如何压缩过去的交互，还取决于保留什么、暴露什么以及允许什么来影响策略。通过分离这些职责，FocusMem 证明了：

情景记忆和工作记忆具有不同的角色，需要不同的内容保留策略。
同一条轨迹可以在不同的交互阶段提供不同的信息，而不是依赖于一个固定的摘要。
不匹配的证据可以在受限的上下文预算内被排除，从而防止智能体被检索到但无关的历史信息所误导。

作者得出结论，分离内容形成、状态调节读取和证据信任，可以产生一个紧凑且更强大的记忆接口，这表明未来的潜在记忆系统应当显式地建模这些不同的机制，而不是将记忆视为一个单一的、整体压缩的模块。