💬 NLP

Long-Horizon Embodied Decision-Making via Multimodal Memory Compression

本文介绍了 DunphyBench，这是一个用于评估符合人类偏好的长程具身决策的新基准，并提出了 MeMento，一种偏好条件的记忆压缩器，它通过解决原始多模态历史记录的瓶颈，在显著提高智能体准确性的同时大幅减少了内存使用。

原作者： Bingxuan Li, Rui Yang, Cheng Qian, Jiateng Liu, Jeonghwan Kim, Zhenhailong Wang, Manling Li, Tong Zhang, Heng Ji

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingxuan Li, Rui Yang, Cheng Qian, Jiateng Liu, Jeonghwan Kim, Zhenhailong Wang, Manling Li, Tong Zhang, Heng Ji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名私人助理来帮你寻找理想的公寓。你不仅仅想要一个只会开门的人，你想要的是一个能记住上百次看房细节的伙伴，能够将这些细节与你那些模糊的愿望（比如“我需要一个安静的地方做饭”或“我的狗需要一个阳光充足的位置”）进行对比，并最终为你挑选出最适合你生活的家。这就是具身智能（Embodied AI）的世界——在这里，计算机智能体不仅仅是在屏幕上聊天，它们还在虚拟世界中“行走”，观察房间并做出决策。这里最大的挑战是长程决策（long-horizon decision-making）：如何在长时间内追踪海量信息而不产生混乱或疲劳。就像人类在看了太多房子后会产生“决策疲劳”一样，这些数字智能体也经常被收集到的照片、地图和笔记的数量所淹没，从而导致做出错误的决策。

这篇题为《通过多模态记忆压缩实现长程具身决策》的论文，正是针对这一问题展开研究的。研究人员创建了一个名为 DunphyBench 的新测试集，它就像一场规模宏大、高风险的寻房模拟赛。他们发现目前的 AI 智能体表现得非常糟糕；即使是最聪明的智能体，其决策正确率也仅为 58%，而人类则能达到 83%。罪魁祸首是什么？是智能体溺死在了自己的历史记录中。当它们试图记住所看到的一切时，多余的信息反而成了噪音，让它们变得更笨。为了解决这个问题，团队开发了一个名为 MeMento 的新工具。你可以把 MeMento 想象成一个超高效的记忆过滤器，它会阅读智能体整个巡视过程的历史，只保留与用户需求匹配的微小且关键的笔记，并将其余信息丢弃。这个简单的技巧帮助 AI 的准确率提升了 7.18%，同时比以前节省了 85.38% 的内存，证明了有时，忘掉不重要的东西才是做出正确选择的关键。

寻房模拟赛

为了理解这为何重要，请想象研究人员正在为机器人设置一场大规模的“房屋猎人”游戏。他们构建了一个名为 DunphyBench 的基准测试，AI 智能体必须访问一系列虚拟房屋。智能体会获得一份用户偏好清单，其中既有明确的指令，如“我需要三间卧室”，也有微妙的暗示，如“我喜欢为朋友们下厨”（这隐含了对大厨房的需求）。智能体必须走遍每栋房子，观察房间，检查窗户，并清点物体。然后，它必须选出最符合所有线索的一栋房子。

研究人员设计得非常困难。他们不仅给 AI 设置了简单的任务，还加入了“干扰项”——即那些乍看之下很棒，但在某个特定细节上不达标的房子。他们还测试了两种思维类型：显性（Explicit）（规则清晰）和隐性（Implicit）（AI 需要猜测用户的真实意图）。

问题所在：记忆过多，感知不足

当他们运行测试时，结果令人警醒。表现最好的 AI 智能体也只能答对 58.3% 的题目，而人类测试者达到了 83.3%。差距巨大。研究人员深入挖掘了机器人失败的原因，发现了三个主要问题：

复杂度过载： 随着任务难度增加（更多的房间、更复杂的线索），AI 的性能大幅下降。当“干扰”房屋的数量增加时，准确率下降了 20 多个百分点。
“隐性”壁垒： 智能体很难读懂言外之意。当偏好比较模糊时（例如“我在家办公”），AI 比面对严格规则（例如“需要书桌”）时表现得要差得多。
记忆陷阱： 这是最大的惊喜。研究人员原以为给 AI 更多记忆（向它展示巡视过程中的每一张照片和每一条笔记）会有所帮助。然而事实恰恰相反，这往往会产生负面影响。当 AI 试图记住所有事情时，多余的信息变成了噪音，干扰了智能体，使其忘记了真正重要的内容。

事实证明，对于这些智能体来说，并非历史越多越好。事实上，超过一定限度后，添加未经筛选的记忆反而会让智能体表现变差。

解决方案：MeMento，记忆过滤器

为了解决“记忆陷阱”，团队发明了 MeMento。想象一下你在为旅行打包。你不是把整个衣橱都塞进行李箱，而是有一个聪明的助手，知道根据天气和活动你需要带什么。MeMento 对 AI 也是如此。

它是这样工作的：

过滤器： MeMento 查看用户偏好（例如“我需要一个安静的地方”）并创建一个特殊的“查询”。
压缩： 在 AI 探索房屋的过程中，MeMamente 会扫描每一张照片和每一条笔记。它会问：“这有助于回答用户的问题吗？”如果答案是否定的，它就会丢弃该信息。如果答案是肯定的，它会将该信息压缩成一个微小且高效的“记忆标记（memory token）”。
结果： 与旧方法向 AI 输入庞大的 60,000 个标记不同，MeMento 只向它输入一个精简且专注的摘要，大约只有 3,800 个标记。

结果：更聪明，更精简

实验表明，这种方法效果显著。当研究人员在 AI 智能体中使用 MeMento 时：

准确率提升： 智能体答对的题目增加了 7.18%（相对提升了 15.74%）。
内存节省： 它们使用的内存比之前的最强方法减少了 85.38%。
泛化能力： 团队还将 MeMento 测试于网页浏览任务（在线寻找特定物品），它在那里同样奏效，这表明这种“智能过滤”的想法不仅仅适用于找房子。

研究人员还进行了一项“记忆探测”测试，要求 AI 回忆巡视过程中的特定细节（例如“水槽附近是否有窗户？”）。MeMento 能够正确回答这些问题，成功率达 71.9%，这比其他任何方法都更接近完美的“先知（oracle）”得分。这证明了 MeMento 并非在随机删除信息，而是在保留正确的信息。

这意味着什么

论文指出，未来有用 AI 助手的发展方向不在于给它们无限的记忆，也不在于让它们读完每一本书。相反，在于教会它们忘掉不重要的东西。通过学习将经历压缩成对用户特定目标真正有意义的内容，这些智能体可以做出更好、更像人类的决策。虽然 AI 与人类之间的差距依然存在，但 MeMento 展示了一条清晰的路径：保持选择性，保持高效，并且只记住重要的东西。

技术摘要：通过多模态记忆压缩实现长时程具身决策

1. 问题定义

本文探讨了长时程、以人为中心的具身决策这一挑战。与专注于程序化规划或即时目标完成（例如“拿起杯子”）的标准具身任务不同，这种设置要求智能体在长期的交互过程中代表用户进行决策。核心问题涉及在多个具身环境（具体为住房）中进行导航，随着时间的推移积累多模态证据，并根据多维人类偏好选择最优候选方案。

识别出的关键挑战包括：

偏好不明确性： 用户偏好通常是隐性的、间接的或基于人格特征的（例如，“我经常做饭”暗示了对大厨房的需求），而非显性的检查清单。
长时程落地（Grounding）： 智能体必须将文本偏好与跨越多个环境和时间步的视觉观测联系起来。
记忆管理： 当前的智能体在管理大量积累的证据方面表现不佳。本文认为，未经处理的原始多模态历史记录会引入噪声，从而阻碍决策质量，导致记忆规模与性能之间存在非单调关系。

2. 方法论

2.1 DunphyBench：一个新的基准测试

为了系统地评估这一问题，作者引入了 DunphyBench，一个用于长时程以人为中心的具身决策基准测试。

任务： 智能体必须探索一组候选住房环境（由 ProcTHOR 生成），并选择最符合一组用户偏好的“黄金”环境。
结构： 每个实例包含一个偏好集（ $N=7$ ）和一个候选池（ $1 + 3M$ ），其中 $M$ 代表不同难度的干扰项（简单、中等、困难）。
偏好分类法： 偏好被分为七种语义类型：房间数量/类型、尺寸、窗户/采光、物体存在、物体计数、空间连通性以及材料/饰面。
赛道： 该基准测试包含两个赛道：
1. 显性（Explicit）： 偏好是结构化的约束（例如“3 间卧室”）。
2. 隐性（Implicit）： 偏好是需要推理的自然语言陈述（例如“我热爱烹饪”）。
评估指标： 准确率（正确的最终决策）、归一化满意度比例（部分正确性）以及探索效率（步骤数与准确率之间的平衡）。

2.2 MeMento：偏好调节的多模态记忆压缩

受“过量上下文会降低性能”这一发现的启发，作者提出了 MeMento，一个旨在从长时程历史中选择性压缩决策相关信息的框架。

架构： MeMento 是一个偏好调节的 Perceiver 式模块，使用一组固定的可学习记忆 Token（查询）来压缩原始多模态历史。
编码：
- 偏好编码： 用户需求（显性或隐性）被转化为关键词，并汇聚为一个单一的偏好嵌入（ $\bar{z}_r$ ）。
- 步骤编码： 每个探索步骤（第一视角、地图视角、观测、动作）被编码为步骤表示，并辅以时间及环境 ID。
压缩机制：
- 偏好调节的查询（Queries）： 通过投影网络（ $Q_r = Q_0 + \phi(\bar{z}_r)$ ）将偏好嵌入注入可学习的查询中。
- 层级化压缩： 查询在每个环境中独立地对步骤表示进行注意力计算（交叉注意力），随后通过自注意力融合跨步骤的信息，生成紧凑的环境级 Token。这些 Token 被拼接形成全局记忆 Token。
注入： 压缩后的 Token 通过一个可训练的适配器（Adapter）投影到冻结的 VLM 嵌入空间中，并作为结构化前缀附加到当前提示词（Prompt）之前。
训练策略：
- 阶段 1（偏好引导）： 训练压缩器预测步骤级的偏好相关性得分，并将注意力权重与相关性标签对齐。
- 阶段 2（对齐）： 训练压缩器和适配器，使压缩后的记忆能够通过偏好相关的问答任务被冻结的 VLM 读取。

3. 关键结果

3.1 基准测试评估 (DunphyBench)

人类与智能体的差距： 存在显著的性能差距。表现最好的智能体配置（GPT-5.4 结合多模态记忆且不使用工具）达到了 58.3% 的准确率，而人类标注者的准确率为 83.3%。
复杂度敏感性： 性能随任务复杂度增加而剧烈下降。随着难度从简单变为困难，准确率从约 49% 降至约 25%（显性）以及从约 26% 降至约 16%（隐性）。
隐性偏好瓶颈： 与显性偏好相比，智能体在处理隐性偏好时表现得非常吃力（在简单设置下分别为 26.7% 和 49.1%）。
记忆的影响： 在某些模型中，加入多模态记忆使准确率几乎翻倍。然而，未经处理的记忆缩放是非单调的；性能在适中的历史长度（15 个回合）处达到峰值，并随着上下文过多而因噪声而下降。

3.2 MeMento 性能

准确率提升： 在 DunphyBench 上，MeMento 将基座模型（Qwen3VL-8B）的准确率在最强基线的基础上提高了 7.18%（绝对值）和 15.74%（相对值）。
记忆效率： 与最强的基线 多模态（近期）记忆（约 60K tokens）相比，MeMento 将记忆使用量减少了 85.38%，仅使用了约 3.8K tokens。
消融实验：
- 移除偏好调节导致最大的性能下降（从 52.78% 降至 15.67%），证实了偏好落地（Grounding）的关键作用。
- 移除视觉记忆或层级化压缩会导致中度性能下降，凸显了多模态证据与结构化聚合之间的协同作用。
泛化能力： MeMento 在 100 个 Web 智能体任务（Embodied Web Agent）上进行了测试，仅使用 512 个 tokens 就实现了 83% 的成功率，优于近期记忆（使用 4.5k tokens 成功率为 69%）和文本摘要方法（使用 1k tokens 成功率为 72%）。

4. 意义与主张

本文主张，有效的长时程多模态记忆管理，而非仅仅扩大上下文窗口，才是构建鲁棒决策智能体的关键。

诊断： 本研究指出，原始的多模态历史记录会引入噪声，从而阻碍决策质量，并且当前的智能体无法有效地追踪已访问状态或在长时程内聚合证据。
解决方案： MeMento 证明，基于用户偏好选择性地压缩历史信息，可以使智能体保留与决策相关的关键信息，同时丢弃噪声，从而显著提高准确性和效率。
基准贡献： DunphyBench 提供了一个必要的评估框架，该框架超越了程序化规划，旨在测试智能体推理隐性偏好以及在长时程、多环境证据之上进行推理的能力。

作者总结道，他们的方法可以作为长时程具身决策的一个改进基准，其应用范围可以从住房任务泛化到基于 Web 的决策场景。