🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM 是一个面向《我的世界》具身智能体的新颖框架，它利用慢速审慎推理与快速反射执行的双系统架构，将记忆从推理时检索转化为参数驻留技能，其中失败作为对比学习的关键训练信号，且一种自触发机制自主决定何时内化经验，从而在避免灾难性遗忘的同时实现持续学习。

原作者： Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩《我的世界》（Minecraft）。目前，大多数机器人的学习方式就像一个从不记忆任何东西的学生。每次它们面对僵尸或需要建造熔炉时，都必须停下来，打开一本记录过往经验的巨大笔记本，搜索类似的故事，阅读它，然后尝试弄清楚该做什么。这既缓慢，又消耗大量“大脑空间”（计算机内存），而且如果笔记本变得太大，它们就会感到困惑。

PEAM（参数化具身智能体记忆）是一种改变游戏规则的机器人学习新方法。它不再仅仅依靠一本笔记本，而是帮助机器人将其经验内化。它将“我记得我是怎么做到的”转变为“我知道该怎么做”。

以下是其工作原理，分解为简单的概念：

1. 双脑系统：思考者与执行者

PEAM 使用一个“慢速”和一个“快速”的大脑协同工作：

慢速思考者（深思熟虑的大语言模型）： 这是专家级规划者。它深入思考、编写代码、规划复杂步骤，并尝试解决难题。如果失败，它会找出原因并再次尝试。
快速执行者（参数化技能）： 这是反射性的肌肉记忆。一旦慢速思考者解决了一个问题（例如合成一把剑），它不会仅仅保存这个故事，而是直接将这项技能传授给快速执行者。下次，快速执行者可以立即完成，无需询问慢速思考者。

2. “内化”过程：从笔记本到肌肉记忆

想象一下学习骑自行车。起初，你必须思考如何保持平衡、踩踏踏板和转向（慢速思考者）。最终，你无需思考就能做到（快速执行者）。PEAM 为机器人自动化了这一过程。

从失败中学习： 大多数机器人会忽略错误，或者仅仅将它们作为文本笔记记录下来。PEAM 将失败视为训练信号。它查看“失败尝试”以及修正它的“纠正措施”。它教导机器人：“不要做 X（失败）；要做 Y（纠正）。”这就像教练说：“你摔倒是因为向左倾斜太多；下次要向右倾斜。”
“值得性”评分： 机器人不会学习一切。它有一个过滤器（称为参数化值得性），会问：“这项技能是否足够有用值得记忆？它是否稳定？是否是我们经常做的事情？”如果答案是肯定的，它就会被内化。如果只是一次性的偶然事件，它就留在笔记本中。

3. “专用健身房”（隔离适配器）

这是该论文防止“遗忘”的最大创新。
想象一个拥有不同房间的健身房：一个合成室、一个战斗室和一个耕种室。

在旧系统中，学习战斗可能会意外覆盖机器人对合成的掌握（就像弄混了你的健身衣物）。
在 PEAM 中，机器人拥有物理隔离的房间（称为适配器）。当它学习战斗时，只更新“战斗室”。“合成室”保持原样。这意味着机器人可以永远学习新技能而不会忘记旧技能。

4. 自我触发的闹钟

机器人如何知道何时停止练习并开始记忆？

旧方法： “让我们练习 100 次，然后记忆。”（这很僵化，可能会过早或过晚记忆。）
PEAM 方法： 机器人拥有一个自我触发的闹钟。它观察自己的失败率。如果它在特定任务上的失败频率高于平时，闹钟就会响起：“嘿，我们在这个问题上遇到了困难。让我们停下来，立即内化解决方案。”无论任务是什么，这都能发挥作用，无需人类设定具体的数字。

为什么这更好？

该论文在《我的世界》中测试了这种方法，发现了三个主要优势：

速度： 因为机器人不必每次都搜索笔记本，它的行动速度快得多（在测试中快了约 40%）。
效率： 它使用的计算资源少得多（需要处理的“文本”减少了约 85%），因为它不需要重读旧故事。
不遗忘： 由于“专用房间”的存在，学习一个新的战斗动作并没有让机器人忘记如何建造房屋。

总结

PEAM 就像是将一个依赖教科书回答每一个问题的学生，转变为一个真正掌握了技能的专家。它通过实践学习，从错误中学习，将不同技能分开以保持不混淆，并确切知道何时停止练习并开始记忆。其结果是一个更快、更聪明且不会忘记所学内容的机器人。

技术摘要：PEAM - 参数化具身智能体记忆

1. 问题陈述

当前基于大语言模型（LLM）的具身智能体，特别是在像《我的世界》（Minecraft）这样的复杂环境中，严重依赖非参数化记忆。在这些系统中，过去的轨迹、反思和技能被外部存储（例如在向量数据库或技能库中），并在推理时重新注入到提示词中。虽然这允许进行回忆，但也带来了显著的局限性：

延迟与成本：每个决策周期都需要检索和序列化过去的经验，增加了上下文窗口的使用量和推理延迟。
静态策略：智能体的底层参数化策略（骨干模型或可训练模块）在任务间保持不变。即使外部库不断增长，智能体也不会“学会”更高效地执行技能；它仅仅是检索这些技能。
缺乏巩固：现有系统处理经验的获取（通过技能库），但缺乏巩固机制——即将选定的情景痕迹转化为持久、内化的参数化能力的过程。

该论文提出，认知系统中的持久记忆源于两个互补的系统：一个快速的情景存储和一个缓慢的、分布式的参数化存储，两者通过离线巩固相耦合。PEAM 旨在为具身智能体实现这一目标，通过创建一条路径，使经验能够从外部回忆转移到智能体的可训练参数中。

2. 方法论

PEAM（参数化具身智能体记忆）是一个双层框架，旨在将经验内化为参数化技能。

架构

慢层（深思熟虑型）：一个大型 LLM（例如 GPT-4o）处理开放式推理、代码合成和结果验证。它探索环境、检测失败并生成修正后的轨迹。
快层（参数化型）：基于 Qwen3-VL-8B-Instruct 骨干构建的多模态混合专家（MoE）LoRA 架构。它以低延迟反射性地执行已巩固的技能。
情景存储：一个外部存储器，用于暂存由慢层生成的成功轨迹和失败 - 修正对。

核心机制

PEAM 解决了三个关键问题：内化什么、何时内化以及如何内化。

A. 如何：成功与失败 - 修正巩固

PEAM 将失败视为一等训练信号。情景存储包含：

成功轨迹（ $D_{succ}$ ）：经验证的成功执行记录。
失败 - 修正对（ $D_{cpair}$ ）：在同一上下文下，失败轨迹（ $\tau_f$ ）与随后的修正成功（ $\tau_c$ ）组成的配对。

快模块使用联合目标更新特定的按类别隔离的适配器（ $\theta_c$ ）：
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

行为克隆（BC）：确保适配器学习动作解析器正常运行所需的绝对句法支架（例如代码包装器）。
PEAM-DPO（直接偏好优化）：一种对比损失，其中修正后的轨迹优于失败轨迹。这教导智能体如何修正动作，而不仅仅是什么能成功。
隔离：更新仅限于特定的类别适配器（例如制作、战斗），防止干扰其他技能。

B. 什么：参数化价值（PV）评分

并非所有经验都应被内化。PEAM 使用评分函数根据以下标准对候选者进行排名：

成本节约（ $U_{cost}$ ）：估计节省的检索成本（频率 $\times$ 代码长度）。
稳定性（ $U_{stab}$ ）：在不同上下文中的成功一致性。
冗余度（ $P_{redun}$ ）：对与已内化技能相似性的惩罚。
遗忘风险（ $R_{forget}$ ）：一个结构代理指标；如果某项技能与现有参数共享类别，则存在干扰风险（尽管隔离缓解了这一点，但评分仍考虑了类别身份）。

只有 PV 评分处于前 $q$ 分位数的候选者才会被考虑进行巩固。

C. 何时：自触发巩固（STC）

PEAM 不使用固定时间表，而是采用无标度、自触发机制。当某项技能的近期失败率显著超过其历史基线时，会触发巩固，这是通过统计检验（Z 分数）而非特定任务的绝对阈值来确定的。这使得触发机制能够在不同的任务分布之间转移而无需重新调整。

3. 主要贡献

参数化记忆框架：PEAM 将具身智能体记忆从推理时检索转变为参数驻留技能，降低了延迟和 Token 消耗，同时提高了长视野任务的性能。
失败作为训练信号：与将失败转化为文本反思用于提示的系统不同，PEAM 直接使用失败 - 修正轨迹对进行训练，采用联合 BC 和 DPO 目标。这使得智能体能够学习失败与成功之间的具体行为差异。
架构抗遗忘性：通过使用物理隔离的按类别 LoRA 适配器，PEAM 实现了参数级的持续学习。内化战斗技能不会覆盖用于制作的参数，从设计层面而非正则化层面消除了灾难性遗忘。
无标度巩固触发：引入了一种依赖相对失败统计的自触发巩固机制，使智能体能够在无需手动、特定任务阈值调整的情况下自我进化。

4. 实验结果

实验在《我的世界》（1.19）中使用 VOYAGER 框架进行，将 PEAM 与基于检索的智能体（VOYAGER、Optimus-1）、非参数化记忆变体（Reflexion）以及参数化基线（全量微调、共享 LoRA、EWC）进行了比较。

任务成功率：PEAM 在长视野任务上实现了69.7%的成功率，比最强的基于检索的基线（VOYAGER 为 54.5%）高出15.2 个百分点（McNemar $p=0.018$ ）。
效率：通过消除在推理时重新注入技能库的需求，PEAM 将中位每次调用延迟降低了42%（5.5 秒 $\to$ 3.2 秒），将每个任务的 Token 消耗降低了85%（31.2K $\to$ 4.6K）。
抗遗忘性：在顺序巩固实验（制作 $\to$ 采集 $\to$ 战斗）中，PEAM 在先前学习的技能上表现出0% 的遗忘。相比之下，共享 LoRA 基线损失了 32.4% 的性能，全量微调损失了 78.5%。
消融洞察：
- BC + DPO：纯 DPO 适配器未能生成解析器兼容的代码（0/12 例），而联合目标则成功（12/12）。BC 项对于维持可部署的句法至关重要。
- 隔离：移除按类别隔离会导致显著的遗忘，证实结构隔离是保持性的主要驱动力。
- 触发鲁棒性：自触发机制在不同任务分布（制作密集型 vs. 战斗密集型）之间保持了性能的一致性，无需重新调整，而固定阈值基线则无法做到这一点。

5. 意义与主张

该论文声称，PEAM 证明了具身智能体从积累外部历史转向将选定经验内化为其核心策略一部分的可行路径。

效率与检索：结果表明，虽然更丰富的检索（例如多模态上下文）有所帮助，但将技能内化到参数中的操作优势（延迟、Token 减少和直接执行）提供了仅靠检索无法获得的收益。
结构持续学习：该工作认为，具身智能体的抗遗忘性应得到架构（参数隔离）的支持，而不仅仅依赖正则化技术。
方法论发现：论文强调，前向传递偏好边界（DPO 分数）并不总是能预测生成代码的可部署性，强调了保留句法约束的联合目标的必要性。它还指出，当现实世界的配对数据稀缺时，轨迹重新切片可以作为跨分布评估的可行替代方案。

作者得出结论，具身智能体不应仅仅作为带有外部记忆的固定策略；它们需要一条巩固路径，使选定的经验成为策略本身的一部分，从而实现自我进化和高效执行。