💻 computer science

Remember what you did?: Learning Behavioral Memories for Partially Observable Object Manipulation

本文介绍了压缩动作记忆策略（Compressed Action Memory Policy, CAMP），这是一种新颖的方法，使机器人能够在部分可观测的情况下，通过学习自身动作历史的自监督压缩表示，来隐式地追踪进度并从失败中恢复，从而掌握长时程、富接触的操控任务，且无需外部监督。

原作者： Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Remember what you did?: Learning Behavioral Memories for Partially Observable Object Manipulation》的解释，采用了简单易懂的语言和日常类比。

核心问题：患有“失忆症”的机器人

想象一下，你正在尝试解开一个谜题，但每当你做一个动作时，就会有人遮住你的眼睛一秒钟。当你睁开眼时，你看到了谜题，但你不记得自己是怎么走到这一步的。你是刚刚尝试把一个零件向左移动并失败了？还是已经把那个零件向右移动过了？

这就是机器人在处理“接触密集型”任务（即需要推、滑或触摸物体的任务）时面临的问题。机器人的摄像头能看到当前的画面，但它不知道自己刚才尝试了什么历史过程。

结果： 机器人会感到困惑。它可能会把一个方块推到墙边，意识到卡住了，然后又把方块推向墙边——因为它忘了自己已经试过那样做了。它患有“失忆症”。

解决方案：CAMP（机器人的“心理笔记本”）

作者创建了一个名为 CAMP（压缩动作记忆策略，Compressed Action Memory Policy）的新系统。不要把 CAMP 想成是一个视觉更好的机器人，而要把它看作是一个记忆力更好的机器人。

CAMP 并不试图记住过去每一个像素点（那数据量太大了），它维护着一个关于自身动作的“心理笔记本”。它会自问：“我刚才尝试做了什么？”

以下是它的工作原理，分为几个简单的步骤：

1. “压缩”记忆（摘要）

如果你试图记录下一整天里做的每一个细微动作，你的笔记本会变得又大又乱。CAMP 非常聪明。它使用一种数学技巧（称为 DCT）来写下其过去动作的摘要。

类比： 想象你在向朋友描述一部电影。你不会列出每一帧画面；你会说：“首先，英雄向左跑，然后他跳过了栅栏，接着他摔倒了。”你保留了故事的轮廓，但丢弃了微小的细节。
为什么有效： 这个摘要足够小，可以装进机器人的“大脑”里，但也足够详细，能告诉它：“嘿，你已经尝试过把那个方块向左推了，所以别再试了。”

2. 训练（从错误中学习）

CAMP 使用“自监督”方法进行训练。这意味着机器人通过观察自己的过去来进行学习，而不是由人类老师告诉它该做什么。

游戏规则： 机器人会被展示一段人类完成任务的视频。它尝试根据当前的画面来猜测人类过去的动作是什么。
教训： 如果机器人的猜测错了，它就会学习。随着时间的推移，它变得非常擅长观察当前场景并得出结论：“啊，根据现在的样子，我刚才一定尝试过把方块往这里推。”

3. “两步走”训练法（预热与微调）

论文发现了一种效果最好的教学方式：

预热（Warm-up）： 首先，机器人只练习“记住过去”。它建立起一个强大的记忆库。
冻结与学习（Freeze & Learn）： 然后，他们将这段记忆锁定，以免它产生混乱。
微调（Fine-tune）： 最后，他们让机器人学习如何利用这些记忆来实际移动它的机械臂。

类比： 这就像一名学生先背诵游戏规则（预热），然后是在不改变规则的情况下练习游戏（冻结），最后学习如何进行策略性比赛（微调）。如果你试图在学习规则的同时学习玩游戏，你会感到困惑并忘记规则。

结果：从 0% 到 70%

研究人员测试了机器人在处理棘手任务时的表现，例如将一个“T”形方块推入三个不同的位置，且不重复撞击同一个位置，或者寻找隐藏的按钮。

没有记忆（旧机器人）： 它们几乎全部失败。它们会推方块，被卡住，然后再次推向同一个方向，陷入死循环。成功率：0%。
有了 CAMP： 机器人会记得：“我已经试过左边的位置了，行不通。我试试中间的位置。”成功率：在模拟器中高达 94%，在真实机器人上达到 70%。

为什么这很重要

大多数机器人依赖于“视觉-语言-动作”（Vision-Language-Action）模型，这就像是要求人类：“记得去推那个红色的方块。”但你每次都必须明确告诉它们要记住什么。

CAMP 则不同。它教会机器人为自己去记忆。它学会了：自身的动作历史是解决谜题最重要的线索。它通过用记忆填补缺失的环节，将一个“部分可观测”的问题转化为了一个“清晰”的问题。

总结

问题： 机器人会忘记自己刚才尝试了什么，导致重复犯错。
对策： CAMP 给机器人提供了一个关于过去动作的“压缩记忆”。
神奇之处： 它不需要人类告诉它要记住什么；它通过重建自己的过去来进行学习。
结果： 机器人终于可以解决复杂的、多步骤的谜题，并在失败中学习，就像人类一样。

技术摘要：压缩动作记忆策略 (Compressed Action Memory Policy, CAMP)

问题陈述

长程、富接触的机器人操控任务本质上是部分可观测的。在这些场景中，单一的视觉观测很少能捕捉到机器人的完整动作上下文，包括先前的尝试、物理交互或当前任务进度的阶段。因此，标准的视觉运动策略（visuomotor policies）和视觉-语言-动作（VLA）模型会遭受“失忆症”的影响，其基于模糊信号进行决策，无法区分视觉上看起来完全相同但交互历史不同的状态。

现有解决方案面临显著局限性：

无记忆策略（Memoryless Policies）： 在富接触环境中无法追踪进度或从失败的尝试中学习。
基于 VLA 的方法： 通常需要繁琐且难以扩展的人类提示来规定需要记住什么，或者依赖于预测高维度的未来/过去视觉观测，这在计算上是极其昂贵的，且容易学习到与任务无关的细节。
视觉记忆（Visual Memory）： 依赖于视觉标记（token）记忆或关键帧检索的方法，在关键信息编码在物理接触历史而非视觉外观时，表现得力不从心。

方法论：压缩动作记忆策略 (CAMP)

CAMP 通过利用机器人自身的动作历史作为一种高度信息化、自监督的信号来应对这些挑战。其核心洞察在于：通过学习重建过去的动作，策略可以自然地提取并保留用于消除部分可观测状态歧义的最关键行为信息。

CAMP 架构由三个主要部分组成：

1. 记忆模块预训练（自监督）

一个循环记忆模块（实现为两层 LSTM）被预训练用于总结交互历史。

输入： 该模块处理“观测-动作”对，特别使用了固定的第三视角摄像头（以获得一致的空间参考）和本体感受。
目标： 该模块不是记忆原始动作序列，而是利用离散余弦变换 (DCT) 来预测压缩后的表示。
损失函数： 训练目标结合了：
- 重建损失 ( $L_{rec}$ )：在频域内监督 DCT 系数的预测。频率权重会降低高频系数的权重，从而迫使记忆捕捉轨迹的低频结构（形状），同时丢弃步级噪声。
- 时间一致性 ( $L_{cons}$ )：确保随着回合推进，对固定过去动作的重建保持一致，防止记忆账户发生漂移。
结果： 隐藏状态 $h_t$ 成为了行为历史的一个紧凑、潜在的摘要，而非原始缓冲区。

2. 离散化（向量量化）

为了提高泛化能力，使用向量量化器 (VQ) 对连续的隐藏状态 $h_t$ 进行离散化。

该状态被映射到学习到的码本（codebook）中最近的条目。
这种离散化强制记忆编码粗粒度的行为状态，而非细粒度的轨迹身份，作者发现这对于跨演示的泛化至关重要。
量化后的状态被投影为记忆代码 $m_t$ ，作为动作头唯一的历史信号。

3. 扩散动作头 (Diffusion Action Head)

动作头遵循扩散策略（Diffusion Policy）框架，预测未来的一块动作。

条件化： 扩散模型以视觉特征（来自第三人称和手腕摄像头）、本体感受以及离散化记忆代码 $m_t$ 的拼接作为条件。
训练计划： 采用了分阶段的**“预热后微调”（warm-up-then-finetune）**计划。首先预训练并冻结记忆模块，同时让动作头学习适应它。随后，解冻记忆模块并将其与动作头进行联合微调。这防止了动作损失侵蚀预训练期间安装的长程信息。

核心贡献

自监督记忆公式化： 引入了通过 DCT 压缩动作历史重建的方法，作为一种可扩展的自监督信号，用于捕捉任务相关的行为记忆，而无需外部监督。
CAMP 架构： 一个将循环记忆模块（通过 DCT 动作压缩进行训练）与扩散策略相结合的新颖框架，能够实现长程、富接触的操控任务。
新基准测试： 发布了 Memory-T-Bench（2D 富接触推送）和 Memory-Manip-Bench（3D 基于视觉的操控），专门用于评估涉及追踪进度和从失败中学习的记忆依赖型任务。
广泛验证： 通过实验证明了 CAMP 在模拟环境和四个真实机器人设置中优于最先进的基准模型。

实验结果

模拟基准测试

Memory-T-Bench： 在部分可观测变体中，CAMP 显著优于无记忆的扩散策略 (DP)。
- 多目标任务 (Multi-Goals)： 94.0% (CAMP) vs. 56.0% (DP)。
- 交换洗牌任务 (Swap-Shuffle)： 92.0% (CAMP) vs. 48.0% (DP)。
- 在全观测任务（标准 Push-T）上，CAMP 的表现与 DP 相当（98.0% vs. 94.0%），证明了在不需要记忆时不会产生性能惩罚。
Memory-Manip-Bench： CAMP 实现了 64.3% 的平均成功率，超过最强基准（DP 为 40.9%）超过 23 个百分点。它在 7 个任务中的 6 个任务上领先，在需要状态召回的任务（如 Swap-Block：86.0% vs. 18.0%）上优势最为明显。
数据效率： CAMP 的成功率随演示数量增加而单调提升（随着演示从 80 个增加到 320 个，成功率从 42% 升至 94%），而无记忆策略没有显示出持续的增益，这表明无记忆策略的瓶颈在于部分可观测性，而非数据量。

真机实验

在四项任务上进行了评估：Push-T-Multi-Goals, Swap-Can, Wipe-Plate, 和 Probe-Insert。

基准模型： 所有无记忆基准模型（ACT, DP, $\pi^{0.5}$ , MemoryVLA）在 Push-T-Multi-Goals, Swap-Can, 和 Wipe-Plate 任务中全部取得了 0/10 的成功率。
CAMP： 在上述三个任务中均达到了 7/10 的成功率，并在 Probe-Insert 中达到了 11/15。
失败模式： 基准模型失败的原因包括在目标之间震荡、在部分交换后停滞，或进入无限循环（重复使用刷子/盘子），因为它们无法追踪哪些子目标已完成。CAMP 通过记住过去的交互成功解决了这些问题。

消融实验

离散化： 去除向量量化会导致性能下降（94% $\to$ 60%），证实了粗粒度的行为状态比连续的轨迹身份具有更好的泛化性。
压缩： 使用原始路标（waypoints）或 DFT 代替 DCT 会降低性能，凸显了低频压缩的必要性。
训练计划： 从头开始的联合训练（66%）或预训练后立即进行微调（46%）均告失败。**“预热后微调”**计划对于在允许记忆适应策略的同时保留预训练记忆至关重要。
重建 vs. 效用： 微调后的记忆虽然实现了更高的策略成功率（94%），但其重建损失（1.46）比预训练时的记忆（0.35）要高。这表明策略受益于与决策过程对齐的压缩摘要，而非对过去的完美重建。

意义与主张

论文声称，据作者所知，CAMP 是第一个纯粹通过学习记忆，在富接触、部分可观测操控任务中展现出实质性成功的策略。

作者强调的关键点包括：

记忆解决了部分可观测性问题： 通过压缩动作历史，CAMP 将部分可观测问题有效地转化为对策略而言的马尔可夫过程。
自监督是足够的： 机器人可以从自身的动作历史中学习鲁棒的行为记忆，而无需显式的任务标签或人类提示。
可扩展性： 该方法避免了视觉预测的高昂计算成本以及人工提示工程的可扩展性问题。

作者指出了一些局限性：该方法在处理极长程记忆需求时仍有困难，且将该方法扩展到灵巧操控（dexterous manipulation）仍是一个开放的研究方向。