RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies

本文提出了 RoboMME，这是一个针对长程和历史依赖型机器人操作任务的大规模标准化基准，旨在通过系统评估 14 种基于π0.5 的内存增强视觉 - 语言 - 动作（VLA）模型变体，深入探究不同内存表示在时空、对象及程序性记忆任务中的表现与局限性。

要点

这篇论文介绍了一个名为 RoboMME 的新项目，你可以把它想象成给机器人世界的一次"记忆力大考"。

在现实生活中，如果你让机器人做点简单的活，比如“把那个红色的杯子拿给我”，它通常能做得很好。但如果任务变复杂，比如“把刚才我放上去的 3 个绿色方块放进盒子里，然后按按钮”，或者“看着视频里那个被杯子盖住的方块，等杯子移开后把它找出来”，机器人往往就“傻”了。为什么？因为它们记不住刚才发生了什么，也记不住东西被遮住后去了哪里。

这篇论文就是为了解决这个问题，它做了一件很酷的事：

1. 设计了一场“记忆力奥林匹克” (RoboMME 基准测试)

以前的机器人测试题太简单，或者太混乱，没法公平地比较谁的记忆力好。作者们设计了一套全新的、标准化的“考题”，专门测试机器人的四种核心记忆力：

• 🕒 时间记忆 (Temporal Memory) —— “数数”的能力

  • 比喻：就像你在玩“打地鼠”游戏，教练让你“打 5 次”。机器人必须一边打一边在心里数："1、2、3..."，数到 5 就立刻停手按按钮。如果它记不住数到了几，就会打多或者打少。
  • 考题：比如“把绿色方块放进盒子 3 次，然后按按钮”。

• 📍 空间记忆 (Spatial Memory) —— “捉迷藏”的能力

  • 比喻：想象你在玩“石头剪刀布”的捉迷藏。朋友把玩具藏在杯子下面，然后趁你眨眼（或者视频里杯子被遮住）的时候，把杯子互相换位置。等你睁眼时，机器人必须记得：“那个绿色的方块，虽然被遮住了，但它其实是在左边那个杯子里，而不是右边那个。”
  • 考题：看着视频里被盖住的方块，等盖子移开后，准确找到它。

• 🎯 物体记忆 (Object Memory) —— “认脸”的能力

  • 比喻：就像在聚会上，有人指着一个刚闪过一秒钟的人说：“去把那个穿红衣服的人手里的东西拿给我。”机器人必须在那一瞬间记住“那个穿红衣服的人是谁”，哪怕后来人多了、视线乱了，它也能认出那个特定的物体。
  • 考题：视频里某个方块被高亮了一下，机器人要记住是哪一个，然后把它拿起来。

• 🤸 程序记忆 (Procedural Memory) —— “模仿秀”的能力

  • 比喻：就像看舞蹈视频学跳舞。视频里的人画了一个圆圈，机器人看完后，必须用机械臂在空中画出一模一样的圆圈轨迹，不能多一笔也不能少一笔。
  • 考题：看着视频里的机械臂怎么绕着棍子走，然后自己模仿走一遍。

2. 给机器人装上了不同的“大脑外挂” (记忆模型)

为了测试哪种方法能让机器人记性最好，作者们给同一个机器人模型（叫 $\pi_{0.5}$）装上了三种不同的“记忆外挂”：

• 📝 符号记忆 (Symbolic Memory) —— “记笔记”

  • 原理：机器人每做一步，就在脑子里写一行字：“我拿起了绿方块”。它靠读这些文字来回忆。
  • 优点：适合做“数数”这种逻辑清晰的任务。
  • 缺点：如果任务太复杂，文字描述可能不够用，或者写错了。

• 👁️ 感知记忆 (Perceptual Memory) —— “存照片”

  • 原理：机器人把刚才看到的画面（或者关键帧）像存照片一样存进脑子里。
  • 优点：适合“模仿跳舞”或“找被遮住的物体”，因为它能直接“看”到过去的画面，不需要转译成文字。
  • 缺点：存太多照片会很占内存，计算量大。

• 🔄 循环记忆 (Recurrent Memory) —— “压缩记忆”

  • 原理：像人类的长期记忆一样，把过去发生的所有事压缩成一个“状态包”。
  • 现状：在这个测试里，这种方法表现不太好，有点像“记性太模糊”，容易把细节搞混。

3. 考试结果：没有“全能冠军”

论文最有趣的发现是：没有一种记忆方法能通吃所有任务。

• 如果是数数或按步骤执行，“记笔记” (符号记忆) 的机器人表现最好。
• 如果是模仿动作或找被遮住的物体，“存照片” (感知记忆) 的机器人表现最好。
• 最聪明的策略是**“看菜吃饭”**：根据任务类型，选择最适合的记忆方式。

4. 为什么这很重要？

这就好比我们教孩子：

• 教他算术时，我们要让他数手指（符号/逻辑）；
• 教他画画时，我们要让他看范画（感知/视觉）。

以前的机器人研究往往只教一种方法，导致机器人要么只会算数不会画画，要么只会画画不会算数。RoboMME 就像是一个全面的“体检中心”，告诉我们机器人到底哪里记性好，哪里记性差，从而帮助科学家设计出更聪明、更像人类的“通用机器人”。

总结一句话：
这篇论文给机器人出了一套专门的“记忆力试卷”，发现机器人要想变聪明，不能只靠一种死记硬背的方法，而要学会像人一样：该记笔记时记笔记，该看照片时看照片，这样才能真正搞定复杂的家务和工厂工作。

技术摘要

RoboMME：机器人通用策略记忆能力的基准测试与理解

1. 研究背景与问题 (Problem)

在开放世界的机器人操作任务中（如整理书架、多次擦拭桌子、模仿人类演示），机器人往往需要基于历史交互信息进行推理，而不仅仅依赖当前的瞬时感知。这类长视野（Long-horizon）和依赖历史（History-dependent）的任务对机器人的记忆能力提出了极高要求。

尽管现有的视觉 - 语言 - 动作（VLA）模型开始引入记忆机制，但当前研究面临以下主要挑战：

• 缺乏标准化基准：现有的评估通常局限于狭窄、非标准化的设置，难以进行系统性的比较和进展衡量。
• 任务类型单一：现有基准（如 MemoryBench, MIKASA-Robo）要么任务过于简单（近乎已解决），要么缺乏高质量演示，无法覆盖真实世界中多样化的记忆需求（如空间遮挡、物体计数、时序推理等）。
• 评估不统一：不同的记忆方法基于不同的策略骨干网络，缺乏统一的测试床来系统性地评估不同记忆表示（符号、感知、循环）和集成策略的有效性。

2. 方法论 (Methodology)

2.1 RoboMME 基准构建

作者提出了 RoboMME，这是一个大规模、标准化的机器人操作基准，旨在评估记忆增强的机器人策略。该基准基于人类认知理论中的记忆分类，设计了四个核心任务套件，涵盖四种记忆维度：

1. 计数套件 (Counting Suite) - 时序记忆 (Temporal Memory)：
   • 要求机器人累积事件并推理过去。
   • 示例：BinFill（放入指定数量的方块）、PickXTimes（重复抓取指定次数）、StopCube（在特定次数经过时按下按钮）。
2. 持久性套件 (Permanence Suite) - 空间记忆 (Spatial Memory)：
   • 要求在遮挡或环境变化下追踪物体位置。
   • 示例：VideoUnmask（观看视频后找出被遮挡的方块）、ButtonUnmaskSwap（在按钮按下期间容器交换位置，需追踪目标）。
3. 指代套件 (Reference Suite) - 物体记忆 (Object Memory)：
   • 要求在不同时间跨度和指代线索下识别特定物体。
   • 示例：PickHighlight（记住短暂高亮的物体）、VideoPlaceOrder（根据语言描述的顺序指代放置物体）。
4. 模仿套件 (Imitation Suite) - 程序记忆 (Procedural Memory)：
   • 要求复现之前演示的运动模式。
   • 示例：PatternLock（复现轨迹）、RouteStick（绕过障碍物的路径）。

数据集规模：包含 16 个多样化任务，1600 个演示，总计 77 万个高质量时间步（timesteps）。所有任务均为非马尔可夫（Non-Markovian）设计，即当前观察不足以决定动作，必须依赖历史。

2.2 记忆增强 VLA 模型 (MME-VLA Suite)

基于 $\pi_0.5$ 骨干网络，作者构建了包含 14 种变体的记忆增强 VLA 模型家族，系统性地对比了三种记忆表示和三种集成机制：

A. 记忆表示 (Memory Representations)

1. 符号记忆 (Symbolic Memory)：使用自然语言子目标（Subgoals）总结历史。
   • 实现：利用外部 VLM（如 QwenVL, Gemini）生成子目标，分为简单子目标和带坐标的接地子目标（Grounded Subgoals）。
2. 感知记忆 (Perceptual Memory)：将历史表示为可微分的视觉特征（视觉 Token）。
   • 实现：从过去帧中选择 Token，策略包括Token Dropping（基于 RGB 差异去除冗余）和均匀帧采样 (Frame Sampling)。
3. 循环记忆 (Recurrent Memory)：通过循环模型将上下文压缩为固定大小的潜在状态。
   • 实现：采用测试时训练 (TTT) 和 循环记忆 Transformer (RMT)。

B. 集成机制 (Integration Mechanisms)

1. Memory-as-Context：将记忆 Token 直接拼接到输入中，与观察和指令一起处理。
2. Memory-as-Modulator：使用自适应 LayerNorm (AdaLN) 调节动作专家（Action Expert），让动作特征通过交叉注意力（Cross-Attention）关注记忆 Token。
3. Memory-as-Expert：引入一个独立的轻量级“记忆专家”模块，通过块级因果注意力与动作专家交互，互不干扰。

3. 主要贡献 (Key Contributions)

1. 首个大规模记忆增强操作基准：RoboMME 填补了现有基准在任务多样性、非马尔可夫性质和高质量数据方面的空白，涵盖了时序、空间、物体和程序四种记忆维度。
2. 系统性的记忆表示与集成评估：在统一的骨干网络（$\pi_0.5$）下，首次大规模对比了符号、感知和循环记忆，以及三种不同的集成策略。
3. 揭示了记忆设计的任务依赖性：实验表明不存在一种“万能”的记忆设计。不同的任务类型需要不同的记忆策略（例如，计数任务适合符号记忆，而运动模仿适合感知记忆）。
4. 真实世界验证：在真实机器人（Franka Panda）上验证了仿真中的趋势，证明了感知记忆在运动中心任务中的优势以及符号记忆在事件计数任务中的有效性。

4. 实验结果 (Results)

4.1 总体性能

• 最佳模型：感知记忆 + Memory-as-Modulator（具体为 FrameSamp+Modul）在所有变体中表现最佳，平均成功率达到 44.51%。
• 对比基线：该结果显著优于无记忆基线（$\pi_0.5$, 17.93%）和之前的 SOTA 方法（如 MemER, 42.38%）。
• 人类表现：人类在相同任务上的平均成功率为 90.50%，表明 RoboMME 对当前模型仍具有极高挑战性，且人类在长视野任务中也会犯错。

4.2 关键发现

• 无单一主导方案：没有一种记忆表示或集成策略在所有任务上都表现最好。
  • 符号记忆：在计数（Counting）和短视野任务中表现优异（如 BinFill），但在需要精细运动控制的任务（如 StopCube）中表现较差。
  • 感知记忆：在运动中心（Motion-Centric）和时间敏感（Time-Sensitive）任务中至关重要（如 PatternLock, StopCube），因为它保留了原始视觉细节。
  • 循环记忆：表现最差，可能是因为浅层循环层在微调 $\pi_0.5$ 时导致训练不稳定。
• 集成机制的影响：对于感知记忆，Memory-as-Modulator 效果最好，因为它在保留预训练表示的同时引入了轻量级的特征调节，而 Memory-as-Context 可能会破坏预训练特征。
• 效率与性能权衡：感知记忆（FrameSamp+Modul）在计算成本增加较少的情况下提供了显著的性能提升。相比之下，依赖外部 VLM 推理的符号记忆方法计算开销大（约 3-5 倍）。

4.3 真实世界迁移

在真实机器人实验中，观察到了与仿真一致的趋势：

• PutFruits（计数任务）：符号记忆表现更好。
• DrawPattern（轨迹模仿）：感知记忆表现更好。
• 这证明了 RoboMME 的评估结果具有良好的泛化性。

5. 意义与未来展望 (Significance)

• 理论价值：该工作建立了理解机器人操作中记忆机制的第一个综合框架，证明了记忆设计必须与任务特性（如是否需要精确运动 vs. 高层推理）相匹配。
• 实践指导：为开发可靠的、长视野的机器人通用策略（Generalist Policies）提供了明确的设计指南——即根据任务类型选择或组合不同的记忆模块。
• 未来方向：
  • 探索多记忆形式的协同（Synergistic integration），结合符号和感知记忆的优势。
  • 扩展至移动操作（Mobile Manipulation）和更多样的骨干网络。
  • 解决长视野任务中人类也存在的记忆瓶颈问题。

总结：RoboMME 不仅是一个基准，更是一个研究工具，它揭示了当前 VLA 模型在处理复杂历史依赖任务时的局限性，并指出了通过针对性的记忆架构设计来提升机器人智能的可行路径。