🤖 AI

Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision

本文引入了“工作空间标记”（workspace tokens），这是一种通过来自视觉语言模型（VLM）的显著性驱动监督进行训练的轻量级潜在记忆表示，它使机器人策略能够在部署时高效解决长期记忆任务，且无需在回路中进行 VLM 推理，同时还能提升整体性能。

原作者： Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

发布于 2026-09-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够在现实世界中操纵物体的机器人面临着一个根本性的挑战：它们需要记住刚才发生的事情，甚至是几分钟前发生的事情，才能在当下做出正确的决策。如果机器人正在堆叠积木，它必须回想起自己已经放置了多少块。如果它正在打开抽屉，它必须记得哪一个抽屉里装有它正在寻找的物体。过去，工程师们试图通过将机器人电脑所见过的每一帧视频都喂给它来解决这个问题，但这种方法往往会让机器感到困惑，导致它过度关注无关的细节并最终失败。最近，研究人员尝试使用庞大且强大的人工智能模型来充当记忆，不断扫描机器人的历史记录以总结出重要信息。虽然这行得通，但速度缓慢且成本高昂，就像每次你询问一页书的内容时，都要要求一位人类图书管理员去阅读图书馆里的每一本书一样。机器人专家们核心的问题在于，如何在不降低速度或不需要超级计算机运行的情况下，赋予机器人可靠的记忆。

来自麻省理工学院（MIT）和卡内基梅隆大学的研究团队提出了一种他们称之为“工作空间模型”（workspace model）的解决方案。他们不再依赖强大的、缓慢的计算机在机器人工作时去总结历史，而是在训练阶段教导一个小型、轻量级的记忆系统。他们只在机器人学习的过程中使用强大的人工智能模型，而不是在机器人执行任务时使用。这个强大的模型充当老师的角色，指出视频中哪些时刻是重要的——例如，机器人夹爪抓起积木的时刻，或是抽屉关闭的时刻。研究人员随后训练一个紧凑且高效的系统，将这些重要的时刻压缩成一个微小的、隐藏的摘要。一旦训练完成，机器人就可以利用这个小巧的摘要瞬间记住过去，而无需再次调用那个缓慢且强大的老师。

研究人员在几个需要长期记忆的困难任务上测试了这种方法。在一个模拟环境中，机器人必须向碗中准确地放入五个立方体，由于立方体进入碗中后会从视野中消失，这迫使机器人必须在记忆中进行计数。在另一个任务中，机器人必须打开一个被另一个机器人先前关闭的特定抽屉，这要求它回忆起哪个抽屉里装有物体。他们还在一个硬件设置上测试了一个真实的机器人，该机器人需要将立方体放入高度过高而无法看到内部的箱子里，这同样要求机器人保持连续计数。在这些测试中，新的工作空间模型在 91.5% 的尝试中取得了成功。这明显优于其他方法。一个仅观察最后几帧画面的标准机器人因为忘记了过去而经常失败。而一个试图在任务期间使用强大的 AI 模型来筛选过去关键时刻的机器人则要慢得多，且成功率仅为 66.8%。工作空间模型不仅是最准确的，也是最快的，它允许机器人快速反应，而不会产生等待大型计算机处理历史记录所导致的延迟。

这种方法的成功源于一种巧妙的构建记忆方式的转变。在之前的尝试中，研究人员会让大型 AI 模型在机器人移动时从视频流中挑选出重要的帧。这个过程引入了延迟，即滞后，使得机器人的动作变得生硬且不够精准。新方法将这些繁重的工作转移到了训练阶段。在训练期间，强大的 AI 模型会回顾整个任务的视频，并识别出关键事件。然后，它教会小型的工作空间模型去重建这些重要视觉细节的列表。小型模型学会将这些信息压缩成一个单一的、稠密的标记（token）——这是一个持有过去本质的微小数据片段。当机器人在现实世界中部署时，它只需观察这个标记即可。它不需要重新分析过去，也不需要等待大型模型进行思考；记忆已经被提炼并准备就绪。这使得机器人能够保持清晰、连续的行动流，而不会受到早期方法中那些干扰的影响。

研究人员发现，这种方法不仅提高了速度，实际上还让机器人变得更聪明了。当他们分析其他方法为何失败时，他们发现仅仅向机器人喂入更多的帧，甚至是有选择性的帧，往往会使其产生困惑。机器人会开始模仿错误的动作，或者无法精确地抓取物体，因为额外的信息引入了噪声。相比之下，工作空间模型提供了一个平滑、连续的过去表征。由于小型模型经过训练，能够重建整个历史中最显著的细节，因此它学会了忽略干扰性的噪声，并专注于对任务真正重要的部分。这使得机器人能够正确计数、找到正确的抽屉，并以其他方法无法比拟的精准度进行抓取。

这项研究表明，机器人记忆的未来可能不在于让机器人本身变得更大或更强大，而在于如何教导它们去记忆。通过使用强大的工具来训练更简单、更高效的系统，研究人员可以创造出既快速又具备复杂长期推理能力的机器人。工作空间模型充当了一个桥梁，将用于记忆的沉重推理过程压缩成一种机器人可以实时使用的形式。这种方法为需要在动态、不可预测的环境中运行的机器人提供了一条前进的道路，在这些环境中，记住过去与看见现在同样重要。这项工作证明，通过正确的训练策略，机器人可以携带一个丰富的经验历史，并以轻量化的形式，随时准备以清晰度和速度进行行动。

技术摘要：工作空间模型（Workspace Models）：通过显著性驱动监督实现的轻量化机器人记忆

问题陈述

复杂的机器人操控任务通常需要对过去事件和动作进行长期记忆才能取得成功。然而，将策略建立在完整的观测历史之上会引入显著挑战：

泛化误差： 如果设计不当，增加观测历史会导致“捷径学习”（shortcut learning）或“因果混淆”（causal confusion），即模型可能会捕捉到无关历史帧中的伪相关性，而非学习用于动作选择的真实潜在状态。
延迟与成本： 当前的最先进方法通常依赖视觉语言模型（VLM）在部署阶段进行实时（in-the-loop）任务相关历史的筛选（例如，选择关键帧或生成文本摘要）。这引入了高昂的计算延迟，减慢了反应式策略的速度，并产生了显著的经济成本（API 费用或昂贵的硬件）。
数据稀缺： 机器人学习的数据量有限且维度极高。在长时、未经整理的历史记录上训练策略往往需要比现有可用数据更多的样本，以防止过拟合。

现有的解决方案面临权衡：强大的 VLM 能提供更好的摘要，但会引入不可接受的延迟；而轻量化模型则缺乏准确识别显著信息的能力。

方法论：工作空间模型

作者提出了工作空间模型（Workspace Models），这是一个将 VLM 推理的计算成本从部署时间转移到训练时间的框架。其核心思想是训练一个轻量级的潜在记忆编码器（即“工作空间编码器”），利用源自强大 VLM 的监督信号，将历史信息压缩成紧凑的表示（即“工作空间 Token”）。

架构与训练流水线

该方法包含两个主要阶段：

1. 显著性驱动监督（训练阶段）：

显著集构建（Saliency Set Construction）： 在训练期间，使用强大的 VLM（具体为用于事件检测的 Qwen3-VL 和用于空间指向的 MolmoPoint）从完整轨迹中识别“显著”信息。
- 事件检测： VLM 确定显著事件发生的时间（例如，“盐加入了汤中”）。
- 补丁选择（Patch Selection）： VLM 通过指向图像中的特定对象或区域（补丁）来确定需要记忆的内容。
- 结果是从过去和当前的观测中得到的一组显著图像补丁（ $S_t$ ），其大小上限为 $m$ 。
工作空间编码器 ( $f_\phi$ )： 一个基于 Transformer 的编码器处理原始观测序列（通过 DinoV3 进行标记化），并输出一系列潜在的工作空间 Token ( $w_{1:t}$ )。
集合重构解码器 ( $g_\psi$ )： 一个与编码器同步训练的解码器。它接收当前的 workspace token $w_t$ $w_{t}$ ，并尝试重构显著集合 $S_t$ $S_{t}$ 。
- 解码器输出 $m$ 个“槽位”（slots），每个槽位预测一个补丁重构及其占用概率。
- 损失函数： 使用匈牙利匹配算法（Hungarian matching algorithm）将解码器预测的槽位与真实的显著补丁进行对齐。损失由特征重构项（补丁的 MSE）和存在性分类项（槽位占用的交叉熵）组成。
冻结： 一旦训练完成，编码器 $f_\phi$ 就会被冻结。它学习如何将所有必要的历史显著信息压缩到 workspace token 中，而无需在推理时使用 VLM。

2. 策略学习（部署阶段）：

下游策略（采用扩散策略 Diffusion Policy 实现）被训练用于预测动作块（action chunks），其条件是短时期的 workspace tokens 和当前的本体感受状态。
在部署期间，VLM 不被使用。策略接收紧凑的潜在历史信息，从而实现低延迟推理。

核心贡献

工作空间模型： 一种新型的机器人记忆架构，它将历史整理的重度计算（通过 VLM 在训练时完成）与轻量化的记忆检索（通过冻结的编码器在部署时完成）解耦。
显著性驱动监督： 本文引入了一种训练范式，利用强大的基础模型提供“显著性标签”（即记住什么）来训练紧凑的编码器，从而有效地将 VLM 的推理能力蒸馏到潜在空间中。
卓越的性能： 与直觉相反，作者证明了 Workspace Models 的表现优于使用 VLM 进行推理时关键帧选择的基准模型。
低延迟： 该方法显著降低了推理延迟，与基于 VLM 的方法相比，使其适用于实时机器人控制。

实验结果

作者在四个需要计数、空间回忆和上下文适应的任务（三个在仿真环境中，一个在真实硬件上）中，将 Workspace Models (Wksp) 与三个基准模型进行了对比评估：

基准模型： Vanilla Diffusion Policy（无历史）、History-conditioned Diffusion Policy（帧堆叠）以及 Keyframe selection（VLM 在环/in-the-loop）。
任务：
- CUBEDROP / HALFANDHALF： 将物体放入遮挡容器中的计数任务。
- DRAWERRECALL： 对隐藏在特定抽屉中的物体的空间回忆任务。
- BALANCEBAR： 对寻找物体质心的上下文适应任务。

主要发现：

成功率： Workspace Models 在所有任务中实现了最高的平均成功率 (91.5%)，显著优于表现次优的基准模型（Keyframe 仅为 66.8%）。
延迟： 在标准配置下，Workspace Models 仅增加了约 1.2倍 的基础 CNN 感知栈 (VanillaDP) 的延迟（94.9ms 对比 41.3ms）。通过批处理和 KV 缓存，这一开销降至 ~1.28倍（52.9ms）。相比之下，Keyframe 方法的成本约为基准的 5倍（302ms 对比 41.3ms，若不进行批处理则约为 7.3倍），作者指出，如果使用基于 API 的 VLM，情况会更糟。
失败模式：
- HistoryDP 和 Keyframe 经常受到“控制混叠”（control aliasing）的影响，即离散的选择帧引入了分布偏移，导致即使高层记忆正确，也会出现精细操作错误（例如错过抓取）。
- Workspace Models 提供了一种平滑的表示。作者将其性能提升归功于编码器能够在时间维度上进行全局注意力分配并产生平滑的潜在状态转换，从而避免了离散帧选择带来的脆弱性。

意义与主张

本文将 Workspace Models 定位为机器人领域**计算摊销（amortizing reasoning）**的证明概念。作者声称，通过利用训练时计算（可扩展）与测试时计算（必须受限）之间的不对称性，可以训练出优于“重型在环模型”的轻量化编码器。

泛化性： 该研究表明，将历史压缩为平滑的潜在表示优于离散的帧选择，因为这减轻了困扰基于关键帧方法的“混叠”效应。
可扩展性： 该方法为机器人的长程记忆提供了一条路径，而无需承担持续查询 VLM 所带来的高昂延迟和成本。
局限性说明： 作者承认目前的实现（使用图像补丁和 DETR 式解码器）是一个初步的实例化。他们指出了局限性，例如对于极长序列，自回归编码器存在二次方缩放问题，以及对 VLM 显著性标注的依赖可能无法做到完美的接地（grounded）。他们建议未来的工作可以探索其他模态（文本、视频）以及层次化组合策略。