💻 computer science

Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation

本文提出了 DREAM，这是一个实物机器人移动操作框架，通过将混合 SLAM 后端与动态时空语义体素记忆以及语言条件目标定位相结合，实现了在动态、无地图室内环境中的可靠运行，在显著提高长程任务成功率的同时保持了计算效率。

原作者： Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人进入了一个它从未见过的房间，没有任何蓝图或地图。它的任务很简单：“拿起那个橙子，把它放进绿色的碗里。”但问题在于，当机器人正在摸索路径时，人类可能会偷偷溜进来把橙子移动到另一个地方。

大多数机器人会感到困惑，它们会试图去曾经出现过橙子的旧位置寻找，从而导致失败。这篇论文介绍了一种名为 DREAM 的机器人系统，它专门设计用于处理这种无需预设地图的混乱情况。

以下是 DREAM 的工作原理，通过简单的概念进行拆解：

1. “活着的”记忆（动态时空语义记忆）

把标准的机器人地图想象成一张照片。一旦拍下，它是静态的。如果你在照片里移动了一把椅子，照片并不会改变；机器人仍然认为椅子在原来的位置。

DREAM 使用的是 3D 体素记忆（3D voxel memory），它更像是一个有生命的、呼吸着的乐高结构。

如何构建： 随着机器人的移动，它会拍摄照片并使用激光雷达（LiDAR）扫描房间。它构建了一个 3D 网格，其中的每一个小方块（体素）不仅记得形状，还记得它“看起来是什么样子的”（例如：“这个方块是橙色的”）。
神奇的更新： 如果人类移动了橙子，机器人的传感器会看到新的位置。DREAM 不仅仅是添加新的方块，它还会主动擦除原来橙子所在位置的旧方块。这就像一块白板，当你擦掉旧的画作时，它会自动抹去旧的内容，从而保持图像的准确性。

2. “时空穿越”式的修正（混合定位与 RMP）

机器人经常会在追踪自身位置时产生微小的误差。随着时间的推移，这些微小的误差会累积，导致机器人认为自己所处的位置与实际位置不符。如果机器人的内部地图与现实脱节，它可能会认为橙子在厨房，而实际上橙子在客厅。

DREAM 有一个特殊的“时空穿越”机制，称为冗余感知记忆修剪（Redundancy-Aware Memory Pruning, RMP）：

类比： 想象你在走路时正在写日记。如果你意识到 10 分钟前走错了路，你不会只是继续向前写，而是会回到过去，重写最后 10 页，以匹配你修正后的正确路径。
结果： 当机器人的内部 GPS（SLAM）修正其位置时，DREAM 会立即将其记忆方块重新对齐到新的、正确的位置。它还知道什么时候记忆快满了（就像硬盘快满了一样），并聪明地删除旧的、不必要的细节，以保持运行速度。

3. “侦探式”搜索（混合定位）

当机器人需要寻找物体时，它不会盲目猜测。它像一名三步走的侦探一样行动：

粗略搜索： 它询问自己的记忆：“‘橙子’通常看起来在哪里？”并找到一个有希望的 3D 位置。
视觉检查： 它通过摄像头放大观察，并使用智能 AI 检测器来确认：“是的，那看起来确实是个橙子。”
最终验证： 有时，红辣椒看起来很像红苹果。为了避免错误，DREAM 使用了一个多模态大语言模型（mLLM）——本质上是一个超级聪明的 AI 大脑——来观察图片并判断：“等等，那是辣椒，不是苹果。”它会在机器人尝试抓取错误物体之前拦截这些虚假警报。

4. “聪明”的动作（导航与抓取）

一旦机器人知道了物体的位置，它并不会直接冲过去。

探索： 如果找不到物体，它不会随机游荡。它会利用一个“价值图”来决定哪些未探索的角落最有可能存放目标物体（基于距离上次查看该区域的时间，以及该区域看起来有多像目标物体）。
抓取： 当它靠近时，它采用两步法。首先，它在物体上方安全悬停，以规划最佳角度。然后，它缓慢移动。如果物体很滑，或者机器人的 AI 不确定，它会有一个“B 计划”（一个简单的几何规则）来从顶部抓取物体，确保不会掉落。

实验结果：为什么这很重要

研究人员在四个真实的实验室房间中测试了 DREAM，并在这些房间里不断移动物体。

成功率： 与之前的系统（DynaMem）相比，DREAM 在完成整个任务（寻找、抓取并移动物体）方面表现得更好，即使在环境发生变化的情况下也是如此。它的成功率从大约 40–60% 提升到了 55–70%。
效率： 尽管进行了如此复杂的思考，DREAM 并没有变得迟钝或耗尽内存。它保持了极小的“大脑”体积（使用量不到 0.6 GB），并且更新地图的时间不到半秒，使其能够保持流畅的移动。

简而言之： DREAM 是一个不仅仅是记住房间一次，而是能不断更新其心理地图、修正自身错误并反复核实所见之物的机器人，这使得它在混乱、多变的世界中完成家务任务时更加可靠。

技术摘要：DREAM —— 用于移动操作的具有混合定位功能的动态韧性时空语义记忆系统

1. 问题陈述

在动态且此前未知的室内环境中，可靠的移动操作面临着一个关键挑战：如何维持一个既具有几何一致性、又可进行语义查询，且计算量受限的场景表示。现有系统通常依赖于预构建的地图、静态场景假设或无漂移的相机位姿。当目标物体被人类移动，或者当 SLAM 位姿估计通过闭环检测进行修正时，这些系统经常会在过时或对齐错误的场景信息上运行。这会导致导航和操作失败，尤其是在机器人必须检测目标、导航至目标，并在执行过程中重新获取已被移动的目标时，系统会显得非常脆弱。核心挑战在于构建一种在线可用的、在位姿图更新和物体重定位下仍能保持一致性的可操作场景记忆，同时在没有预设地图的情况下支持长程任务。

2. 方法论

DREAM 框架通过将感知、记忆、定位、导航和操作集成到一个闭环实机机器人系统中来解决这一问题。该架构由三个主要模块组成：

A. 多传感器 SLAM 与动态时空语义记忆

DREAM 利用激光雷达-惯性-视觉 SLAM 后端（使用 Fast-LIO2 进行里程计计算，以及使用 RTAB-Map 进行闭环检测和位姿图优化）来提供时间一致的相机位姿。

基于体素的记忆： 系统通过 RGB-D 观测构建一个在线的、稀疏的 3D 时空语义体素记忆。每个非空体素存储其 3D 位置、观测计数、来源图像 ID、语义特征向量（通过 SigLIP 提取）以及最新的观测时间戳。
动态更新： 通过添加新观测（反向投影深度并关联语义特征）和移除过时体素来更新记忆。移除是通过射线投射实现的：如果一个体素位于相机与新观测到的表面之间的视锥体内（且距离在 3 米以内），则将其标记为空。
冗余感知记忆剪枝 (RMP)： 为了处理位姿图修正（例如来自闭环检测的修正）而不累积陈旧数据，DREAM 采用了 RMP。该机制执行两个耦合操作：
1. 位姿图感知的重集成： 它将原始集成位姿与位姿图中优化后的位姿进行比较。如果检测到显著差异（超过平移或旋转阈值），系统会触发使用修正位姿对历史观测进行“全局”、“区域”或“局部”重集成。
2. 关键帧引导的剪枝： 为了保持记忆容量受限，系统维护一个固定容量 ( $l_{mc}$ )。当历史记录超过此容量时，系统会剪枝最旧的观测，优先移除中间帧而非关键帧。语义特征仅保留在关键帧和近期观测中，而较旧的非关键帧仅存储几何数据。

B. 混合定位与任务导向型导航

混合定位： 为了在开放词汇场景中定位目标，DREAM 使用了一个三阶段流水线：
1. 粗粒度检索： 对语言查询进行编码，并与体素记忆中的语义特征进行匹配，以检索高置信度的体素及其关联的 RGB 图像。
2. 开放词汇检测： 开放词汇检测器 (OWL-v2) 处理检索到的图像，生成 3D 物体假设。
3. mLLM 验证： 多模态大语言模型 (Qwen-VL-Max) 验证检测结果，拒绝视觉或语义不一致的候选对象（例如，区分“热狗”和“汉堡包”）。
导航与探索： 系统使用基于网格的 A* 规划器。如果目标已定位，则直接导航；如果未定位，则切换到价值引导的探索模式。在这种模式下，系统根据新鲜度（优先考虑未观测区域）和语义相似度（优先考虑匹配查询的区域）的综合得分来选择前沿单元。导航以递减时界方式执行（规划前方 1–1.5 米），以对场景变化保持鲁棒。

C. 抓取与放置策略

抓取： 系统采用模块化堆栈，结合 AnyGrasp 生成候选方案，以及针对镜面或噪声表面的启发式后备方案（用于顶层抓取）。两阶段执行策略（预抓取接近及最终接近）确保了无碰撞接触。
放置： 在到达目标容器（如碗）时，系统通过对容器内部的点云分析来估计安全的放置位姿，并执行两阶段放置动作，以最大限度减少侧向碰撞。

3. 核心贡献

闭环实机机器人框架： DREAM 被呈现为一个完整的移动操作系统，适用于动态、此前未知的室内环境，无需预构建地图，集成了 SLAM、语义记忆、目标重获取和操作。
具有 RMP 的动态时空语义记忆： 本文引入了一种支持位姿图感知历史观测重集成和关键帧引导剪枝的记忆机制。这确保了 3D 语义证据在位姿修正和物体重定位下仍能保持对齐，同时保持观测历史的紧凑性。
混合定位流水线： 开发了一种结合语言约束 3D 检索、开放词汇图像检测和 mLLM 验证的新颖流水线，能够鲁棒地实现语言查询的落地并重新获取被移动的目标。
系统级评估： 该框架在四个真实的动态室内场景中在真实的移动操作平台上进行了评估，证明了其在长程任务成功率方面相比于强基准模型的提升。

4. 实验结果

实验在四个具有不同障碍物密度和走廊宽度的真实实验室场景（S1–S4）中进行。机器人的任务是执行自然语言指令（例如，“拿起橙子并把它放入绿色的碗里”），其中目标在执行过程中会被手动移动。

任务成功率： DREAM 将长程任务成功率从 40%–60%（DynaMem 基准）提高到了四个场景中的 55%–70%。具体而言，DREAM 实现的累计成功率为 62.5%（80 次试验中 50 次），而 DynaMem 为 48.8%（80 次试验中 39 次）。
子任务表现： DREAM 在导航（高达 89.2% 对比 85.7%）、拾取（高达 94.4% 对比 92.9%）和放置（高达 93.3% 对比 92.3%）成功率方面均表现出一致的提升。
记忆与效率： DREAM 在所有场景中保持了 0.37–0.63 GB 的紧凑记忆占用，显著小于 DynaMem（后者最高达到 10.43 GB）。在线记忆更新时间为每帧 0.43–0.53 秒，比 DynaMem 快约 2–4 倍，并且比 DovSG（超过 110 秒/帧）高效得多。
消融研究：
- 抓取： 完整配置（AnyGrasp + 启发式 + 两阶段执行）实现了 94% 的拾取成功率，优于仅使用启发式（67%）和仅使用 AnyGasp（79%）的变体。
- 定位： 完整的混合定位流水线（SigLIP + OWL-v2 + mLLM 验证）在定位查询物体方面实现了 83% 的成功率，优于没有 mLLM 验证的变体（75–77%），证明了语义验证在拒绝干扰项方面的价值。

5. 重要性与主张

本文声称 DREAM 为动态环境下的移动操作提供了一个鲁棒的解决方案，在这些环境中，物体经常被移动且 SLAM 位姿会不断优化。通过将激光雷达-惯性-视觉 SLAM 后端与动态时空语义记忆及冗余感知记忆剪枝相结合，该系统维持了一个紧凑且具有时间一致性的 3D 表示。其重要性在于能够在频繁的环境变化下，在没有预构建地图或静态假设的情况下，实现一致的场景理解和可靠的操作。作者指出，虽然该系统实现了重复的经验性增益，但它仍局限于拾取与放置任务，且模块化/启发式设计在极长时程下可能会累积误差，这表明未来可以在主动再感知和触觉感知操作方面开展工作。