💻 computer science

Retrospective Open-Vocabulary Memory for Long-Term Object Search

本文介绍了 ECROM，一种用于长期目标搜索的方法，该方法利用回顾性开放词汇记忆来推理检测机会并提高搜索效率，并通过一个新的基准测试验证了其相对于现有记忆系统显著的性能提升。

原作者： Jiaming Wang, Zhiwei Xue, Chen Jizhuo, Peng Shiqi, Harold Soh

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaming Wang, Zhiwei Xue, Chen Jizhuo, Peng Shiqi, Harold Soh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现实世界中移动的机器人视觉能力正在不断提升，但在记忆事物通常位于何处方面仍然表现得很糟糕。想象一下，一个机器人被要求在一间它已经造访过多次的房子里寻找丢失的一把钥匙。如果机器人只记得最后一次看到钥匙的时间，那么如果钥匙在昨天被移动了位置，它可能会在错误的地方寻找。如果它只是简单地计算自己在特定地点看到钥匙的次数，它可能会被自己的“运气不好”所蒙蔽：也许它经过厨房桌子一百次却从未向下看，而它只在客厅沙发旁瞥了一眼，恰好看到了钥匙。简单的计数会让机器人认为沙发是最好的寻找地点，尽管桌子实际上才是钥匙最常出现的地方。这就是长期物体搜索的核心问题：区分一个物体究竟“居住”在哪里，与机器人仅仅是“偶然看到”它在哪里。

为了解决这个问题，新加坡国立大学的研究人员开发了一种让机器人构建环境记忆的新方法。他们将这一系统称为 ECROM，即“暴露校准回顾式开放词汇记忆”（Exposure-Calibrated Retrospective Open-Vocabulary Memory）。团队在由十个不同数字家庭组成的系列受控模拟中测试了该系统，其中物体的移动遵循隐藏的模式，且机器人的路径被刻意进行了变化，使得某些表面被频繁观察，而另一些则很少被看到。他们发现，通过仔细权衡机器人所见内容与其是否有机会看到该表面的程度，机器人可以学习到物体的真实习性。当被要求寻找以前从未被告知要寻找的物品时，这种新的记忆系统帮助机器人比以往的方法更快、更可靠地找到了目标。

研究人员应对的挑战根植于机器人移动过程中那种混乱的现实。在真实的家中，机器人并不会以完美的清晰度扫描每一个房间的每一寸空间。它可能在穿过厨房时正盯着天花板看，或者经过一个被椅子部分遮挡的餐桌。如果机器人仅仅计算它在桌子和中岛上分别检测到“草帽”的次数，如果它在岛台附近停留的时间更长，它可能会得出错误的结论。帽子可能有一半时间在桌子上，但如果机器人只在岛台附近看过，简单的计数就会表明岛台是草帽的家。研究人员意识到，要学习物体通常出现在哪里，机器人必须将“检测到物体的证据”与“观察到该物体的机会”区分开来。一次漏检只有在机器人确实看向正确方向时才有意义；如果机器人当时正看向别处，那么检测结果的缺失便无法说明任何问题。

为了测试这一想法，团队创建了一个名为 LOOP-Bench 的基准测试，其中包含十个真实的家庭环境。在这些模拟中，他们根据隐藏的概率分布将杯子、剪刀和帽子等物体放置在各种表面上。有些物体总是出现在同一张桌子上，有些在几个位置之间移动，还有些极少出现。至关重要的是，机器人在这些家中的路径生成过程是独立于物体放置位置的。这意味着机器人可能经过一张桌子十次却从未清晰地看到其表面，而可能仅经过一次厨房岛台就获得了完美的视野。这种设置迫使记忆系统在不被机器人自身运动模式误导的情况下，去推断物体的真实位置。

新的系统 ECROM 通过将机器人的历史记录组织成一个由“支撑面”（supports）组成的地图，并精确记录每次经过时每个表面被观察到的程度来进行工作。当人类稍后要求机器人寻找特定物品时，系统会查看所有的历史行程。它不仅仅进行计数；相反，它会根据表面的暴露程度计算一个概率。如果机器人清晰地看到了一个表面但没有发现该物体，系统会大幅降低该物体存在的信念值。但如果机器人只是瞥见了某个表面，或者视野被遮挡了，系统会将检测缺失视为“中性”，拒绝对该位置进行惩罚。这使得机器人能够学习到：如果某个表面是该物体在可见状态下唯一被发现过的地方，那么即使机器人很少看到这个表面，该物体也可能在该表面上。

模拟结果非常明确。当研究人员要求机器人寻找从未被明确告知要搜索的物体时，新系统的表现优于他们测试的所有其他方法。它显著提高了预测的准确性，更重要的是，在主动搜索过程中，它找到物体的时间更短。在模拟中，使用 ECROM 的机器人大约在 59% 的尝试中找到了目标，而排名第二的方法约为 53%。更令人震惊的是，在论文展示的一个特定案例研究中，机器人寻找物体的行驶距离从 17.8 米降至仅 3.2 米。这种效率源于机器人能够准确知道哪些表面值得优先检查，而不是漫无目的地游荡或陷入重复检查已排除区域的困境。

为了确保这不仅仅是数字模拟中的“小把戏”，团队还在物理机器人（Hello Robot Stretch 3）在真实的办公环境中进行了测试。他们使用真实的物体（如红色的杯子、一把剪刀和一个午餐肉罐头）进行了同样类型的搜索任务。机器人必须在 500 平方米的范围内导航，在办公桌和架子之间移动，以寻找这些物品。结果反映了模拟的情况。使用新记忆系统的机器人在 15 次试验中成功找到了物体 14 次，而其他方法仅成功了 10 或 11 次。物理机器人行驶的距离也显著减少，平均行驶 19.4 米，而其他方法接近 29 米。这证明了将“观察机会”与“物体存在”分离的逻辑，即使在面对现实世界中不可预测的光照和杂乱环境时依然有效。

研究人员还探索了如果移除系统中关键部分会发生什么。当他们强迫机器人假设它已经完全看到了每一个表面（即使显然并未完全看到）时，机器人的性能下降了。它开始将漏检视为物体不存在的证据，从而导致它忽略了正确的地点。同样，当他们简化系统，仅观察物体是否被看到而忽略视觉证据的强度时，机器人的精确度也降低了。这些测试证实，系统的成功依赖于两个具体要素：对实际可见表面程度的仔细核算，以及对视觉证据强度的细致解读。

这项工作为需要在动态、变化的长期环境中运行的机器人指明了一条前进的道路。机器人不再仅仅是记住上次看到某物的时间，或者保留一个简单的计数，它们可以学习周围世界的习性。它们可以理解，仅仅因为最近没在柜台上看到咖啡杯，并不意味着咖啡杯不在那里；这可能只是意味着它们有一段时间没看那个柜台了。通过建立一个尊重自身视觉局限性的记忆，机器人可以成为更可靠的家庭伙伴，即使在世界处于不断变化的状态下，也能寻找到丢失的物品。研究人员计划向公众发布他们的代码和基准测试数据，以便他人在此基础上构建更智能、观察力更强的机器。

技术摘要：用于长期物体搜索的回溯性开放词汇记忆

问题定义
具身智能中的长期物体搜索要求机器人能够根据对不断变化环境的重复且不均匀的观测，学习物体通常出现的位置。现有方法通常假设物体是静态的，或依赖于最新的观测结果，未能考虑到经常使用的物体（例如钥匙、工具）虽然会移动，但遵循稳定的规律。一个关键的挑战在于，重复的观测具有高度的不均匀性；访问一个房间并不意味着能观察到其中的每一个表面，这受限于遮挡、相机朝向或部分可见性。因此，简单的检测计数或访问频率会将“物体出现”与“观测频率”混淆。本文将回溯性开放词汇记忆（retrospective open-vocabulary memory）表述为来自受限观测（censored observations）的概率推理。其核心目标是估计任意指定概念的长期流行度（ $\theta$ ），并显式地基于“单位机会的证据”（evidence per opportunity）进行推理：一次检测或未检测，应当仅根据机器人实际观察到该特定位置的机会比例来影响信念。

方法论：ECROM
作者引入了 ECROM（暴露校准的回溯性开放词汇记忆），这是一种基于“单位机会证据”原则的查询无关型记忆系统。

映射与表示：
- 通过关键帧图将重复的 RGB-D 遍历组织成稀疏的“地点-视角图谱”（place–view atlas）。
- 将相邻的关键帧分组为“地点”，并将视角方向分箱为规范视角，从而形成可执行的“视图” $u = (a, \psi)$ 。
- 存储的深度数据被体素化为表面支撑面 $j$ （固定大小、类别无关的、朝上的表面几何补丁）。
- 对于每个支撑面 $j$ 和回合 $e$ ，系统计算观测机会 $c_{je} \in [0, 1]$ ，定义为支撑面体素中返回深度值的比例。这作为物体存在的几何代理，代表了物体可见的概率。
受限观测模型：
- 系统将物理存在 $X_{je}$ （服从参数为 $\theta_j$ 的伯努利分布）和可观测性 $V_{je}$ （服从参数为 $c_{je}$ 的伯努利分布）建模为独立变量。
- 潜在的“可见存在”为 $Z_{je} = X_{je}V_{je}$ 。
- 在查询时，开放词汇检测器（OWLv2）提供语义得分 $r_{je}$ 。系统使用似然比 $\Lambda(r_{je}) = p_1(r_{je})/p_0(r_{je})$ 将得分转换为证据。
- 观测的似然函数推导如下：
  $p(r_{je} | \theta_j, c_{je}) = p_0(r_{je}) [1 + \theta_j c_{je} (\Lambda(r_{je}) - 1)]$
- 这种形式确保了如果 $c_{je} \to 0$ （无观测机会），证据将变为中性，从而防止未观测到的表面上的“未检测”结果惩罚对物体存在的信念。
后验推理：
- 对流行度 $\theta_j$ 设定 Beta 先验。假设各回合之间条件独立，通过数值计算得到后验概率 $p(\theta_j | H_j, q)$ 。
- 后验均值 $\hat{\theta}_j$ 作为长期流行度的估计值。
主动搜索：
- 流行度估计值被归一化为搜索权重 $b_j$ 。
- 机器人贪婪地选择下一个使“预期搜索权重暴露量与旅行成本之比”最大化的视图 $u$ ：
  $u^* = \arg\max_u \frac{\sum_j b_j c_j(u)}{CG(cur, u) + d_0}$
- 在每次失败的观察后，信念会进行更新，以比部分观测的支撑面更重地折扣那些被充分观测的支撑面。

核心贡献

公式化： 提出了一种全新的将回溯性开放词汇记忆表述为受限推理的方法，显式地将语义证据与观测机会分离。
ECROM 算法： 一种稀疏的、查询无关的记忆系统，它能估计仅在查询时才指定的概念的流行度，并将其直接转化为主动搜索的先验。
LOOP-Bench： 一个受控的长期基准测试，包含十个 HM3D 住宅，其中物体放置和观测机会在多次遍历中独立变化。它包含 50 个开放词汇查询和 150 次搜索试验。
实验验证： 实验证明，与计数法、基于检索的方法、最新状态法以及预测图谱式记忆相比，ECROM 在分布估计和主动搜索性能方面均有提升，并在物理机器人上进行了部署。

结果

仿真环境 (LOOP-Bench)： ECROM 在所有指标上均取得了最佳表现。相比于该指标下最强的竞争对手（机会归一化计数法），它将支撑面层级的平均精度（AP）提高了 4.5 个百分点；相比于该指标下最强的竞争对手（PredictiveGraphs 式记忆），它将搜索的路径长度加权成功率（SPL）提高了 4.2 个百分点。
- AP： ECROM (0.216) vs. 机会归一化计数法 (0.171)。
- SPL： ECROM (0.381) vs. PredictiveGraphs (0.339)。
- 消融研究证实，暴露项（ $c_{je}$ ）和渐进式似然比都是必要的；移除暴露项会导致 AP 降至 0.191，SPL 降至 0.333。
真实机器人实验： 在一个 500 平方米的办公室内，使用 Hello Robot Stretch 3 进行部署。ECROM 实现了 93% 的成功率（15 次试验中 14 次成功），平均行驶距离为 19.4 米。这显著优于检测计数法（67% 成功率，29.1 米）和 PredictiveGraphs 式记忆（73% 成功率，29.5 米）。对于观测机会不均匀的物体（如“红杯子”和“剪刀”），其增益最为明显。

意义与主张
论文声称 ECROM 解决了现有长期记忆的一个根本局限：无法区分“物体的缺失”与“缺乏观测机会”。通过将未观测表面的非检测视为受限数据而非负面证据，ECROM 提供了更准确的流行度估计。这导致了更高效的主动搜索，特别是在观测机会高度不均匀的环境中。作者强调，其方法是“回溯性”的（在不知道查询内容的情况下从过去的数据中学习）且是“开放词汇”的（处理任意文本查询），使其适用于物体规律稳定但具体位置不固定的长期部署场景。该工作确立了将语义证据与几何机会分离对于鲁棒长期物体搜索的重要性。

技术摘要：用于长期物体搜索的回溯性开放词汇记忆

类似论文