💻 computer science

FARM: Find Anything using Relational Spatial Memory

FARM 是一个实时关系型空间记忆系统，它通过将开放词汇目标级记忆与视觉语言模型相结合，根据语义、外观和空间关系来解析并锚定用户查询，从而使机器人能够在复杂环境中准确定位特定的物体实例，其检索准确率显著优于以往的方法。

原作者： Siming He, Leo Huang, Adam Lilja, Fabio Hubel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siming He, Leo Huang, Adam Lilja, Fabio Hubel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进一个巨大的、杂乱无章的仓库，或者是一个充满了数百件外观完全相同的物品的多层房屋。你问机器人：“帮我找一下那个坐在飞镖盘下面、在海报左边的长灯。”

如果机器人只拥有一份简单的“我看到的物品”清单，它就会不知所措。它可能会看到42盏灯，然后选错那一盏。它需要理解物体之间的关系，而不仅仅是物体本身。

这篇论文介绍了 FARM（利用关系空间记忆寻找任何物体），这是一种让机器人在巨大且复杂的环境中记忆并寻找物品的新方法。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“大海捞针”

现在的多数机器人就像是只知道书名的图书管理员。如果你要找“一本红色的书”，它们可能会随便抓起任何一本红色的书。但在真实的房屋或建筑工地中，会有成千上万本红色的书、蓝色的椅子和白色的垃圾桶。

用户不会只说“找那盏灯”。他们会说：“找那盏在沙发旁边、在画作下面、并且比电视机更远的那盏灯。”为了做到这一点，机器人需要一个关系空间记忆（Relational Spatial Memory）。它不仅需要记住事物是什么，还需要记住它们相对于彼此的位置。

2. 解决方案：FARM 的“智能档案系统”

FARM 就像一个在机器人移动时实时构建的超有序的档案系统。

“高斯”档案卡： FARM 并不存储每个物体的沉重且详细的 3D 模型（这会占用过多内存），而是将每个物体存储为一个紧凑的“云团”（称为 3D 高斯）。你可以把它想象成代表物体大小和位置的一个模糊的、发光的气球。它非常轻量化，且能即时更新。
“异步”图书管理员： 当机器人在忙于移动和扫描（“关键路径”）时，一组独立的后台 AI 工作人员（视觉语言模型）正在忙着编写关于这些物体外观的详细描述并做笔记。这在后台进行，因此机器人无需停止移动即可进行思考。
“符号化”侦探： 当你提出问题时，FARM 不仅仅是在猜测。它使用一种 AI 将你的句子转化为一个逻辑谜题。
- 你的查询： “找一下白色货车附近的蓝色马桶。”
- FARM 的逻辑： “好吧，我需要找到一个‘蓝色马桶’（目标物）。我需要找到一辆‘白色货车’（锚点）。然后我检查：蓝色马桶是否在白色货车附近？”

3. 它如何解开谜题

当机器人接收到查询时，它不会试图读懂你的心思，也不会同时查看成千上万帧视频（这既慢又容易混淆）。相反，它遵循一个严格的三步流程：

解析（Parse）： 它将你的句子分解为“目标物”和“锚点”（你提到的地标）的映射图。
评分（Score）： 它快速检查其记忆。“好吧，我有5个蓝色马桶。哪一个离白色货车最近？”它使用数学方法来计算每个候选对象与描述的匹配程度。
验证（Verify）： 如果仍然有两个非常相似的候选对象，它会调取这两个位置的几张特定照片，并询问一个强大的 AI：“这两个中，哪一个看起来更像照片里的那个？”这种最后的检查确保了极高的准确性。

4. 结果：速度与准确度

研究团队在两个截然不同的世界中测试了 FARM：

室内： 一个拥有42盏相似灯具的多层房屋。
室外： 一个巨大的建筑工地（15,000 平方米），其中有许多移动厕所和送货货车。

研究结果令人印象深刻：

速度： FARM 在机器人移动时构建其记忆，频率为每秒 5 到 10 次。它足以满足实时使用的需求。
准确度： 它找到正确物体的频率远高于以往的方法。在建筑工地测试中，它能够通过利用附近的货车作为线索，从三个完全相同的移动厕所中选出正确的那一个。
效率： 与那些试图存储庞大 3D 地图的系统相比，它使用的计算机内存非常少（大约只有几张照片的大小）。

5. 现实世界测试

团队不仅仅是在电脑上测试。他们将 FARM 应用在了一台 Boston Dynamics Spot 机器人（一种四足狗形机器人）上。他们驱动机器人在真实环境中移动，在机器人自身的计算机上构建记忆，然后根据复杂的指令让它寻找特定物品。机器人成功地导航到了正确的物体，证明了这个“档案系统”在真实、混乱的世界中是行之有效的。

总结

FARM 就像是给了机器人一张智能的关系地图，而不仅仅是一份物品清单。它允许机器人理解“在飞镖盘下面的灯”与“在桌子上的灯”是不同的，即使它们看起来完全一样。通过将快速的 3D 制图与智能语言理解相结合，它可以在巨大且杂乱的空间中瞬间且准确地找到特定物品。

技术摘要：FARM（基于关系空间记忆的万物查找系统）

问题陈述

在大型、物体丰富的环境（如家庭、仓库、建筑工地）中运行的机器人需要能够根据需求检索特定物体实例的持久化记忆系统。现有方法面临两个主要局限性：

记忆表示不足： 闭词汇语义 SLAM 和 3D 场景图无法泛化到用户自然使用的开放词汇。虽然最近出现了开放词汇方法，但它们通常需要离线后处理、跨尺度的超参数调优，或者依赖于在场景图上进行脆弱的端到端推理。
关系检索无效： 用户通常通过与地标的组合关系来指定目标（例如，“那个在飞镖盘下方且在海报左侧的高灯”）。纯基于嵌入的检索（如 CLIP）无法捕捉这些复杂的组合关系。相反，在原始帧历史或场景图上进行端到端视觉语言模型（VLM）推理的方法，在处理非平凡的空间关系时往往表现脆弱，尤其对于部署在机器人上的模型而言，并且在大型环境中受限于上下文窗口。

本文认为，成功的检索需要一种关系空间记忆：一种将查询视为关系规范（而非简单的标签查找）的 3D 记忆，通过语义、外观和空间关系在多个物体之间识别目标。

方法论

FARM 通过两个阶段的流水线来解决这些挑战：在线记忆构建和鲁棒的关系物体检索。

1. 在线记忆构建

FARM 在实时（5–10 Hz）构建紧凑、开放词汇、物体级的记忆，无需离线后处理。

表示： 每个物体由单个 3D 高斯分布 ( $\mathcal{N}(\mu, \Sigma)$ ) 表示，用以总结位置和空间范围。这种选择避免了体素或点云所需的全局分辨率超参数，使得系统能够在固定配置下，实现从小型室内房间到大型室外场地（高达 15,000 m²）的扩展。
属性： 每个实体存储：
- 3D 高斯几何。
- 用于跨视图关联的检测时外观特征。
- 最多 $k$ 个代表性视角（RGB 裁剪图），旨在保证视角多样性。
- 由 VLM 生成的开放词汇描述（Captions）。
- 三种检索嵌入：文本描述的文本嵌入、SigLIP2 图像嵌入以及 Qwen3-VL 图像嵌入。
关系： 系统在建图期间存储低阶关系（通过 Hellinger 距离实现的共视性和邻接性），而非高阶谓词（如“在……左侧”）。这防止了关系复杂度的指数级增长；特定的关系会在查询时进行恢复。
流水线： 系统在 GPU 上运行同步的“检测–提升–关联–融合”循环。视觉语言描述生成和嵌入计算通过 VLM 工作者异步执行，不在关键路径上，从而确保建图帧率不受 VLM 延迟的影响保持稳定。

2. 鲁棒的关系物体检索

检索被解耦为三个阶段，以平衡效率和准确性：

可执行查询规范： 解析器（Qwen3.5-9B）将自然语言查询编译为类型化查询图 $\Pi(q) = (x^\star, a_1, \dots, a_m, S_q, \Phi_q)$ 。它定义了一个目标变量 $x^\star$ 、若干锚点变量 $a_i$ 、开放词汇描述 $S_q$ 以及空间/语义谓词 $\Phi_q$ 。
软评分与绑定：
- 一元评分（Unary Scores）： 候选对象基于文本、SigLIP2 和 Qwen3-VL 嵌入的融合进行评分。
- 关系评分（Relational Scores）： 谓词作为 3D 高斯分布上的软函数进行评估（例如，用于“靠近”的 Hellinger 距离，用于“上方/下方”的垂直偏移 Sigmoid 函数，以及用于“左侧/右侧”的虚拟观察者坐标系）。
- 绑定（Binding）： 系统采用贪婪策略，将锚点绑定到每个目标候选对象的最佳评分实体上，利用典型指代表达的星形结构来避免穷举搜索。
VLM 重排序： VLM（Qwen3.5-9B）对前 5 个候选对象进行重排序，该过程会检查候选对象及其匹配锚点的投影视图。此阶段解决了仅靠几何谓词无法解决的残余歧义。

核心贡献

实时场景图算法： 一种可扩展的算法，利用 3D 高斯在机器人规模下在线构建开放词汇空间记忆（5–10 Hz），在多种室内外环境中仅需固定的超参数集，且无需离线后处理。
关系检索框架： 该检索系统通过结合结构化符号解析、软谓词评估和 VLM 重排序，在 Top-1 准确率和 Top-K 召回率方面均优于以往方法。
FARM-Scenes 基准测试： 一个包含七个大规模室内外场景（范围从 1,800 到 15,000 m²）的新基准，旨在压力测试现实世界复杂环境中的可扩展性和关系落地能力。

实验结果

作者在 67 个场景（ScanNet, HM3D, 和 FARM-Scenes）及 44,000 个语言查询上对 FARM 进行了评估。

性能提升： 与之前的算法（BBQ, RynnBrain, DAAAM）相比，FARM 实现了：
- 相比 BBQ，Recall@5 提高了 164%，Recall@10 提高了 224%。
- 相比更强的 VLM 推理基线（RynnBrain 或 DAAAM+R），Accuracy@1 提高了 35%。
- 在 HM3D-30 基准测试中，FARM 相比 DAAAM 将 Accuracy@1 提升了 30%（从 6.1% 提升至 7.9%）。
效率： FARM 保持了约 8 Hz 的建图吞吐量。其内存占用非常紧凑（ScanNet 约为 23 MiB，HM3D 约为 125 MiB），适合设备端部署。
实际部署： 该系统成功部署在配备 NVIDIA Jetson Thor 计算平台的 Boston Dynamics Spot 机器人上，展示了在无需离线预处理的情况下，实现实时闭环记忆构建和关系检索的能力。

意义与主张

论文声称 FARM 建立了大规模环境下关系物体落地（grounding）的新基准。其重要性在于：

弥合差距： 它成功弥合了现代 VLM 的感知强度与结构化、持久化空间记忆需求之间的差距，避免了纯视频推理带来的上下文窗口限制。
可扩展性： 通过使用 3D 高斯并将高阶关系构建推迟到查询时，FARM 实现了在不同场景规模（从 15 m² 到 15,000 m²）下的扩展，且无需重新调优。
鲁棒性： 采用结构化使用 VLM（解析与重排序）而非端到端图推理，使得检索更加准确和鲁棒，特别是在精细的空间消歧方面。
实用性： 该系统可在车载硬件上实时运行，使机器人能够在作业过程中构建并查询自身的记忆。

作者承认存在局限性，指出空间谓词是手动指定且未经校准的，且目前的基准测试主要评估目标与锚点之间的关系，而非多个锚点之间的复杂推理。他们建议未来的工作包括学习校准后的谓词函数，以及扩展基准测试以支持组合式锚点推理。