💻 computer science

User-Centric Object Navigation: A Benchmark with Integrated User Habits for Personalized Embodied Object Search

本文引入了以用户为中心的物体导航（UcON），这是第一个通过纳入用户特定的物体放置习惯来评估并改进个性化具身物体搜索的大规模基准测试，证明了整合这些习惯与现有方法相比能显著提高导航成功率。

原作者： Hongcheng Wang, Jinyu Zhu, Hao Dong

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongcheng Wang, Jinyu Zhu, Hao Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你丢了太阳镜。你知道昨天吃午饭时戴着它们。如果你要求一个标准的机器人去寻找，它可能会说：“好的，太阳镜通常在桌子或架子上，”然后开始检查客厅。但如果你的习惯是把它们放在厨房柜台上，因为那是你吃饭的地方呢？一个仅依赖通用规则的标准机器人很可能会错过它们。

这篇论文介绍了一种教机器人寻找物品的新方法，即通过学习你特定的习惯，而不仅仅是通用规则。以下是对他们工作的简单拆解：

1. 问题所在：“一刀切”的机器人

现在的多数机器人就像是了解城市通用规则的游客（例如：“床在卧室里”）。它们在酒店或展厅这种一切都井然有序的环境中表现出色。但真实的家是凌乱且具有个人特色的。

类比： 想象你在寻找一个朋友的家。游客可能会寻找一扇红门的房子（通用规则）。但你的朋友可能住在一栋蓝门的房子里，因为他讨厌红色。如果机器人只知道“红门规则”，它永远也找不到你的朋友。
问题： 现在的机器人不知道你总是把钥匙放在冰箱里，或者你是在沙发上而不是餐桌上读报纸。

2. 解决方案：“习惯库”（UcON）

研究人员构建了一个新的测试场，称为 UcON（以用户为中心的物体导航）。把它想象成一个巨大的“用户习惯”图书馆。

机器人不再只是被问“书在哪里？”，而是得到了一份“小抄”，上面写着：“这位特定用户在沙发上看书，” 或者 “这位用户把香蕉放在冰箱里以保持新鲜。”
他们为 489 种不同的物体创建了超过 22,600 种不同的习惯。这就像是给了机器人一本关于特定个人生活方式的日记，而不是一张通用的房屋地图。

3. 挑战：信息过载

给机器人一整本完整的日记会让它感到不知所措。如果你让机器人找“报纸”，而你给了它一份包含 300 条习惯（包括他们如何存放咖啡、把鞋放在哪里以及早餐吃什么）的清单，机器人会感到困惑。这就像是在试图于一堆干草中找一根针，同时有人在你耳边大声喊出 3 百个不同的事实。

瓶颈： 当指令过长时，机器人的“大脑”（大语言模型）会变得疲劳并出错。

4. 窍门：“习惯检索器”

为了解决这种困惑，作者添加了一个名为习惯检索模块的特殊工具。

类比： 想象你在找丢失的钥匙。与其阅读你整整 500 页的日记，不如有一个聪明的助手能瞬间翻到写着*“我通常把钥匙放在门口旁”*的那一页。这个助手会忽略关于你上周二午饭吃了什么的那些页面。
运作方式： 当机器人需要寻找某个物体时，这个模块会快速扫描“习惯库”，并只提取出与该特定物体相关的习惯。这使得机器人的工作变得更加轻松且聪明。

5. 他们的发现

他们在机器人身上进行了测试（包括在计算机模拟中以及使用真实的机器狗在房屋中进行测试）。

没有习惯时： 机器人经常出错，因为它们依赖“常识”（例如：“书在图书馆里”），而这与用户的实际习惯并不相符。
有了习惯后： 机器人的寻找能力有了很大提升。
有了“检索器”后： 机器人的表现最好。通过过滤掉噪音并专注于相关的习惯，它们能更快、更准确地找到物体。

核心结论

这篇论文表明，为了让机器人在我们的家庭中真正发挥作用，它们不能仅仅遵循通用规则。它们需要学习我们特定的怪癖。然而，它们不能一次性阅读我们整个生活故事；它们需要一种聪明的方法来查找与当前任务相关的特定习惯。作者证明了，当机器人这样做时，它们在寻找丢失物品方面会变得出色得多。

技术摘要：以用户为中心的物体导航 (UcON)

问题陈述

现有的物体导航 (Object Navigation, ON) 基准测试主要依赖于通用场景先验，假设物体的放置遵循常识规范（例如：床在卧室里，沙发在电视附近）。然而，在现实世界的家庭环境中，物体的放置往往是由个人习惯而非普遍规则决定的。例如，用户可能会习惯性地将书放在沙发上，而不是书房里。这种差异限制了导航智能体在个性化设置中的适应能力。目前的先进技术 (SOTA) 方法通常利用大语言模型 (LLM) 基于场景先验进行推理，却无法考虑到这些特定的、由习惯驱动的放置行为，导致当物体不在常识所预期的位置时，性能显著下降。

方法论

1. UcON 基准测试

作者引入了以用户为中心的物体导航 (User-centric Object Navigation, UcON)，这是一个旨在评估和改进个性化环境中物体搜索的新型基准测试。

规模与范围： UcON 涵盖了 489 个不同的物体类别，并整合了约 22,600 种用户习惯。它是第一个明确将习惯约束下的物体导航在如此大规模下进行形式化定义和评估的基准测试。
任务生成： 该基准测试利用一个包含三个步骤的 GPT-4 流水线来生成自然语言用户习惯及相应的物体放置位置。这些放置位置在 Omnigibson 模拟器中经过了物理合理性和语义一致性的验证。
环境： 每个回合都始于一个“由习惯塑造的场景”，其中特定物体根据采样的用户习惯知识库 (UHKB) 进行了重新定位。智能体必须在 300 步的限制内，使用一组动作（移动、旋转、观察、打开、完成）导航至目标物体。
挑战： 核心难点在于解决多个习惯可能存在的空间冲突问题，智能体必须利用探索证据，在通用的场景先验之上，优先选择正确的习惯驱动位置。

2. 习惯检索模块 (HRM)

为了解决 LLM 在处理包含数百个习惯的长提示词时的局限性，作者提出了一个习惯检索模块 (Habit Retrieval Module, HRM)。

机制： 受检索增强生成 (RAG) 的启发，HRM 使用 BGE-M3 模型计算查询模板（例如：“检索关于 {TargetObject} 的习惯”）与存储在 UHKB 中的习惯之间的相似度。
功能： 它选择前 $p$ 个最相关的习惯并将其包含在提供给基础模型的提示词中。通过过滤无关信息并将注意力集中在与任务相关的用户行为上，该模块简化了推理过程。

3. 实验设置

模拟： 在 Omnigibson 的 22 个场景中进行。
现实世界验证： 实验是在配备了 Astra Pro Plus RGB-D 相机的 Unitree GO2 Edu 机器人上进行的，运行在消费级硬件（RTX 3090 工作站）上。
基准方法： 本研究评估了包括 PixelNav、LGX、L3MVN、VTN 和 ZSON 在内的 SOTA 方法。这些方法经过修改以接受用户习惯作为输入，其中部分组件（如物体检测器）被真值 (ground truth) 取代，以建立性能上限。

关键结果

SOTA 方法的性能下降： 与传统的 ON 基准测试相比，当前的 SOTA 方法在 UcON 基准测试中表现出大幅度的性能下降。端到端方法 (VTN, ZSON) 和基于基础模型的方法 (PixelNav, LGX) 表现挣扎，因为它们的推理是基于常识的，而常识在习惯驱动的物体放置面前失效了。
用户习惯带来的益处： 集成用户习惯显著提高了大多数方法的成功率 (SR) 和成功加权路径长度 (SPL)。例如，使用 GPT-4 的 LGX 方法，其 SR 从 25.1%（无习惯）增加到了 27.8%（全习惯）和 30.6%（检索习惯）。
HRM 的有效性： 提出的习惯检索模块甚至优于“真值”习惯设置（即仅提供针对目标物体的直接习惯）。作者假设这是因为检索机制能够呈现间接相关的习惯（例如，在寻找“茶包”时呈现关于“早餐桌”的习惯），这些习惯提供了关键的上下文路标，从而实现了更高效的探索策略。
现实世界的可行性： 在小型和大型现实环境中的案例研究表明，利用检索习惯的智能体能够通过推理用户行为，成功找到被遮挡的物体（例如，因为用户在那里阅读，所以会在沙发附近寻找），而没有习惯的智能体则会失败或盲目搜索。

重要性与主张

论文声称 UcON 是第一个综合性的习惯集成导航评估框架，它独特地结合了广泛的物体类别与个性化的行为模式。

作者强调：

用户习惯是一个关键信号： 有效的家用服务智能体不仅要能识别，还必须能够利用用户习惯来促进高效的物体搜索，尤其是在物体违反常识放置的情况下。
推理局限性： 仅依靠 LLM 对长列表习惯进行推理是不够的；检索机制对于增强推理准确性是必要的，特别是对于较小的模型。
未来方向： 虽然这项工作侧重于习惯利用（对已知习惯集的推理），但它指出习惯获取（从长期观察中学习习惯）和上下文感知检索是未来研究的重要方向。

论文总结道，集成用户习惯并利用检索模块，是创造能够服务于动态、真实家庭环境中的人类的、鲁棒且个性化的具身智能体的必经之路。