🤖 AI

ProCompNav: Proactive Instance Navigation with Comparative Judgment for Ambiguous User Queries

ProCompNav 是一个两阶段框架，通过迭代构建候选池并利用二元比较问题高效区分目标与干扰项，从而解决歧义性实例导航查询，在提升成功率的同时显著缩短用户响应长度，表现优于现有方法。

原作者： Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一个机器人，任务是在一个堆满外观相似物品、巨大而杂乱的仓库中寻找特定物体。老板（用户）给你一个模糊的指令：“找到那个柜子。”

问题在于？仓库里有 50 个柜子。它们看起来都差不多。有些在浴室，有些在卧室，有些是木制的，有些是金属的。如果你只是猜测你看到的第一件物品，可能会抓错。如果你问老板：“那个柜子长什么样？”而他们给你一个冗长、啰嗦的描述，这会耗费很长时间，而且你仍然可能因为该描述适用于多个柜子而感到困惑。

这篇论文提出了一种让机器人解决此问题的新方法，称为ProCompNav。把它想象成一场带有变奏的“二十问”游戏。

以下是其工作原理，分解为简单步骤：

1. 旧方法：“猜测与检查”（独立匹配）

想象一个使用旧方法的机器人。它看到一个柜子，问道：“它是蓝色的吗？”老板回答：“是。”机器人看到另一个柜子，问道：“它是蓝色的吗？”老板回答：“是。”

缺陷：机器人不断收集事实（蓝色、靠近镜子、木质），并试图将它们与单个柜子进行匹配。
结果：它往往过早地选择一个“干扰项”（错误的柜子），因为那个错误的柜子碰巧也是蓝色的且靠近镜子。机器人陷入询问冗长、令人困惑的问题的循环，或者放弃并选错东西。

2. 新方法：“ Sorting Hat”（ProCompNav）

ProCompNav 完全改变了策略。它不再试图描述唯一正确的柜子，而是专注于对整个柜子群体进行分类。

步骤 1：聚集人群（池构建）
首先，机器人还不确定任何东西。它在仓库里跑动，找到它能找到的所有柜子。它将它们全部放入一个心理上的“候选池”。现在，它不再是在干草堆里找一根针，而是有一堆 10 根针，需要找到正确的那一根。

步骤 2：神奇的分隔（比较判断）
机器人不再问“目标是什么颜色？”，而是看着这一堆，提出一个旨在将群体一分为二的比较性问题。

坏问题：“目标是木制的吗？”（也许 10 个全是木制的。这没有帮助。）
ProCompNav 问题：“柜子旁边有一个红盒子吗？”
- A 组（“是”组）：3 个柜子旁边有红盒子。
- B 组（“否”组）：7 个柜子旁边没有红盒子。

步骤 3：二分切割
机器人向用户提出一个简单的是/否问题：“你想要的柜子旁边有红盒子吗？”

如果用户回答"是"：机器人立即扔掉 B 组中的 7 个柜子。它只保留 A 组中的 3 个。
如果用户回答"否"：机器人扔掉 A 组中的 3 个柜子。它保留 B 组中的 7 个。

步骤 4：重复直到只剩一个
机器人重复这个过程。它查看剩余的群体，找到一个能将它们分开的新特征（例如，“上面有电视吗？”），提出一个是/否问题，再次将群体一分为二。

第一轮：10 个柜子 $\rightarrow$ 剩 3 个。
第二轮：3 个柜子 $\rightarrow$ 剩 1 个。
完成！ 机器人找到了目标。

为什么这更好？

论文声称，这种方法在三个主要原因上是一个巨大的改进：

它避免了“过早决定”：通过在做出选择之前先聚集一个群体，机器人不会仅仅因为某个柜子是它看到的第一个就意外选错。
对用户来说更容易：用户不需要写一段长长的文字来描述柜子（“它是一个带有银色把手的深色橡木柜子，放在蓝色墙壁的房间里……”），用户只需回答"是"或"否"。这快得多，也更不累人。
提问更聪明：机器人不会问随机的问题。它专门寻找一个能将嫌疑人数减半的问题，就像侦探通过检查谁在现场来缩小嫌疑人名单一样。

结果

研究人员在计算机模拟（如视频游戏世界）中测试了这种方法。

成功率：即使用户给出的指令非常模糊，ProCompNav 找到正确物体的频率也高于以前的方法。
效率：与旧方法相比，它需要用户提出的问题和回答要少得多、短得多。
通用性：即使在“非交互式”设置中（机器人阅读详细描述但仍需在众多物品中找到正确物体），它也能很好地工作，证明了这种“比较与分割”的逻辑是寻找物品的有力工具。

简而言之：ProCompNav 阻止机器人去猜测，而是让它从分类开始。它将令人困惑的搜索转变为一场简单的淘汰游戏，使机器人更快，人类更轻松。

技术摘要：ProCompNav

问题定义

本文探讨了**协作实例导航（CoIN）**任务，即一个具身智能体需根据模糊的自然语言查询（例如“找到柜子”），在未知的三维环境中导航以定位特定的目标实例（例如“那个柜子”）。与标准实例导航假设预先提供详细且唯一的描述不同，CoIN 处理的是在初始信息极少、无法将目标与同类别干扰项区分开来的场景。

现有方法通常采用独立匹配策略，即智能体询问用户关于目标属性的信息（例如颜色、附近物体），并根据累积的信息对遇到的候选项进行评分。作者指出，这种方法存在两个主要缺陷：

过早决策：智能体往往在收集到足够证据之前，就锁定了一个与真实目标共享某些属性的干扰项。
消歧效率低下：即使收集了多个候选项，所提出的问题往往基于单个候选项生成，而非旨在区分整个候选池。这导致用户回答冗长且开放，无法有效区分视觉上相似的干扰项。

方法：ProCompNav

作者提出了基于比较判断的主动实例导航（ProCompNav），这是一个两阶段框架，将范式从“描述目标”转变为“修剪候选池”。

1. 候选池构建阶段

智能体探索环境，构建包含 $N$ 个请求类别的不同实例的候选池 $C$ 。

表示：每个候选项由多视图拼贴图像和由多模态大语言模型（MLLM）生成的多视图描述表示。
聚合：智能体聚合来自不同视角的 3D 点云和 RGB 视图，以创建每个候选项的综合描述，捕捉单视角可能遗漏的属性。
触发：一旦候选池大小达到最小阈值（ $N_{min}$ ），智能体即进入比较阶段。

2. 递归比较阶段（RCJ）

RCJ 不使用开放式问题，而是基于比较判断，通过二元是/否问题迭代地修剪候选池。

核心集选择：在每一轮 $t$ ，当前活跃池 $U_t$ 被划分为核心集（ $G_c$ ）和剩余集（ $G_r$ ）。核心集的选择旨在最大化集合内相似度（使用基于文本和视觉嵌入的贪心剥离算法），确保 $G_c$ 包含语义相似的实例。
判别属性（DA）发现：系统识别出一个在 $G_c$ $G_{c}$ 中存在但在 $G_r$ $G_{r}$ 中不存在的属性 $a^*_t$ $a_{t}^{*}$ 。
- 属性从 $G_c$ 中提取，使用大语言模型（LLM）。
- 自然语言推理（NLI）模型充当验证器，对每个实例的每个属性的蕴含关系进行评分，量化 $G_c$ 和 $G_r$ 之间的对比度。
- 选择能最大化两组之间预期蕴含分数差异的属性。
细化：通过根据选定的判别属性重新评估候选项，对剩余集进行细化，以确保分割清晰。
交互式修剪：智能体询问用户：“目标具有 [属性] 吗？”
- 如果是：候选池更新为 $G_c$ 。
- 如果否：候选池更新为 $G_r$ 。
- 如果候选池大小变为 1，则目标被识别。如果候选池变为空（表明目标不在初始池中），智能体恢复探索以添加更多候选项。

主要贡献

比较判断策略：本文引入了从独立匹配到“先收集后比较”流程的转变。这将消歧重新定义为选择能够分割候选池的问题的过程，而非收集关于单个假设目标的事实。
递归比较判断（RCJ）：一种特定算法，通过迭代提取判别性属性 - 值对，利用二元问题修剪候选池。它仅要求一个属性能将当前候选池分割为两个非空组，而不要求该属性能立即唯一地识别目标。
降低用户负担：通过提出能同时消除多个候选项的二元问题，该方法显著缩短了用户回答的长度，相比开放式描述大幅减少了交互成本。

实验结果

该方法在CoIN-Bench（交互式、模糊查询）和TextNav（非交互式、详细查询）上进行了评估。

CoIN-Bench（交互式）：与交互式基线（如 AIUTA）和非交互式基线（如 3D-Mem）相比，ProCompNav 在所有划分（Seen、Seen Synonyms、Unseen）中均取得了最高的成功率（SR）。
- SR 提升：在 Val Seen 上实现了 23.7% 的 SR，优于最佳交互式基线（AIUTA*）的 10.5%。
- 效率：平均回答长度（RL）从约 109.5 个 token（AIUTA）大幅减少至 4.2 个 token，问题数量（NQ）减少至 2.2 个。
TextNav（非交互式）：当适配到非交互式设置（直接从详细描述中提取属性）时，ProCompNav 取得了 28.5% 的最先进 SR，优于其他无训练方法。
消融研究：结果证实了多视图聚合、基于 NLI 的验证器（优于仅 LLM 评分）以及基于相似性的核心集选择（优于 KMeans）的必要性。

意义与主张

本文主张 ProCompNav 证明了比较判断是实例级导航的广泛适用机制，特别是在干扰项视觉上相似的情况下。

鲁棒性：该方法对过早决策更具鲁棒性，因为它推迟最终决策，直到构建并比较了候选池。
泛化性：推迟决策并通过判别属性进行修剪的核心机制，即使在拥有详细描述的非交互式设置中也有效，这表明候选项应始终相互比较，而非独立评分。
用户体验：该方法用简短的二元确认取代了冗长的描述，显著降低了用户的认知和语言负担。

作者指出了局限性，包括目前依赖仿真和 MLLM 用户模拟器，以及在同类实例极少的环境中候选池构建阶段可能存在的低效性。他们建议未来的工作方向包括真实世界的机器人部署和动态候选池大小适应。