💻 computer science

Ask When It Pays: Cost-Aware Open-Ended Interaction for Instance Goal Navigation

本文通过将实例目标导航（Instance Goal Navigation）重新定义为一个成本敏感的不确定性降低问题，解决了以往交互式导航方法效率低下的问题，并引入了一个带有成本感知指标的新基准以及一个零样本多模态大语言模型（MLLM）导航器，该导航器仅在预期信息增益足以证明交互成本合理时才会选择性地向智能体（oracle）进行查询。

原作者： Xunyi Zhao, Sihao Lin, Gengze Zhou, Zerui Li, Shijie Li, Wei Tao, Jiajun Liu, Qi Wu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xunyi Zhao, Sihao Lin, Gengze Zhou, Zerui Li, Shijie Li, Wei Tao, Jiajun Liu, Qi Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一个被委派去在一间房子里寻找特定物品的机器人，比如“那个蓝色的杯子”。但问题在于，有十个蓝色的杯子分别放在不同的桌子上，而你并不知道老板到底想要哪一个。这就是**实例目标导航（Instance Goal Navigation）**的问题。

这篇论文指出，虽然机器人可以寻求帮助，但它们经常会问错误的问题，或者问得太多，从而浪费时间与精力。作者们提出了一种新的机器人交互方式：“在值得提问时提问”（Ask When It Pays）。

以下是他们利用简单的类比对解决方案进行的拆解：

1. 问题所在：“免费建议”陷阱

想象你在一个巨大的商场里迷路了。你可以向一位热心的陌生人（“先知”）询问方向。

旧方法： 之前的机器人方法将所有问题都视为免费的。因此，机器人可能会问：“是红色的吗？”“是蓝色的吗？”“是在左边吗？”“是在右边吗？”它可能会通过问 20 个问题来找到答案，虽然提高了成功率，但却耗费了大量时间。
问题点： 问一个能提供巨大线索的问题（比如“它在厨房里”）是非常有价值的。而问一个只能提供微小线索的问题（比如“它是闪亮的吗？”）则价值较低。如果机器人不知道这两者的区别，它就会把它的“交互预算”浪费在廉价的问题上。

2. 解决方案：“成本意识”策略

作者将提问行为视为一种消费行为。

价格标签： 他们分析了数千条人类导航日志，以确定哪些类型的问题最有帮助。他们为每种类型分配了一个“成本”：
- 外观问题（“是红色的吗？”）：低成本。
- 位置问题（“在厨房里吗？”）：中等成本。
- 路径问题（“在走廊左转”）：高成本（因为这是一个大提示）。
- 确认问题（“是这一个吗？”）：低成本。
策略： 机器人的程序现在被设定为：只有当答案的价值大于提问的成本时，才会提出问题。这就像决定是否购买彩票：只有当潜在奖金值得票价时，才去购买。

3. 新型机器人：TANDEM

作者构建了一个名为 TANDEM 的机器人来测试这个想法。可以将 TANDEM 想象成一个两人协作的团队：

规划器（大脑）： 这是一个大型 AI，它观察房间、记忆走过的路径，并决定下一步要做什么。它决定是移动、停止还是提问。它并不了解具体的行走方式，它只了解“目标”。
执行器（腿部）： 这个部分将规划器的模糊想法（例如“走到那把椅子旁”）转化为实际的物理步伐，确保机器人不会撞到墙壁。

TANDEM 如何提问：
Tandem 不会随机提问，而是在正确的时间询问特定类型的问题：

早期阶段： 它会询问关于外观或区域的问题，以缩小寻找目标的范围。
中期阶段： 如果在走廊交叉口感到困惑，它会询问一个路径问题，以获得大致方向（例如，“房间在餐桌后面”）。
后期阶段： 它会进行确认提问，以确保它没有停在错误的杯子面前。

4. 结果：更聪明，而非更努力

研究人员创建了一个新的测试环境（数字模拟环境），他们可以在其中控制房间内“假”杯子（干扰物）的数量，从而增加任务难度。

发现： 那些随意提问的机器人（“天真型”方法）经常会感到困惑或浪费时间。而 TANDEM（仅在“划算”时提问）则效率更高。
“顿悟时刻”： 论文发现，当机器人真正感到困惑时（例如在复杂的走廊路口），TANDEM 会问最多的问题。它不是为了聊天而提问，而是为了解决特定的难题。
衡量指标： 他们引入了一个名为**加权成功率（Weighted Success Rate）**的新评分标准。这个分数不仅计算机器人是否找到了物体，还会扣除每一次昂贵提问的分数。TANDEM 胜出是因为它不仅找到了物体，而且消耗的“交互金钱”最少。

总结

这篇论文教会了机器人一个宝贵的教训：不要只是寻求帮助；要在正确的时间寻求正确的帮助。 通过将提问视为一种有不同价格的有限资源，机器人变成了一个更聪明的导航者，它通过高效地解决问题，而不是靠瞎猜来完成任务。

技术摘要：在有偿时提问：面向实例目标导航的成本感知型开放式交互

1. 问题定义

本文研究的是**实例目标导航（Instance Goal Navigation, IGN）**任务。在该任务中，具身智能体必须根据一个不充分的自然语言指令，在具有相同类别的干扰项中定位一个特定的物体实例（例如，“左侧的红色杯子”）。这与通常指定路径的视觉语言导航（VLN）或只需找到同类中任意实例的标准物体导航（ObjectNav）不同，IGN 要求解决实例层面的歧义性。

作者指出，由于以下原因，仅靠感知和粗略的指令往往是不够的：

房间边界不明确。
存在多个同类实例作为干扰项。
路径可能通向不同但看似合理的候选目标。

虽然与先知（Oracle，即具备知识的实体）进行交互是解决歧义的一种自然机制，但先前的交互式方法存在两个关键缺陷：

查询处理方式单一： 它们将轻量级的澄清问题（如“它是红色的吗？”）与高信息量的路径引导问题（如“往哪边走？”）进行无差别对待。
缺乏成本意识的评估： 它们允许智能体通过反复询问高信息量的问题来提高成功率（SR），而不惩罚交互所产生的“成本”。这无法区分高效的歧义解决与对先知协助的过度依赖。

本文将交互式 IGN 重新定义为一个成本敏感的确定性降低问题，即智能体只有在预期减少的导航不确定性足以抵消特定问题类型所带来的惩罚时，才应该提出问题。

2. 方法论

2.1 问题效用建模与分类学

为了建立一个成本敏感型的框架，作者通过对现有的人类编写导航语料库（R2R, REVERIE, RxX, CVDN, SOON）进行受信息增益启发的分析，推导出了问题分类学及其相关的惩罚系数。

挖掘过程： 使用固定模式的 LLM 评分器分析导航记录，以识别能够减少目标或空间歧义性的线索。
分类学： 线索被归纳为四种不同的问题类型，每种类型都有一个基于语料库统计数据（重要性、高增益频率和排名）确定的锁定成本系数 ( $w_t$ )：
1. 类型 1（外观）： 在同类实例中解析目标身份（ $w_1 = 0.182$ ）。
2. 类型 2（区域）： 解析搜索的房间或区域（ $w_2 = 0.162$ ）。
3. 类型 3（方向/路径）： 解析分支、走廊或布局方向（ $w_3 = 0.240$ ）。
4. 类型 4（确认）： 验证可见的候选目标是否为目标对象（ $w_4 = 0.103$ ）。
成本逻辑： 信息量更大的问题类型（如类型 3）会产生更高的惩罚，以抑制对先知引导的过度依赖。

2.2 基准测试构建

作者在 Isaac Sim 中构建了一个新的交互式 IGN 基准，以支持这种成本敏感型的评估：

有据可依的回答： 先知提供的回答严格受限于问题类型（例如，类型 3 的回答是基于占据图和路径渲染生成的自然语言路径提示，而非度量坐标或指南针角度）。
受控难度： 根据干扰项数量、同房间干扰项、上下文歧义性和初始路径距离，将回合（Episodes）划分为简单、中等和困难三个等级。
指标： 引入了加权成功率（Weighted Success Rate, WSR）。它通过所有提问所产生成本的指数和来对回合的成功进行折减：
$\text{Weighted SR} = \mathbb{1}_{d_e \le \tau} \exp\left(-\sum_{i=1}^{N_e} w_{\text{type}(q_{e,i})}\right)$
该指标确保智能体不能仅仅通过过度提问来“购买”成功。

2.3 TANDEM：解耦规划与度量落地的两阶段导航

作者提出了 TANDEM，一种模块化的零样本多模态大语言模型（MLLM）导航器，旨在该协议下运行。

架构：
- 导航器（规划器）： 一个 MLLM，负责对观测结果、符号化空间记忆和累积的先知事实进行推理。它决定何时提问、问什么以及去哪里移动。它输出语义决策（询问、移动、停止），而非度量动作。
- 落地器（Grounder）： 将导航器的语义计划（例如“移动到客厅”）映射到 $8 \times 8$ 网格上的局部路标点。
- 确定性执行器： 利用射线检测和地面平面几何学处理碰撞规避、运动控制和位姿更新。
交互策略： 智能体维护一个“问题预算”和一个“事实库”。只有当预期的不确定性减少（基于未解决的线索）足以证明其成本合理时，它才会向先知发起查询。先知绝不会提供度量坐标，从而防止智能体绕过导航过程。

3. 核心贡献

形式化定义： 将交互式 IGN 重新定义为成本敏感的不确定性降低问题，引入了基于数据驱动惩罚的四类问题分类学。
基准测试： 构建了一个具有受控难度、具备有据可依的先知回答以及用于诊断交互效率的加权成功率指标的可控实例级 IGN 基准。
基线模型： 提出了 TANDEM 智能体，这是一个模块化的零样本 MLLM 基线，证明了成本感知交互、结构化空间记忆和解耦落地可以提升导航性能。

4. 实验结果

实验在固定的 500 个回合（简单/中等/困难）池上进行，并在现有基准（CVDN, SOON, REVERIE）上进行了验证。

性能对比基线： 在成本感知协议下，TANDEM 的表现显著优于先前的零样本智能体（GTA, MapGPT, NavGPT, COIN）。
- 在困难子集上，TANDEM 实现了 31.0% 的 SR@1.5 和 21.4% 的 WSR@1.5，在 SR@1.5 指标上超过第二名（GTA）9.3 个百分点。
- 朴素交互（无约束提问）往往会随着交互成本的累积而导致性能下降，而 TANDEM 的选择性查询则保持了高效率。
消融实验：
- 移除 问答（QA）交互 会使 SR@1.5 从 35.3% 下降到 20.0%，表明即使有了完整的初始描述，针对性的交互对于解决歧义至关重要。
- 移除 空间记忆 会使 SR@1.5 降至 28.0%，凸显了维持已探索空间上下文的重要性。
- 同时移除这两个组件会导致变为一个朴素的零样本导航器（14.0% SR@1.5）。
骨干网络缩放： 性能随 MLLM 能力的增强而一致提升（例如，GPT-5.4 > Qwen3.5-8B > Qwen3.5-4B），这表明更强的推理能力能直接转化为更好的导航能力，而不一定增加对交互的依赖。
交互分析：
- 时机： 类型 1（外观）和类型 2（区域）问题出现在回合早期（前 30-40%），用于锚定目标。类型 3（方向）问题贯穿始终，用于解决交汇处的空间困惑。类型 4（确认）问题在后期达到峰值（约 80%），用于验证目标。
- 效率： TANDEM 平均提问次数比朴素智能体少，但实现了更高的成功率。在困难回合中，类型 3 问题最为有效，能将搜索空间的不确定性降低高达 47.5%。

5. 重要性与主张

本文主张，交互只有在经过类型化且被选择性使用时才最有用，而不是作为一种通用的备选方案。通过将交互视为一种成本敏感的资源，所提出的框架：

防止了智能体通过过度查询来“操纵”成功率。
证明了结构化空间记忆和成本感知策略能够让零样本 MLLM 在无需特定任务训练的情况下，有效地在复杂、有歧义的环境中进行导航。
提供了一种诊断工具（通过 WSR 和问题类型分析），用以区分失败是由目标身份、空间不确定性还是低效的先知使用引起的。

作者总结道，他们的方法为未来的具身智能研究提供了一个稳健的基准，强调高效的歧义解决需要平衡信息价值与获取成本。