🤖 AI

Evidence-Gated Task and Motion Planning with Vision-Language Models

本文提出了证据获取与可行性门控（Evidence Acquisition and Feasibility Gating, EAFG）框架，该框架将视觉语言模型与任务与运动规划相结合，以动态地获取视觉证据并对规划决策进行门控，从而通过防止基于未经验证的假设进行执行，提高在部分可观测条件下长时程操纵任务中的成功率。

原作者： Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在我们的家庭和厨房中移动的机器人面临着一个根本性的挑战：它们不仅必须理解要做什么，还必须明白自己是否真的能做到。要遵循像“做汤”这样简单的指令，机器需要连接两个截然不同的世界。首先，它必须理解语言的含义，知道做汤需要鸡肉和盐等食材，并且这些物品需要加热。这是语言与常识的领域。其次，它必须理解物理世界，明确知道锅在哪里，橱柜门是否可以在不撞到墙的情况下打开，以及机器人的手臂是否能够到香料罐。多年来，研究人员一直试图将这两项技能结合起来，利用能够观察和阅读的高级计算机模型来帮助机器人规划行动。然而，一个持久的问题始终存在：当机器人观察厨房却无法看到所需的一切时，会发生什么？如果关键食材隐藏在关闭的抽屉里，或者它根本就不在那里，机器人可能会根据其训练数据进行猜测。它可能会计划去拿一个并不存在的胡萝卜，从而导致任务失败，或者让机器人在试图抓取空无一物的地方时陷入混乱。

来自早稻田大学和弗林德斯大学的一个研究小组提出了一种解决此问题的新方法，该方法迫使机器人“先看后跳”。他们的方法被称为“证据获取与可行性门控”（Evidence Acquisition and Feasibility Gating），它改变了操作顺序。机器人不再是立即根据猜测去尝试烹饪汤，而是首先扮演一名好奇的探索者。它被编程为生成旨在单纯收集信息的小型、安全的任务，例如打开关闭的橱柜或移动可能阻挡视线的箱子。一旦机器人执行了这些动作，它会拍摄一张新的场景照片。一个强大的视觉语言模型随后会审查这一新的视觉证据，以决定下一步该做什么。该系统会问一个简单但至关重要的问题：“我现在是否有足够的证据来规划烹饪任务？”如果答案是“是”，机器人便开始规划完整的烹饪步骤。如果答案是“否”，但仍有可以寻找的地方，机器人则返回探索阶段。如果答案是“否”，且显然所需物品缺失，机器人则会完全停止，而不是浪费时间尝试使用并不存在的东西。

研究人员在一个旨在模拟真实家庭复杂性的模拟厨房环境中测试了这种方法。机器人只有一个机械臂，任务是制作鸡汤，这个过程涉及寻找食材、使用炉灶以及管理各种容器。他们设置了三种不同的场景，以观察新系统与不先检查证据的旧方法相比的表现如何。在第一种场景中，所有必需品都存在且清晰列在指令中。在这种情况下，新系统的表现与标准方法一样出色，证明了增加这个额外的检查步骤并不会减慢速度或让机器人感到困惑，即使一切都很显而易见。真正的区别出现在第二种场景中，即指令比较模糊。机器人被告知要“做鸡汤”，但没有被告知要使用盐或胡椒。使用旧方法时，机器人很少成功，因为它不知道要去寻找这些隐藏的调味料。使用证据收集法后，机器人成功打开了橱柜，找到了盐和胡椒，并在百分之四十的试验中完成了食谱，这比基准方法有了显著提高。

第三种场景测试了系统识别任务是否无法完成的能力。机器人被要求用盐、胡椒和胡萝卜做汤，但胡萝卜不在厨房里。标准系统通常会陷入循环，反复尝试寻找或使用缺失的胡萝卜，从而浪费时间和精力。然而，新系统学会了停止。通过主动搜索可能存在胡萝卜的地方并发现一无所获，机器人的内部门控决定停止行动。在这些测试中，其中一个模型的停止正确率达到了百分之九十，另一个模型更是达到了百分之百，同时大幅减少了抓取缺失蔬菜的失败尝试次数。这种说出“我无法做到”的能力与成功的能力同样重要，因为它防止了机器人基于错误的假设采取行动。

研究人员承认，他们的方法并不完美。它依赖于机器人成功打开门或移动物体以获得更好视野的能力。如果机器人由于机械问题或物理限制未能打开橱柜，即使物体在那里，它也可能无法找到所需的证据。尽管存在这一局限性，这项工作仍展示了一条让机器人在不确定环境中运行的清晰路径。通过在最终规划阶段之前插入一个主动信息收集的步骤，该系统确保了机器人的行动是基于它实际看到的，而非仅仅是它所假设的。这种从“猜测”到“验证”的转变，使机器人能够更有效地处理人类空间中混乱、不完整且充满变数的现实情况，使其成为处理从烹饪一顿饭到整理房间等任务时更可靠的伙伴。

技术摘要：基于视觉-语言模型的证据门控任务与运动规划

1. 问题陈述

机器人执行基于自然语言指令的长程操作任务面临着一个根本性挑战：它们必须同时对语义任务结构和几何可行性进行推理。虽然视觉-语言模型（VLM）擅长推断常识性程序并生成高层子目标，且任务与运动规划（TAMP）能确保满足几何和运动学约束，但两者的集成在部分可观测性下往往会失效。

在目标相关物体可能被隐藏（例如在关闭的橱柜内）或完全不存在的环境中，现有的 VLM-TAMP 系统往往依赖于 VLM 的先验知识或常识假设。这会导致生成的子目标缺乏观测支持，从而导致执行失败、低效地重复尝试操作不存在的物体，或产生非预期的结果。当前的方法通常假设一个完全可观测的对象导向状态，并且缺乏在提交任务计划之前主动验证未观测物体的机制。

2. 方法论：证据获取与可行性门控 (EAFG)

作者提出了证据获取与可行性门控 (EAFG)，这是一个旨在主动收集视觉证据并基于该证据对规划过程进行门控的框架。该系统通过在生成最终任务计划之前的预规划循环进行运行。

2.1 核心流水线

EAFG 流水线（如图 1 所示）的功能如下：

输入： 系统接收一个自然语言目标 ( $G_{eng}$ )。
证据获取循环：
- VLM 生成一系列证据获取子目标 ( $G^{EA}_t$ )。这些是严格的探索性动作（例如，打开门、移开遮挡物），旨在检查可能隐藏目标相关物体的区域。
- 约束： VLM 被限制在预定义的安全、可逆动作集内。在此阶段，它不能执行不可逆的任务动作（例如，烹饪、加热）。
- 执行： TAMP 模块（具体为 PDDLStream）尝试将这些子目标实例化为几何上可行的动作序列。机器人执行这些动作。
- 观察： 生成的观察图像被记录并汇编成图像拼贴图 ( $I_t$ )。
- 状态更新： VLM 更新证据状态 ( $E_t$ )，其中包括执行历史 ( $H_t$ )、观察事实的文本摘要 ( $O_t$ ) 以及保留的发现 ( $F_t$ )。VLM 会重新生成这些文本组件以移除过时或矛盾的描述，确保状态反映当前的现实。
可行性门控：
- 在每次迭代后，VLM 根据证据评估证据状态并输出门控状态 ( $s_t$ $s_{t}$ )：
  - 准备规划 (Ready to plan)： 存在足够的证据；系统退出循环并进入任务规划。
  - 需要更多证据 (Need more evidence)： 证据不足，但仍有未探索的相关区域。VLM 生成新的证据获取子目标 ( $G^{EA}_{t+1}$ )，循环继续。
  - 停止 (Halt)： 无法验证所需物体或条件（例如，在检查完所有可能的地点后，发现目标物体不存在）。系统停止执行，以防止基于不支持的假设进行规划。
证据调节规划：
- 如果状态为“准备规划”，系统使用累积的证据状态 ( $E_T$ ) 作为显式的文本上下文来生成最终的任务子目标 ( $G_{task}$ )。这确保了最终计划是基于经过验证的观察而非假设。

3. 核心贡献

本文概述了三个主要贡献：

预规划证据获取： 一种促使 VLM 规划信息收集子目标的机制，用于揭示隐藏区域并验证目标相关物体的存在，且该过程发生在任何任务执行之前。
可行性门控： 一种决策机制，用于评估获取的证据是否支持可行的任务规划。它能动态地请求进一步的观察，或者在目标需求仍未得到支持时停止执行。
在烹饪场景中的实证验证： 设计并评估了三个特定的烹饪场景（明确指定、描述不足和缺失物体目标），证明了 EAFG 与标准 VLM-TAMP 基准相比，提高了落地任务完成度和不可行性检测能力。

4. 实验结果

作者在厨房环境中使用单臂机器人对 EAFG 进行了评估，重点是“制作鸡汤”这一任务。测试了三种设置：

S1 (明确且存在)： 指令指定了所有物体（盐、胡椒），且它们确实存在。
- 结果： EAFG 与基准模型保持竞争水平。对于 GPT-5.5，食谱完成率 (CR) 从 0.20 提高到 0.45，且指定调味料的步骤完成率达到了 1.00。
S2 (描述不足)： 指令为“制作鸡汤”，未指定盐或胡椒。
- 结果： EAFG 显著优于基准模型。在没有 EAFG 的情况下，食谱完成率接近于零（GPT-5.5 为 0.05）。使用 EAFG 后，GPT-5.5 的完成率上升至 0.40，Gemini-3.5-Flash 为 0.20。系统通过探索成功发现了未提及但必要的物体。
S3 (明确但缺失)： 指令要求使用胡萝卜，但环境中并不存在。
- 结果： EAFG 大幅提升了系统识别不可行性的能力。对于 GPT-5.5，停止成功率 (SR) 从 0.45 提高到 0.90，且尝试操作缺失胡萝卜的次数从 4.00 降至 0.55。对于 Gemini-3.5-Flash，停止成功率达到 1.00，且缺失物体的尝试次数为 0.00。

5. 重要性与主张

本文声称 EAFG 解决了长程机器人操作中的一个关键差距：即在部分可观测性下，语义推理与物理现实之间的脱节。通过将证据获取置于任务规划之前，该框架确保了计划是基于经过验证的观察。

作者指出，EAFG：

提高落地完成度： 它使机器人能够通过发现未在提示词中明确提到的隐藏任务相关物体来完成食谱。
防止非预期结果： 通过在证据不足时停止执行，减少了重复、徒劳地操作不存在物体的行为。
保持兼容性： 该框架旨在通过将证据状态作为文本上下文附加到规划器提示词中，与现有的 VLM-TAMP 架构协同工作。

作者承认了局限性，指出 EAFG 依赖于 TAMP 模块成功执行探索性子目标；如果 TAMP 无法找到执行证据收集动作的可行路径，系统可能会缺乏做出正确门控决策所需的必要信息。然而，他们认为，随着底层规划和反馈机制的改进，EAFG 的鲁棒性也将相应提高。