ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

本文提出了首个开源基准 ViPlan，通过对比基于视觉语言模型（VLM）的符号 grounding 方法与直接 VLM 规划方法在 Blocksworld 和模拟家庭机器人任务中的表现，揭示了两种方法在不同视觉域下的优劣及其局限性，并发现 Chain-of-Thought 提示并未带来一致的性能提升。

要点

这篇论文介绍了一个名为 ViPlan 的新工具，它就像是一个“视觉规划能力大考”，用来测试现在的 AI 机器人到底有多聪明，特别是在看和想这两件事上。

为了让你更容易理解，我们可以把 AI 想象成一个刚入职的超级管家，而 ViPlan 就是他的入职培训考试。

1. 核心问题：管家该怎么干活？

现在的 AI（特别是大语言模型）很擅长说话，但让它们像人一样看着环境去干活（比如把积木堆好，或者把家里的碗收好），却经常出错。

论文里提出了两种让 AI 干活的“流派”，就像两种不同的工作风格：

• 流派 A：直觉派（VLM-as-planner）
  • 怎么干： 就像让管家直接看照片，然后拍脑袋决定：“哦，我要把那个红色的积木拿起来，放到蓝色积木上面。”它完全靠自己的“直觉”和脑子里的知识库，直接生成行动指令。
  • 比喻： 就像一个凭感觉办事的艺术家。他不需要知道积木的具体物理规则，只要看着图，凭经验觉得“这样摆好看”就动手了。
• 流派 B：严谨派（VLM-as-grounder）
  • 怎么干： 就像让管家先当个“翻译官”。他看着照片，先要把看到的变成严谨的“法律条文”（比如：“红色积木在蓝色积木上面” = True，“手里没拿东西” = True）。然后，把这些条文交给一个死板的逻辑计算器（符号规划器），由计算器算出完美的步骤，管家再照着执行。
  • 比喻： 就像一个拿着放大镜的审计师。他先要把所有细节都确认无误，写成报告，再由一个超级计算机算出最优解，最后才动手。

2. 考试场地：两个截然不同的世界

为了测试这两种流派，ViPlan 设计了两个考场：

• 考场一：积木世界（Blocksworld）

  • 场景： 就像小时候玩的积木，规则非常死板、清晰。积木只有颜色不同，没有遮挡，一眼就能看全。
  • 挑战： 需要极高的精准度。
  • 结果： 严谨派（审计师）完胜！ 因为这里规则简单，只要翻译得准，逻辑计算器就能算出完美方案。而直觉派（艺术家）经常因为看错积木的位置或者记不住规则而搞砸。
  • 数据： 严谨派解决了 46% 的任务，而直觉派只有 9%。

• 考场二：家庭机器人世界（Household）

  • 场景： 模拟真实的家里。有桌子、椅子、抽屉，东西会被挡住（比如杯子在抽屉里），光线也会变化。
  • 挑战： 充满了模糊性和未知。你需要知道“杯子在抽屉里”意味着“现在拿不到”，这需要常识。
  • 结果： 直觉派（艺术家）大获全胜！ 因为这里规则太复杂，严谨派（审计师）需要问几百个问题来确认状态（比如“杯子被挡住了吗？”“抽屉是开着的吗？”），只要有一个问题答错，整个计划就崩了。而直觉派（艺术家）虽然不懂死板的逻辑，但它脑子里有“人类常识”，能猜出“哦，抽屉关着，我得先开门”，直接跳过繁琐的确认步骤。
  • 数据： 直觉派解决了 34% 的任务，而严谨派只有 5%。

3. 一个有趣的发现：链式思考（CoT）不管用？

现在很流行让 AI 在回答问题前先“一步步思考”（Chain-of-Thought, CoT），就像让人在解题前先打草稿。

• 论文发现： 在这个视觉规划任务里，让 AI“打草稿”并没有帮助，甚至有时候起反作用！
• 比喻： 就像让一个正在走钢丝的人，一边走一边大声喊出“左脚抬、右脚落、保持平衡……"。结果他因为太专注于喊口号，反而忘了怎么保持平衡，最后掉下去了。
• 原因： 现在的 AI 视觉能力还不够强，让它“思考”时，它容易陷入死循环，或者把简单的视觉判断搞复杂，导致还没开始干活，脑子（Token 预算）就先转晕了。

4. 总结与启示

这篇论文告诉我们，没有一种万能的方法能让 AI 既聪明又靠谱：

• 如果你要处理规则清晰、环境简单的任务（比如工厂流水线、简单的积木游戏），“严谨派”（先翻译再计算）更可靠。
• 如果你要处理环境复杂、充满未知的任务（比如真实的家庭服务机器人），“直觉派”（直接看图决策）反而更有优势，因为它能利用常识来弥补视觉上的模糊。

ViPlan 的意义：
以前，大家要么只测试“直觉派”，要么只测试“严谨派”，没法公平对比。ViPlan 就像是一个公平的竞技场，让这两种流派在同样的环境下 PK。它暴露了当前 AI 的短板：

1. 视觉不够准： 容易看错东西（比如把“杯子在桌上”看成“杯子在地上”）。
2. 逻辑不够强： 很难把看到的画面完美地转化成严谨的逻辑步骤。
3. 常识与逻辑的割裂： 很难既拥有人类的常识，又保持逻辑的严密。

简单来说，ViPlan 告诉我们：现在的 AI 管家，要么太死板，要么太随性，离真正“既聪明又靠谱”的管家，还有很长的路要走。

技术摘要

这是一份关于论文 ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models 的详细技术总结。

1. 研究背景与问题定义

核心问题：
将大型语言模型（LLM）与符号规划器（Symbolic Planners）结合是生成可验证、可落地计划的一个有前景的方向。然而，现有的研究缺乏一个严谨的基准来比较两种基于视觉 - 语言模型（VLM）的规划范式：

1. VLM-as-Planner（VLM 作为规划器）： 直接利用 VLM 从视觉输入中生成动作序列或下一步动作。
2. VLM-as-Grounder（VLM 作为 grounding 器）： 利用 VLM 将感知数据（图像）映射到符号表示（如 PDDL 中的谓词），然后由传统的符号规划器生成计划。

现有挑战：

• 缺乏支持符号规划的开源视觉基准，导致无法在相同环境下公平比较这两种方法。
• 现有 VLM 在物体检测、关系识别（grounding 的关键能力）以及形式化规划能力上仍存在局限。
• 之前的研究要么专注于直接规划，要么使用私有基准和闭源模型，难以评估哪种方法在何种场景下更优。

2. 方法论：ViPlan 基准

作者提出了 ViPlan，这是首个开源的视觉规划基准，旨在系统性地比较上述两种方法。

2.1 两个核心领域 (Domains)

ViPlan 包含两个互补的视觉领域，分别代表不同的推理需求：

1. ViPlan-Blocksworld (ViPlan-BW):
   • 描述： 经典积木世界的视觉变体（基于 Asai 2018 的渲染器）。
   • 特点： 完全可观测（Fully Observable），状态定义清晰，逻辑性强。
   • 任务： 将不同颜色的积木堆叠成特定配置。
   • 挑战： 需要精确的视觉 grounding（判断积木是否被遮挡、是否可移动）。
2. ViPlan-Household (ViPlan-HH):
   • 描述： 基于 iGibson 2.0 模拟器的家庭机器人环境（使用 Fetch 机器人）。
   • 特点： 部分可观测（Partially Observable），包含导航和物体操作，存在现实世界的模糊性。
   • 任务： 如整理抽屉、锁门、打包食物等。
   • 挑战： 需要利用语言先验知识处理视觉模糊性，且需处理不可见物体的状态。

每个领域包含 25 个程序化生成的任务，分为简单、中等、困难三个难度等级。

2.2 评估的方法类别

研究评估了两类共 8 种具体实现方法：

• VLM-as-Planner (直接规划):
  • Plan / Action: 直接生成完整计划（JSON 格式）或单步动作。
  • Plan + CoT / Action + CoT: 在生成前加入思维链（Chain-of-Thought）推理。
  • 机制： 闭环执行，每执行一步后根据新图像重新规划。
• VLM-as-Grounder (符号 grounding):
  • Ground: 将图像中的谓词（如 holding, reachable）转换为“是/否”问题，由 VLM 回答以构建初始状态和验证动作效果。
  • Ground + CoT: 增加推理步骤。
  • Ground + Mem / + CoT: 引入记忆机制，当动作失败或前提条件检查不一致时，将之前的错误信息反馈给 VLM 进行重规划。
  • 核心流程： VLM 负责将图像转化为 PDDL 状态 $\rightarrow$ 符号规划器（Fast Downward）生成计划 $\rightarrow$ 执行动作 $\rightarrow$ VLM 验证动作效果 $\rightarrow$ 若不一致则重新 grounding 并规划。

2.3 模型选择

• 评估了 21 个开源 VLM（涵盖不同规模和架构，如 InternVL, Qwen, Gemma, LLaVA 等）以及 3 个闭源模型（GPT-4.1, GPT-5.2 等）作为参考。
• 通过初步筛选，选取了表现最好的 5 个开源模型 进行最终基准测试。

3. 关键贡献

1. 首个开源基准： 提供了 ViPlan，支持在匹配的环境和协议下公平比较 VLM-as-Planner 和 VLM-as-Grounder。
2. 互补性发现： 揭示了两种方法在不同领域的显著性能差异（见下文结果）。
3. 思维链（CoT）的局限性分析： 系统性地评估了 CoT 在视觉规划中的实际效果。
4. 定性失败分析： 详细分类了两种方法的失败模式（如 grounding 幻觉、规划不一致、解析错误等）。
5. 开源与可扩展性： 代码和基准已开源，易于复现和扩展新的 VLM 或领域。

4. 实验结果

4.1 领域性能对比

• 在 ViPlan-BW (积木世界) 中：
  • VLM-as-Grounder 显著优于 VLM-as-Planner。
  • 数据： Grounder 解决了 46% 的任务，而 Planner 仅解决了 9%。
  • 原因： 积木世界状态定义明确，grounding 任务（判断积木是否在最上层）相对直接且准确。符号规划器能利用精确的状态进行严谨的逻辑推理。直接规划器容易受语言先验干扰，无法准确跟踪状态变化。
• 在 ViPlan-HH (家庭机器人) 中：
  • VLM-as-Planner 显著优于 VLM-as-Grounder。
  • 数据： Planner 解决了 34% 的任务，而 Grounder 仅解决了 5%。
  • 原因： 家庭环境存在部分可观测性和视觉模糊性。Grounder 方法需要大量的视觉查询（验证大量谓词），微小的感知错误会随时间累积（误差传播），导致规划失败。Planner 方法则能利用预训练中的语言先验知识（如“要打开抽屉需要先靠近”），在视觉信息不足时提出合理的动作假设。

4.2 思维链 (CoT) 的影响

• 结论： 在大多数方法和领域中，CoT 没有带来一致的性能提升，甚至在某些情况下（如 ViPlan-HH 的 Plan 方法）导致性能下降（从 39% 降至 23%）。
• 原因分析： 模型容易陷入重复的思维循环，耗尽 Token 预算而无法生成有效动作。这表明当前 VLM 在处理复杂的视觉推理链时仍存在局限性。

4.3 失败模式分析

• VLM-as-Planner: 主要失败于生成不可执行的动作（状态跟踪不一致）或 JSON 格式解析错误。
• VLM-as-Grounder: 主要失败于错误的 grounding（将满足的前提判断为不满足，反之亦然）。在部分可观测环境中，这种错误会导致死循环或死胡同状态。

5. 研究意义与结论

• 范式选择指南： 论文表明没有一种“万能”的规划方法。
  • 如果任务环境状态定义清晰、可观测性高（如积木、工业装配），VLM-as-Grounder 是更好的选择，因为它结合了视觉感知与符号规划的严谨性。
  • 如果任务环境复杂、部分可观测、依赖常识推理（如家庭服务机器人），VLM-as-Planner 更具优势，因为它能利用语言模型的先验知识弥补感知的不足。
• 当前 VLM 的局限： 无论哪种方法，当前 VLM 在视觉推理和长程规划上的能力仍未饱和。CoT 并未解决根本问题，反而可能引入新的不稳定性。
• 未来方向： 需要开发能够同时兼顾经典规划的严谨性和处理模糊感知能力的混合架构。

总结： ViPlan 填补了视觉规划领域的基准空白，通过严谨的对比实验，揭示了 VLM 在符号规划与直接规划中的优劣势边界，为未来具身智能（Embodied AI）的规划系统设计提供了重要的实证依据。