💻 computer science

CoSPlan: Corrective Sequential Planning via Scene Graph Incremental Updates

本文介绍了 CoSPlan，这是一个用于评估视觉语言模型在需要步骤完成和错误纠正的任务中的视觉序列规划能力的基准测试，并提出了场景图增量（SGI）方法，这是一种无需训练的方法，通过实现基于文本场景图更新的迭代推理来提高性能。

原作者： Shresth Grover, Priyank Pathak, Akash Kumar, Yogesh S Rawat

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Shresth Grover, Priyank Pathak, Akash Kumar, Yogesh S Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对 CoSPlan 论文进行的解释。

核心理念： “故障 GPS” 问题

想象一下，你正在给一个机器人下达在迷宫中导航或重新排列家具的指令。你说：“从门口开始，走到厨房，然后把花瓶放在桌子上。”

目前的 AI 模型（称为视觉语言模型或 VLMs）非常擅长阅读这些指令并对其进行描述。但当你要求它们真正去“构想”这些步骤并修正错误时，它们往往会失败。

这篇论文引入了一个新的测试方法，叫做 CoSPlan（纠错序列规划）。你可以把它看作是一个针对 AI 的“找错游戏”。

设置场景：

场景： 你向 AI 展示一张起始图片（例如，一个凌乱的房间）和一张目标图片（例如，一个整洁的房间）。
故事： 你告诉 AI 一个已经发生的故事。“首先，我们拿起杯子。然后，我们把它掉在了地板上。”
陷阱： 这个故事包含一个错误。也许是被告知要穿墙而过，或者把重箱子放在了摇晃的架子上。
测试： AI 必须完成两件事：
- 检测错误： 意识到：“等等，你不能穿墙而过！”
- 修复计划： 想出正确的下一步，以便尽管之前出了错，仍能达到目标。

为什么这对 AI 来说很难

作者发现，即使是非常聪明的 AI 模型（如 GPT-4o）也会在这个问题上挣扎。它们就像是一个能完美背诵国际象棋规则的学生，但当对手走出了一步奇怪的棋时，学生就愣住了，不知道该怎么办。

“文本 vs 视觉” 的差距： 这些模型非常擅长在脑海中使用文字进行规划（文本）。但当它们必须在脑海中“看到”这些步骤（视觉）时，就会迷失方向。
“捷径” 问题： 许多模型会试图“作弊”。它们不去思考具体的步骤，而是直接观察最终的目标图片，然后说：“哦，我要去那里。” 它们并没有真正检查之前的步骤是否合理。CoSPlan 测试通过添加一个看起来像目标但忽略了错误的“干扰项”选项，专门设计用来捕捉这种作弊行为。

他们玩的四种游戏

为了进行测试，研究人员创建了四种不同类型的谜题：

Maze-E（迷宫）： 一个机器人在迷宫中行走。错误可能是撞墙。
Blocks-World-E（积木世界）： 像玩叠叠乐一样堆叠积木。错误可能是试图把积木放在半空中。
Shuffle-E（洗牌）： 一个拼图游戏，其中碎片被交换了。错误是交换了错误的碎片。
Robo-VQA-E（机器人视觉问答）： 现实世界中物体的照片（如碗和水果）。错误可能是把水果放进一个已经装满的碗里。

解决方案：“场景图增量更新”（SGI）

由于 AI 难以一次性想象整个未来，作者提出了一种名为 SGI 的新方法。

类比： “精神白板”
想象你正在尝试解决一个复杂的谜题，但你不是试图把整个画面都记在脑子里，而是使用一块白板。

第 1 步： 你在白板上画出初始场景（一个“场景图”）。
第 2 步： 你执行第一个动作（例如，“移动杯子”）。你在白板上擦掉旧的位置，并在新位置画上杯子。
第 3 步： 你对每一个步骤都这样做，一步接一步。
第 4 步： 如果你意识到自己犯了错（例如，“哎呀，我把杯子移到墙里了”），你会停下来，擦掉与墙壁碰撞的部分，然后画出正确的移动。

为什么有效：
与其要求 AI 在一次巨大的跨越中“想象整个未来”（这会导致它产生幻觉或作弊），SGI 强制它通过“精神白板”进行一步步的更新。它将一个困难的视觉问题转化为了系列微小的、可处理的文本更新。

结果

问题所在： 在没有帮助的情况下，大多数 AI 模型在这些纠错任务中的表现并不比随机猜测好多少。它们既无法“看到”错误，也无法修复计划。
解决方法： 当研究人员使用 SGI 方法（这种循序渐进的白板法）时，AI 的表现显著提升（平均提升了约 4.4%，这在该领域是非常巨大的进步）。
核心启示： AI 在“用文字思考”方面正在变得越来越好，但它仍然需要帮助来“用图像思考”。通过将视觉规划分解为细小的、增量的更新，我们可以让这些模型在修复自己的错误时变得更加可靠。

总结

论文指出：“AI 擅长阅读指令，但不擅长构想错误带来的后果。我们构建了一个测试（CoSPlan）来证明这一点，并找到了一种方法（SGI）来帮助 AI 通过一次一次微小的步骤更新其精神图像，从而修复它们的计划。”

技术摘要：CoSPlan：通过场景图增量更新进行纠错序列规划

1. 问题定义

视觉语言模型（VLMs）在文本推理和规划方面展现出了显著的能力，尤其是在利用思维链（CoT）技术时。然而，它们在视觉领域内进行序列规划的能力仍有待深入探索。现有的基准测试通常侧重于静态视觉谜题或假设指令是理想且无误的，未能捕捉到现实世界决策中的复杂性——即智能体必须在其中应对物理约束并从执行错误中恢复。

本文指出一个关键差距：VLMs 在维持连贯的多步视觉推理方面存在困难，特别是在需要检测并纠正序列中的错误步骤时。目前的模型倾向于将从初始状态到最终目标的推理压缩为单个步骤，在没有显式中间表示的情况下隐式地模拟长动作序列。这导致了在“步骤完成”（规划剩余动作）和“错误检测”（识别序列何处出错）方面的失败，通常在引入错误后，其表现接近随机猜测。

为了解决这一问题，作者引入了 CoSPlan（纠错序列规划），这是一个多模态基准测试，旨在评估 VLMs 在给定包含至少一个有意图、非最优或错误动作（ $A_E$ ）的初始上下文时，从初始场景（ $I_0$ ）导航至目标场景（ $I_g$ ）的视觉动作序列能力。

2. 方法论

2.1 CoSPlan 基准测试

CoSPlan 通过两个不同的任务来评估模型：

错误检测： 识别所提供的初始上下文中特定的错误步骤（或判断是否存在错误）。
步骤完成： 选择正确的剩余动作序列以达到目标状态，从而有效地纠正由错误建立的轨迹。

该基准测试包含四个不同的任务，每个任务都包含刻意的次优错误（除下文提到的一个特定情况外）：

Maze-E（迷宫）： 导航任务，智能体必须从起始单元格移动到目标单元格，同时避开障碍物。错误包括越界移动、撞击障碍物或进行非法的对角线移动。
Blocks-World-E（积木世界）： 积木重排任务，目标是将初始堆叠配置转换为目标配置。错误涉及物理上不可能的移动（例如，移动非顶部的积木、悬浮积木）或低效的堆叠。
Shuffle-E（洗牌）： 图像重建任务，通过交换打乱的图像块来恢复原始图像。注：由于该任务中错误的级联性质，仅引入了一个错误，但作者指出这造成了统一性的挑战。
Robo-VQA-E（机器人视觉问答）： 使用精选图文对进行的现实世界物体重组任务。错误包括次优放置、与不存在的物体进行任意交互或无效操作（例如，打开一扇已经打开的门）。

设计保障措施： 为了防止模型通过简单选择在视觉上匹配最终目标状态（ $I_g$ ）而不进行约束推理来“作弊”，CoSPlan 包含了干扰选项。这些干扰项虽然能达到最终状态，但未能纠正初始上下文中的特定错误，从而迫使模型理解场景的历史记录和约束条件。

2.2 提出的解决方案：场景图增量更新 (SGI)

意识到标准的 CoT 和静态场景图（SG）方法在处理长程视觉推理时存在困难，作者提出了 SGI，这是一种无需训练的方法。

核心概念： SGI 不再直接对图像进行推理，也不将整个序列压缩为单个步骤，而是将图像转化为文本形式的场景图。随后，它在文本空间中进行迭代的、逐步的推理。
算法流程：
1. 基础场景图： VLM 从 $I_0$ 生成初始场景图（ $S_0$ ），并从 $I_g$ 生成目标场景图（ $S_g$ ）。
2. 增量更新： 从 $S_0$ 开始，模型被提示“模拟”初始上下文中的每个动作（包括错误），以增量更新图形，生成中间状态图（ $S_c$ ）。
3. 选项模拟： 对于每个多选题选项（代表潜在的未来序列），模型从 $S_c$ 开始模拟动作，生成该选项的假设最终图形（ $S_m$ ）。
4. 相似度比较： 模型将每个假设图形（ $S_m$ ）与目标图形（ $S_g$ ）进行比较，以确定哪个选项最符合目标约束，从而有效地选择纠正错误的路径。

这种方法分解了推理负担，允许模型显式地追踪不断变化的中间状态，而非依赖隐式的可视化。

3. 核心贡献

CoSPlan 基准测试： 第一个评估 VLMs 在易错条件下进行视觉语言领域序列规划的多模态基准测试。它独特地结合了时间动作序列以及跨越四种不同任务类型的错误检测与纠正要求。
VLM 弱点实证分析： 论文对最先进的 VLMs（包括 GPT-4o, GPT-5.1, Intern-VLM, Qwen 等）进行了严格评估。研究表明，即使是先进的模型在这些任务上也表现接近随机猜测，凸显了它们在可视化中间步骤和处理上下文错误方面的显著能力缺失。
SGI 方法： 一种创新的、无需训练的技术，利用场景图进行增量更新。通过显式建模中间状态，SGI 的性能显著优于原始场景图和思维链（CoT）基准。

4. 结果

基准性能： 原生 VLMs 以及使用标准 CoT 或静态 SG 的模型表现较差，准确率通常接近或低于随机猜测（例如，在 5 个选项的单选题中准确率约为 20%）。这表明当存在错误时，模型在视觉序列规划方面存在根本性的困难。
SGI 性能： SGI 方法在所有任务中均取得了持续的提升。
- 步骤完成： SGI 比标准场景图方法平均提升了 ~4.4%，对于像 Intern-VLM 2 这样的特定模型，增幅高达 10.3%。
- 错误检测： 根据模型的不同，SGI 将错误检测准确率平均提高了 4.1% 至 9.2%。
- 泛化能力： SGI 在外部数据集上展示了鲁棒性，在 VQA（视觉问答）任务和 PlanBench（基于文本的规划）基准测试中均有提升，表明该方法的使用价值超出了特定的 CoSPlan 任务。
错误敏感度： 研究显示，VLMs 在无错误设置下表现出色，但一旦引入单个错误，性能就会大幅下降。此外，随着 MCQ 选项数量的增加，性能也会下降，这表明模型过度依赖选项偏差而非真正的推理。

5. 重要性与主张

论文声称 CoSPlan 揭示了当前 VLMs 的一个关键局限：尽管它们可能在文本或静态图像理解方面拥有强大的零样本泛化能力，但它们缺乏现实世界决策所需的连贯多步视觉推理能力，而这种决策往往伴随着错误发生。

这项工作的意义在于：

现实性： 通过引入错误，CoSPlan 模拟了真实的部署场景（如机器人技术、自主导航），在这些场景中，智能体必须能够从次优动作中恢复，而这是目前大多数基准测试所缺失的能力。
方法论转变： SGI 的成功表明，将视觉推理转化为迭代式文本推理（通过场景图）是克服 VLMs “长程”推理差距的一条可行路径，且无需进行大规模重新训练。
诊断价值： 该基准测试作为一个严苛的测试，用于区分那些仅仅是“幻觉”出最终状态的模型，以及那些真正理解视觉序列中因果关系和约束的模型。

作者总结道，虽然 SGI 大幅提升了性能，但许多模型即便使用 SGI 仍表现出接近随机的性能，这表明模拟视觉步骤对于当前的架构而言仍然是一个本质上极具挑战性的任务，需要进一步研究更鲁棒的视觉推理机制。