🤖 AI

VeriGraph: Scene Graphs for Execution Verifiable Robot Planning

该论文提出了 VeriGraph 框架，通过引入场景图作为中间表示来验证和修正大语言模型生成的机器人动作序列，从而显著提升了机器人在多样化操作任务中的规划可行性与任务完成率。

原作者： Daniel Ekpo, Mara Levy, Saksham Suri, Chuong Huynh, Archana Swaminathan, Abhinav Shrivastava

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Ekpo, Mara Levy, Saksham Suri, Chuong Huynh, Archana Swaminathan, Abhinav Shrivastava

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 VeriGraph 的新系统，它的核心目标是让机器人更聪明、更靠谱地干活，特别是处理那些需要把东西从 A 处搬到 B 处、或者重新整理杂物的复杂任务。

为了让你更容易理解，我们可以把机器人想象成一个刚入职的“超级实习生”，而 VeriGraph 就是它的**“超级导师 + 质检员”**。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心问题：为什么机器人经常“脑子短路”？

现在的机器人（尤其是那些装了最新 AI 大脑的）虽然很聪明，能看懂图片、听懂人话，但在执行复杂任务时经常犯傻。

比喻：想象你让一个实习生去整理房间，告诉他：“把苹果放进碗里，把碗放在盘子上。”
- 普通 AI 的毛病：它可能直接抓起苹果扔进碗里，完全没注意到碗下面还压着一个易碎的玻璃杯。因为它只看到了“苹果”和“碗”这两个词，却忽略了它们之间的空间关系（谁在谁上面）。结果就是：碗被拿起来时，玻璃杯摔碎了。
- 原因：传统的 AI 是直接看“像素”（图片上的色块），就像看一幅画，它很难理解“杯子压在书上”这种物理逻辑。

2. VeriGraph 的解决方案：给机器人一张“思维导图”

VeriGraph 的核心创新在于，它不直接让机器人对着图片瞎猜，而是先让机器人把眼前的场景画成一张**“场景图”（Scene Graph）**。

什么是场景图？
- 这就好比给机器人一张乐高积木的搭建说明书，或者一张地铁线路图。
- 它不是密密麻麻的像素点，而是清晰的节点（物体，如：苹果、碗、盘子）和连线（关系，如：苹果在碗里、碗在盘子上）。
- 比喻：如果普通 AI 是看一张模糊的“全家福”照片，VeriGraph 就是给机器人看一张清晰的“家谱树状图”。它明确知道：A 在 B 上面，C 在 D 旁边。

3. 工作流程：三步走的“智能管家”

VeriGraph 的工作流程非常像一个严谨的管家，分为三个步骤：

第一步：画地图（场景生成）

机器人先看一眼眼前的桌子，利用 AI 把看到的物体和它们的关系画成一张“场景图”。

比如： 它画出来：[番茄罐] -> [在] -> [碗]；[碗] -> [在] -> [盘子]。

第二步：列计划与“预演”（规划与验证）

这是最关键的一步。当主人下达指令（比如“把番茄罐移到豆罐上”）时，机器人不会直接动手，而是先在脑子里模拟动作。

比喻：就像下棋。机器人想：“如果我先把碗拿起来，上面的番茄罐会不会掉下来？”
验证机制：VeriGraph 会拿着刚才画的“场景图”去检查。
- 如果机器人想：“直接拿碗”，系统会立刻报警：“不行！碗上还有番茄罐，这是违规操作（Constraint Violation）！”
- 系统会告诉机器人：“你错了，你得先把番茄罐移走，才能拿碗。”
- 机器人听到反馈，修改计划，再次“预演”，直到确认每一步都符合物理规律。

第三步：执行与修正（迭代执行）

一旦计划通过了“预演”，机器人就开始动手。每做完一步，它都会更新那张“场景图”，看看现在的状态和目标的差距，然后继续下一步。如果中间出错了，它会像人类一样“反思”并重新规划，而不是死板地继续犯错。

4. 为什么它这么厉害？（成果）

论文通过实验证明，VeriGraph 比那些直接对着图片瞎猜的旧方法强太多了：

成功率大增：在语言指令任务中，成功率提高了 58%；在图片模仿任务中提高了 30%。
更懂物理：因为它用“场景图”来思考，所以它非常清楚“不能把重物放在易碎品上”这种常识。
灵活性强：无论是听人说话（“把苹果放进碗里”），还是看一张目标图片（“把桌子摆成这个样子”），它都能用同一套逻辑搞定。

5. 总结：它解决了什么痛点？

以前的机器人像是一个**“只会死记硬背的机器”，看到什么做什么，容易忽略细节导致事故。
VeriGraph 让机器人变成了一个“有逻辑、会思考的管家”**：

先理解结构（画场景图）。
再检查逻辑（验证动作是否可行）。
最后才动手（执行并修正）。

一句话总结：
VeriGraph 就是给机器人装了一个**“物理逻辑检查器”**，让它不再对着图片发呆，而是像人类一样，先理清“谁在谁上面”，再动手干活，从而大大减少了把东西打碎或任务失败的尴尬情况。

VeriGraph：基于场景图的可执行验证机器人规划技术总结

1. 研究背景与问题定义

随着视觉 - 语言模型（VLM）和大语言模型（LLM）的发展，机器人任务规划迎来了新的机遇。然而，现有的基于 VLM 的规划方法存在显著局限性：

规划错误率高：VLM 生成的动作序列经常包含逻辑错误或违反物理约束（例如，试图移动被压在其他物体下的物品）。
长视界任务困难：直接从原始像素进行推理难以处理复杂的物体关系和空间约束，导致长序列任务规划失败。
缺乏执行验证：许多方法缺乏在执行前验证动作可行性的机制，导致机器人执行无效或危险的操作。
人类干预依赖：部分现有方案依赖人工介入循环来纠正错误，效率低下且难以规模化。

核心问题：如何构建一个能够理解物体空间关系、生成可执行动作序列，并在执行过程中自动验证和修正错误的机器人规划框架？

2. 方法论：VeriGraph 框架

VeriGraph 提出了一种新颖的框架，利用**场景图（Scene Graphs）**作为中间表示，将 VLM 的规划能力与基于图的约束验证相结合。

2.1 核心组件

场景图生成（Scene Graph Generation）：
- 输入初始场景图像（以及可选的目标图像或语言指令）。
- 利用 VLM（如 GPT-4V）提取场景中的物体（节点 $V$ ）及其空间关系（边 $E$ ，如 "in", "on"）。
- 生成初始场景图 $G_i$ 和目标场景图 $G_g$ 。
- 使用全局字典 $D$ 统一物体命名，解决同物异名问题。
约束验证（Constraint Validation）：
- 将物理世界的约束转化为图操作规则。例如，移动物体前，该物体上方不能有其他物体（即该节点不能有其他入边）。
- 在规划过程中，系统检查拟议动作是否满足预条件（Pre-conditions）和后条件（Post-conditions）。
迭代规划与修正（Iterative Planning & Verification）：
- 规划器：LLM 根据 $G_i$ 和 $G_g$ 生成动作序列。
- 验证循环：
  - VeriGraph 尝试执行规划器提出的动作。
  - 如果动作违反约束（例如试图移动被覆盖的物体），系统会生成反馈（Feedback），指出错误原因。
  - 规划器接收反馈和更新后的图状态，重新生成修正后的动作序列。
  - 该过程循环进行，直到达到错误阈值或任务完成。
多模态目标定义：
- 支持通过自然语言指令（如“把苹果放进碗里”）或参考图像（展示目标状态）来定义任务目标，系统能统一处理这两种输入并生成对应的目标场景图。

2.2 工作流程

输入图像 $\rightarrow$ 生成初始/目标场景图。
规划器提出动作序列。
验证器检查约束：
- 通过：更新场景图，执行动作。
- 失败：生成错误反馈，触发重规划。
重复直到最终场景图与目标场景图匹配。

3. 主要贡献

模块化框架：提出了一种利用场景图作为规划表示和验证机制的框架，实现了 LLM 的高效约束感知规划。
迭代验证机制：设计了一种无需人工干预的迭代规划机制，利用场景图结构快速识别并修正约束违反，显著提高了规划的鲁棒性。
统一的目标规范：利用 VLM 根据参考图像或语言指令生成目标场景图，实现了跨不同任务定义方式的统一规划框架。
性能提升：在多种操纵场景下，该方法显著优于直接基于像素的基线方法。

4. 实验结果

研究在四个任务组（积木堆叠、厨房整理、七巧板拼图、语言指令）上进行了评估，并与 VILA、SayCan 等基线方法进行了对比。

场景图生成：GPT-4V 在节点和边的预测上表现最佳（F1 分数接近 1.0），被选为场景图生成器。
规划成功率：
- 语言指令任务：VeriGraph 比 SayCan 高出 56%，比 VILA 高出 30% 以上。
- 参考图像任务（积木/厨房）：比 VILA 高出 56% 和 30%。
- 七巧板拼图：比 VILA 高出 56%。
- 总体提升：在语言任务上提升 58%，图像任务上提升 30%。
消融实验：
- 迭代 vs. 直接：引入迭代验证机制（Iterative Planner）显著提高了大多数任务的成功率，证明了反馈循环的有效性。
- 错误阈值：设置错误阈值为 5 在准确性和运行时间之间取得了最佳平衡。
- 每轮动作数：每轮提出 3 个动作效果最佳。
真实世界部署：系统成功部署在物理机器人上，通过 LangSAM 和 AnyGrasp 将高层规划转化为底层控制指令，完成了真实的物体抓取和放置任务。

5. 意义与局限性

意义

结构化推理：证明了将原始视觉数据抽象为结构化场景图，能有效降低 VLM 的推理难度，提高对物理约束的理解能力。
可执行性验证：提供了一种在动作执行前自动验证可行性的机制，减少了机器人试错成本，提高了安全性。
通用性：框架能够灵活适应不同的任务输入（文本或图像），具有广泛的实际应用潜力。

局限性与未来工作

依赖场景图质量：VeriGraph 的性能高度依赖于初始场景图生成的准确性。如果 VLM 错误地检测了物体或关系（幻觉），规划阶段可能会基于错误的前提进行，导致无效计划。
未来方向：随着场景图生成技术的进步，VeriGraph 的性能有望进一步提升。未来的工作将集中在提高单目图像场景图生成的鲁棒性，以及探索混合架构（使用强大的云端 VLM 生成图，本地 LLM 进行规划）以降低成本。

总结：VeriGraph 通过引入场景图作为中间表示和迭代验证机制，有效解决了当前 VLM 在机器人长视界规划中面临的约束违反和规划错误问题，为实现更可靠、更智能的机器人自主操作提供了重要的技术路径。