💻 computer science

SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

本文提出了 SG-CoT 框架，通过结合场景图表示与检索机制，使大语言模型能够主动识别并澄清环境中的歧义，从而显著提升了单智能体及多智能体机器人规划在模糊情境下的准确性与成功率。

原作者： Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SG-CoT 的新框架，它的目的是让机器人变得更“聪明”、更“谨慎”，特别是在面对模糊不清的指令或混乱的环境时。

为了让你更容易理解，我们可以把机器人想象成一个刚入职的超级实习生，把大语言模型（LLM）想象成这位实习生的大脑，而 SG-CoT 就是给这位实习生配备的一套**“超级工作流”**。

以下是用生活中的比喻对这篇论文的通俗解读：

1. 核心问题：实习生太“自信”了

现在的机器人（实习生）通常由大语言模型（大脑）控制。这个大脑很厉害，读过很多书，但有个大毛病：它太自信了，而且不懂“不懂装懂”。

场景一（环境模糊）： 老板说：“把那个杯子拿给我。”
- 普通机器人： 桌上有 5 个杯子。它随便抓一个就拿了，结果拿错了。
- 场景二（指令模糊）： 老板说：“给我拿点吃的。”
- 普通机器人： 它可能直接拿了一瓶洗洁精，因为它觉得“这也是个东西”，或者它根本不知道什么是“吃的”。

以前的方法试图让机器人“猜”自己是不是不确定，但效果不好，因为它们只看指令，不看周围实际有什么。

2. 解决方案：SG-CoT（场景图 + 思维链）

SG-CoT 给这个实习生配备了两个新工具：

一张“超级地图”（场景图 Scene Graph）： 这不是普通的照片，而是一张详细的关系网。它不仅知道“桌上有个红杯子”，还知道“红杯子里面有个苹果”、“红杯子在蓝碗的左边”。
一个“反复确认”的工作习惯（Chain-of-Thought）： 它不再是一次性拍脑袋决定，而是学会边想边查。

这个新流程是怎么工作的？（三步走）

第一步：画地图（构建场景图）
机器人先“看”一眼环境，然后像画思维导图一样，把看到的物体、它们的颜色、大小以及它们之间的位置关系（谁在谁上面、谁在谁里面）全部画成一张结构化的**“关系网”**。

比喻： 就像你进到一个新房间，先不急着干活，而是先在心里列个清单：桌上有红苹果、绿梨，红苹果在绿梨左边。

第二步：边想边查（迭代推理）
当老板下达指令（比如“把红苹果给我”）时，机器人不会马上行动。它会启动“思维链”：

思考： “老板要红苹果。让我查查我的‘关系网’。”
查询： 它调用工具去查图：“图里有几个红苹果？”
发现： “哦，图里有两个红苹果，一个在左边，一个在右边。”
决策： “这就麻烦了，老板没说清楚是哪一个。我不能瞎猜，否则可能拿错。”

第三步：提问或行动

如果有歧义： 机器人会停下来，问老板：“老板，桌上有两个红苹果，您是指左边那个还是右边那个？”（这就是消除歧义）。
如果很明确： 机器人确认只有一个红苹果，那就直接去拿。

3. 为什么这个方法很厉害？（实验结果）

论文里做了两个实验，一个是单机器人，一个是多机器人合作：

单机器人实验（一个人干活）：
- 以前：遇到模糊指令，机器人经常乱做，或者猜错。
- 现在（SG-CoT）：它能准确识别出“这里有歧义”，并且能问出正确的问题（比如问清楚是哪个颜色的杯子，而不是问“你要什么”这种废话）。
- 成绩： 任务成功率提高了至少 4%，问对问题的概率提高了至少 10%。
多机器人实验（两个人合作）：
- 场景：两个机器人，A 只能看到左边，B 只能看到右边。老板说：“把那个红色的球拿过来。”
- 以前：A 没看见球，就瞎猜或者乱动。
- 现在：A 查了自己的“地图”，发现没球。它知道 B 能看到另一边，于是它会问 B：“嘿，你那边有红球吗？”
- 成绩： 在多机器人环境下，成功率提升了 15%。

4. 总结与局限

总结一下：
SG-CoT 就像给机器人装了一个**“严谨的图书管理员”**。它不靠直觉瞎猜，而是先建立详细的环境档案（场景图），遇到拿不准的事，就反复查阅档案，直到确认无误才行动，或者精准地提出问题。这让机器人在面对复杂、模糊的现实世界时，变得更可靠、更安全。

还有什么不足？（局限性）

有点慢： 因为它要画图、要反复查，所以比直接瞎猜要慢一点，消耗的计算资源也更多。
看图也会出错： 如果第一步画“地图”的时候，机器人看错了（比如把红苹果看成绿苹果），那后面的推理也会错。
还在实验室里： 目前只在电脑模拟的桌子上测试过，还没在真实的工厂或家里试过。

一句话概括：
SG-CoT 让机器人从“盲目自信的莽夫”变成了“先查资料、再问清楚、最后行动的谨慎专家”。

SG-CoT：基于场景图表示的模糊感知机器人规划框架技术总结

1. 研究背景与问题定义

核心问题：大型语言模型（LLM）作为机器人规划器时，面临**模糊性（Ambiguity）**的重大挑战。这种模糊性主要来源于两个方面：

环境状态模糊：环境中存在多个符合描述的对象（多重性）、没有符合描述的对象（缺失），或部分可观测环境导致的信息缺失。
指令模糊：用户指令本身缺乏明确的指代（欠规范），例如“拿起杯子”在有多个杯子时是模糊的。

现有局限：

传统方法通常假设环境包含足够的上下文，或者仅关注指令层面的模糊性，忽略了环境状态引发的模糊性。
现有的视觉 - 语言模型（VLM）生成的感知结果通常是对象列表或高层描述，缺乏对象间的属性和关系细节，难以处理如“获取绿色按钮的物体”或“苹果左侧的物体”等复杂指令。
LLM 本身具有过度自信的特性，未显式训练处理模糊性，容易导致机器人执行次优或危险动作。

2. 方法论：SG-CoT 框架

本文提出了**场景图 - 思维链（Scene Graph-Chain-of-Thought, SG-CoT）**框架。该框架通过两阶段流程，将结构化的场景图与 LLM 的推理能力相结合，以增强机器人在模糊情况下的鲁棒性。

2.1 场景图生成 (Scene Graph Generation)

输入：环境观察图像 $O$ 和检测到的对象列表。
结构：定义场景图为 $G = (V, E)$ $G = (V, E)$ 。
- 节点 ( $V$ )：对应环境中的对象，包含属性（颜色、大小、状态如 is_broken 等）。
- 边 ( $E$ )：表示对象间的语义关系（如空间关系 left of, on top of 或语义关系 inside of）。
构建方式：利用 VLM（如 Qwen3-VL 或 Gemini）进行提示工程（Prompting），一次性生成所有对象的属性及相互关系，并强制输出为 JSON 格式，以便确定性解析。

2.2 迭代推理过程 (Iterative Reasoning Process)

SG-CoT 采用多轮迭代推理机制，而非单次生成。LLM 通过调用 API 函数主动查询场景图，将思维过程“落地”到视觉上下文中。

初始化：构建初始提示 $P_0$ ，包含用户指令、检测到的对象列表及场景图 Schema（属性类型和关系类型）。
迭代循环：
- LLM 根据当前历史上下文 $H_t$ 生成思维链 $T_t$ 。
- 决策分支：
  - 若信息不足：LLM 调用检索函数（retrieve_node 或 retrieve_edge）查询场景图特定节点或边。
  - 若信息充足：LLM 生成最终动作序列（执行任务）或提出澄清问题。
- 反馈更新：检索结果 $R_t$ 被追加到历史上下文 $H_{t+1}$ 中，LLM 基于新信息进行下一轮推理。
终止条件：达到最大迭代轮数或 LLM 确认已获取足够信息做出决策。

2.3 模糊性处理机制

检测：通过查询场景图，LLM 能明确判断目标对象集合 $X_{match}$ $X_{ma t c h}$ 的大小。
- 若 $|X_{match}| = 0$ ：判定为缺失（Absence）。
- 若 $|X_{match}| > 1$ ：判定为多重性（Multiplicity）。
- 若指令本身指代不清：判定为欠规范（Underspecification）。
消歧：LLM 不仅能识别模糊源，还能生成针对性的澄清问题（如询问用户“是指黄色块还是蓝色块？”），或与其他机器人通信（在多智能体场景下）。

3. 主要贡献

框架创新：提出了 SG-CoT，首次将场景图构建与 LLM 的迭代思维链推理深度集成，使机器人能在模糊环境下通过主动查询环境细节来消歧。
模糊性分类：形式化定义了三种模糊类型（环境诱导的多重性/缺失、指令欠规范、部分可观测导致的观察模糊），特别是填补了环境状态诱导模糊性的研究空白。
评估指标：引入了正确提问率（Correct Question Rate, CQR），用于量化模型识别模糊源并生成正确澄清问题的能力。

4. 实验结果

实验在单智能体（SayCan 基准）和多智能体（LEMMA 基准）的模拟桌面环境中进行，对比了 CLARA、Inner Monologue、ProgPrompt 等基线方法。

4.1 单智能体环境表现

成功率 (SR)：SG-CoT 在模糊环境下表现显著优于基线。
- 在指令欠规范场景下，SR 达到 99.0% (Gemini) 和 86.5% (Qwen)。
- 在环境诱导模糊（多重性/缺失）场景下，SR 分别达到 77% 和 80.5%，比次优基线提升至少 4%。
正确提问率 (CQR)：SG-CoT 比最佳基线（Inner Monologue）高出 10%-11%，证明其能更准确地定位模糊原因并生成相关澄清问题。
消融实验：
- 移除迭代推理（一次性输入全图）导致 SR 和 CQR 大幅下降（约 0.34-0.39），证明了迭代查询的重要性。
- 移除场景图的边（关系信息）也导致性能显著下降，证明了关系推理的关键作用。

4.2 多智能体与部分可观测环境

在部分可观测环境中，机器人需通过通信（ask_robot）获取被遮挡对象的信息。
SG-CoT 在 Gemini 模型上达到了 75% 的成功率，比次优基线 ProgPrompt 高出 16%。
结果表明，SG-CoT 能有效防止 LLM 幻觉环境细节，强制其基于检索到的真实场景图数据进行推理。

4.3 计算成本

SG-CoT 由于涉及场景图生成和多轮对话，Token 消耗和调用次数高于单次生成方法，但推理延迟与环境对象数量呈线性关系而非指数关系，具有良好的可扩展性。

5. 意义与局限性

意义：

为 LLM 驱动的机器人提供了一种可解释、可验证的规划范式，通过“查询 - 推理”循环显著降低了幻觉风险。
实现了从“被动执行”到“主动消歧”的转变，提升了人机协作和机器人自主任务完成的可靠性。
证明了结构化场景表示（场景图）在增强 LLM 感知和推理能力方面的巨大潜力。

局限性：

依赖 VLM 质量：场景图的构建依赖 VLM 的单步推理，若 VLM 产生错误的空间/语义关系（幻觉），会直接污染后续推理。
计算开销：随着场景复杂度和模糊性增加，Token 消耗和延迟增加。
仿真限制：目前仅在仿真环境中验证，尚未在真实物理机器人上部署。

未来方向：扩展至真实世界的具身 AI 任务（如室内导航），并优化场景图生成的鲁棒性。