"Don't Do That!": Guiding Embodied Systems through Large Language Model-based Constraint Generation

本文提出了 STPR 框架，利用大语言模型将自然语言中的“禁止行为”约束自动转换为可执行的 Python 代码，从而在机器人导航规划中高效、准确地处理复杂的空间与数学约束。

要点

这篇论文介绍了一种名为 STPR 的新方法，旨在解决机器人（比如扫地机器人）在听人说话时遇到的一个核心难题：如何把人类模糊的“别做这个”的指令，变成机器人能严格执行的“安全规则”。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“给机器人配一位懂编程的‘翻译官’，而不是让它自己瞎猜”**。

1. 核心问题：机器人为什么听不懂“别靠近壁炉”？

想象一下，你家里有个扫地机器人。你告诉它：“别靠近那个壁炉，那里很烫！”

• 传统方法（纯靠大语言模型）： 就像让一个只会聊天但没受过专业训练的实习生去规划路线。它可能听懂了你的话，但为了“显得聪明”，它可能会编造一条路，或者因为没理解“烫”的具体物理含义，直接撞向壁炉。它可能会“幻觉”（Hallucinate），以为壁炉旁边是安全的，结果机器人被烫坏了。
• 传统导航（纯靠算法）： 就像让一个只会看地图的数学家。它非常严谨，能算出最短路径，但它看不懂你的自然语言。如果你不告诉它壁炉的坐标，它就根本不知道那里有危险，照样会撞上去。

痛点： 人类说话很随意（“别太靠近”、“如果有猫就别进厨房”），但机器人需要极其精确的数学公式（“距离壁炉 0.5 米内禁止进入”）。把“人话”变成“数学公式”非常难，容易出错。

2. STPR 的解决方案：让 LLM 当“翻译官”，让算法当“司机”

STPR 提出了一种**“神经符号”（Neuro-Symbolic）的混合架构，它把任务分成了两步，就像“翻译官 + 司机”**的完美搭档：

第一步：LLM 当“翻译官”（只负责写代码，不负责开车）

• 角色： 大语言模型（LLM）不再直接给机器人指路，它的任务只有一个：把人类的自然语言指令翻译成一段 Python 代码函数。
• 比喻： 想象 LLM 是一个精通编程的翻译官。你告诉它：“壁炉很烫，离它远点。”它不会直接画路线图，而是写下一行行严谨的代码：

  def is_dangerous(x, y, z):
      # 计算距离和热量
      if distance_to_fireplace < 0.5:
          return True  # 危险！
      return False     # 安全
  

• 优势： 因为 LLM 在训练时看过海量的代码，它写这种“判断逻辑”非常擅长，而且代码是可执行、可验证的，不会出现“我觉得这里安全”这种幻觉。

第二步：传统算法当“司机”（只负责看代码，严格执行）

• 角色： 传统的搜索算法（如 A* 或 RRT*）负责真正的路径规划。
• 比喻： 这个算法是一个极其严谨的司机。它不看你的口头指令，它只看“翻译官”写好的代码。
  • 当司机规划路线时，它会不断问代码：“这个点安全吗？”
  • 如果代码返回 True（危险），司机就立刻把这个点标记为“虚拟墙壁”，绝对不经过。
  • 如果代码返回 False（安全），司机才继续前进。
• 优势： 传统算法有数学保证，它能确保找到的路一定是最优的，而且绝对不会违反代码里的规则。

3. 一个生动的场景：壁炉与猫

让我们看看 STPR 在论文中的四个实验场景是如何工作的：

1. 躲避监控摄像头（S1）：

   • 人话： “别被摄像头拍到。”
   • 翻译官（LLM）： 写出代码，计算摄像头的视野角度和距离。
   • 司机（算法）： 发现一条路虽然短，但会穿过摄像头的“视线锥”，代码说“不行”，司机就绕路走。如果完全没路可走，司机会诚实地报告：“此路不通”，而不是强行撞过去。

2. 避开隐形陷阱（S2）：

   • 人话： “地上有个洞，别掉下去。”（机器人传感器可能看不见洞）
   • 翻译官（LLM）： 根据描述，在代码里划定一个“禁区”。
   • 司机（算法）： 即使传感器没看到洞，代码里的“虚拟墙壁”也会挡住它，让它绕开。

3. 有猫不进厨房（S3）：

   • 人话： “如果厨房里有猫，就别进去。”
   • 翻译官（LLM）： 这是一个逻辑判断。代码会检查“猫是否存在”这个条件。
   • 司机（算法）： 如果检测到猫，代码就把厨房门变成“墙”；如果没有猫，代码就把墙拆掉。机器人能灵活应对动态变化。

4. 壁炉热量（S4）：

   • 人话： “壁炉很烫，保持安全距离。”
   • 翻译官（LLM）： 写出一个复杂的物理公式（半球形辐射模型），计算出热量随距离衰减的曲线。
   • 司机（算法）： 在离壁炉很近的地方，代码判定为“极度危险”，机器人就会画出一个完美的弧线绕开，而不是直直地冲过去。

4. 为什么这个方法很厉害？

• 不靠“猜”： 以前的机器人靠大模型“猜”路线，容易出错。现在靠代码“算”路线，100% 遵守规则。
• 用“小”模型也能行： 论文发现，甚至不需要那种超级昂贵的巨型 AI 模型。只要是一个擅长写代码的中等规模模型（比如 Granite-34B 或 Llama-70B），就能完美胜任“翻译官”的工作。这让技术更便宜、更实用。
• 速度快： 虽然多了一步“翻译”的过程，但整体耗时依然很短（大约 12-18 秒），完全可以在实际应用中接受。

总结

这篇论文就像给机器人装了一个**“安全翻译器”。
以前，机器人要么太笨（听不懂人话），要么太疯（听懂了但乱执行）。
现在，LLM 负责把“人话”翻译成严谨的“法律条文”（代码），而传统算法负责做那个“铁面无私的法官”**，确保机器人的一举一动都严格符合这些法律。

这就解决了机器人导航中“既要听得懂人话，又要绝对安全”的终极难题。

技术摘要

1. 研究背景与问题定义 (Problem)

核心挑战：
现实世界的机器人导航不仅需要到达目标，还必须遵守人类操作员指定的复杂约束。这些约束通常是非标准化、模糊、隐含或非正式的（例如：“不要靠近壁炉”、“如果厨房有动物就不要进去”）。

• 现有方法的局限性：
  • 纯 LLM 规划： 直接让大语言模型（LLM）生成路径计划存在严重缺陷。LLM 容易产生幻觉（Hallucination），生成看似合理但违反物理约束的路径；缺乏可解释性；且难以可靠地执行条件约束（如“如果...则..."），往往导致部分合规或完全忽略约束。
  • 传统规划算法： 传统的搜索算法（如 A*, RRT*）虽然具有理论保证（完备性、最优性），但无法直接理解自然语言，无法处理非结构化的语义约束。
  • 推理模型的成本： 即使是先进的推理模型（如 o1 系列），虽然能缓解部分问题，但计算成本高昂且延迟高，难以满足实时部署需求，且仍无理论上的零错误保证。

问题形式化：
作者将机器人导航问题定义为四元组 $\Pi = \langle X, A, T, s_0, G \rangle$。用户指令 $l$ 被映射为一个禁止区域 $C \subseteq X$。目标是找到一个规划 $\pi$，使其轨迹完全位于 $X \setminus C$ 中。难点在于如何从自然语言 $l$ 准确推导出 $C$。

---

2. 方法论：STPR 框架 (Methodology)

STPR 是一种**神经符号（Neuro-Symbolic）**导航框架，其核心思想是将 LLM 的强项（代码生成）与传统规划算法的强项（数学保证）相结合，而不是让 LLM 直接生成路径。

2.1 核心流程

1. 约束代码生成 (Constraint Code Generation)：

   • 利用 LLM 将自然语言约束（“不要做什么”）转化为可执行的 Python 布尔函数 $f: X \to \{True, False\}$。
   • 提示工程 (Prompting)： 设计了包含系统指令、环境描述块、约束描述块和固定 Python 函数签名的提示模板。强制 LLM 输出结构化代码而非自由文本，利用其在代码预训练上的优势，避免幻觉。
   • 生成的函数作为指示器，当点 $(x,y,z)$ 位于禁止区域时返回 True。

2. 点云采样与空间剪枝 (Point-Cloud Sampling)：

   • 为了将生成的函数集成到传统规划器中，STPR 使用拒绝采样 (Rejection Sampling) 技术。
   • 对于每个约束函数，在 3D 环境中采样点云。为了效率，LLM 还会生成一个“过近似”的边界框（Bounding Box），仅在该框内采样，然后利用约束函数剔除无效点。
   • 生成的点云被存储在 KD-Tree 中，用于规划时的快速最近邻查询。这些点云在规划算法眼中被视为“虚拟障碍物”。

3. 约束路径规划 (Constrained Path Planning)：

   • 使用传统搜索算法（如 A* 或 RRT*）在包含虚拟障碍物的点云环境中进行规划。
   • 算法在扩展节点时，检查该节点是否靠近 KD-Tree 中的任何“禁止点”。如果是，则剪枝该节点。
   • 优势： 决策权回归到具有完备性和最优性保证的传统算法，LLM 仅负责约束翻译，从而实现了透明且可靠的约束执行。

---

3. 主要贡献 (Key Contributions)

1. STPR 框架： 提出了一种新颖的神经符号方法，将自然语言约束转化为可执行的 Python 代码，进而生成点云障碍物，实现了 LLM 语义理解与传统规划数学保证的无缝结合。
2. 解决“幻觉”与“部分合规”： 通过分离“约束翻译”和“路径决策”，彻底规避了 LLM 直接规划时的幻觉问题，确保了 100% 的约束合规性。
3. 模型无关性与低成本： 验证了该方法不仅适用于大型模型，也适用于较小的代码专用 LLM（如 Granite-34B-Code），且不需要复杂的超参数微调，推理成本低。
4. 广泛的实验验证： 在 Gazebo 仿真环境中，针对四种极具挑战性的场景（包括 3D 视野约束、隐形陷阱、条件逻辑约束、物理热辐射约束）进行了全面评估。

---

4. 实验结果 (Results)

实验在 ROS/Gazebo 环境中进行，对比了原生 A*/RRT*、STPR、以及基于 VLM（视觉语言模型）的纯 LLM 规划方法。

• 合规性 (Compliance)：

  • STPR： 在所有 4 个场景（S1-S4）中实现了 100% 的成功率（即要么找到合规路径，要么正确报告无解）。
  • 原生 A/RRT：** 0% 成功率，完全忽略约束。
  • VLM/LLM 直接规划 (如 GPT-4o)： 成功率极低（0%-10%），经常产生违反约束的路径或穿过墙壁。即使是推理模型（o3-mini-high）也未能解决所有问题，且耗时极长。

• 路径质量与效率：

  • 路径长度： STPR 生成的路径在合规的前提下长度合理。相比之下，VLM 生成的路径要么过长（试图绕路），要么过短（直接穿越障碍物）。
  • 运行时间： STPR 的端到端延迟在 12-18 秒 之间（主要耗时在 LLM 提示生成）。虽然比原生规划慢，但远快于纯 LLM 规划（后者有时需数分钟且结果不可靠）。
  • 模型大小影响： 较小的代码模型（如 Granite-34B）表现与 70B 模型相当，而 1B 模型则完全失败。这表明中等规模的代码模型足以胜任此任务。

• 场景表现细节：

  • S1 (摄像头视野)： STPR 成功生成了复杂的 3D 视野几何约束函数。
  • S2 (隐形陷阱)： 成功识别并避开了传感器无法探测的陷阱。
  • S3 (条件约束)： 正确推理出“有动物时禁止进入厨房”，即使门是开着的。
  • S4 (壁炉热辐射)： 成功将物理热辐射模型转化为半球形安全距离约束。

---

5. 意义与结论 (Significance & Conclusion)

• 理论意义： 证明了将 LLM 作为“编译器”（将自然语言编译为代码）而非“执行器”（直接生成动作序列）在机器人控制中的有效性。这种方法保留了传统控制理论中的安全性、完备性和最优性保证。
• 实际应用价值：
  • 安全性： 为具身智能系统提供了一种可靠处理复杂、模糊人类指令的机制，特别适用于安全关键场景（如避免火灾、避开危险区域）。
  • 可解释性： 生成的 Python 代码是透明的，人类专家可以审查、修改约束逻辑，而无需重新训练模型。
  • 部署友好： 不依赖昂贵的超大模型，且对推理超参数不敏感，易于集成到现有的 ROS 和 SLAM 管线中。

总结： STPR 通过“让 LLM 写代码，让算法做规划”的策略，成功解决了具身 AI 中自然语言约束难以形式化的痛点，为构建安全、可靠且能理解复杂人类指令的机器人系统提供了一条切实可行的技术路线。