💻 computer science

IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models

本文提出了 IMR-LLM 框架，通过结合大语言模型、析取图构建与确定性求解方法以及过程树引导，有效解决了工业多机器人任务规划中的复杂约束问题，并构建了 IMR-Bench 基准验证了其在各项指标上显著优于现有方法。

原作者： Xiangyu Su, Juzhan Xu, Oliver van Kaick, Kai Xu, Ruizhen Hu

发布于 2026-03-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiangyu Su, Juzhan Xu, Oliver van Kaick, Kai Xu, Ruizhen Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 IMR-LLM 的新系统，它的核心任务是教一群工业机器人如何像一支训练有素的乐队一样，完美协作完成复杂的工厂任务。

为了让你更容易理解，我们可以把整个工业生产过程想象成一家繁忙的高级餐厅，而机器人就是那里的厨师和服务员。

1. 遇到的问题：大模型也会“想太多”或“想太少”

现在的工厂里，经常需要好几个机器人一起干活（比如一个搬运、一个打磨、一个焊接）。

以前的做法：我们试图直接让大语言模型（LLM，就像现在的 AI 助手）来指挥。这就好比让一个天才厨师（AI）直接指挥整个厨房。
- 缺点：在简单的家庭任务（比如做三明治）中，AI 很厉害，先切菜还是先煎肉，它都能灵活安排。但在工厂里，任务非常死板且复杂。比如，必须先等 A 机器人把零件运到 B 机器，C 机器人才能开始打磨，而且 A 和 B 不能同时抢同一个机器。
- 后果：如果只靠 AI“凭感觉”指挥，很容易出现“撞车”（两个机器人抢一个机器）或者“逻辑死循环”（A 等 B，B 等 A），导致任务失败。

2. 我们的解决方案：IMR-LLM（AI 大脑 + 数学管家 + 剧本树）

为了解决这个问题，作者设计了一个“三人组”协作模式：

第一步：AI 当“总策划”，但只负责画草图（任务规划）

传统做法：让 AI 直接决定谁在几点几分做什么。这太难了，AI 容易算错。
IMR-LLM 的做法：
1. AI 的角色：它只负责把大任务拆解成小步骤（比如：先搬运，再打磨），并画出这些步骤之间的依赖关系图（就像画一张“谁必须等谁”的草图）。
2. 数学管家（确定性算法）：AI 画完草图后，交给一个严谨的数学计算器（基于“析取图”算法）。这个计算器不懂“创意”，但它极其擅长排兵布阵。它会像交通指挥中心一样，精确计算每个机器人什么时候走、走哪条路，确保绝对不会堵车，效率最高。
- 比喻：AI 是导演，负责构思剧情；数学管家是场务，负责精确安排每个演员的出场时间和走位，确保不穿帮。

第二步：AI 当“编剧”，但不再死记硬背（程序生成）

传统做法：给 AI 看几个例子（比如“怎么搬运”），让它模仿写代码。这就像让学生背范文，换个场景就不会了。
IMR-LLM 的做法：
1. 过程树（Process Tree）：作者让 AI 先学习所有任务的“通用套路”，整理成一棵决策树。
  - 比如“打磨”这个动作，树的结构是：先拍照 -> 再找边界 -> 再算路径 -> 最后移动。
  - 如果场景变了（比如相机是装在机器人手上，还是装在天花板上），树就会分出一个新分支，但主干逻辑不变。
2. 生成代码：AI 不需要死记硬背，而是拿着这棵“树”，根据当前的任务，像走迷宫一样，从树根走到树叶，把对应的代码片段拼起来。
- 比喻：以前是让 AI 背“红烧肉食谱”；现在是给 AI 一本《烹饪原理全书》，告诉它“如果是用铁锅就选 A 步骤，用不粘锅就选 B 步骤”。这样无论换什么锅，它都能做出来。

3. 成果如何？（IMR-Bench 测试）

作者造了一个专门的“考场”（IMR-Bench），里面有从简单到复杂的各种工厂任务（单机器人、多机器人协作）。

结果：这套方法在成功率、效率和代码能不能跑通这三个方面，都完爆了现有的其他方法。
现实验证：不仅在电脑模拟里跑通了，作者还把它真的部署到了真实的工厂里，三个机器人真的合作把工件搬运到了传送带上，没有出错。

总结

这篇论文的核心思想就是：不要指望 AI 一个人既当导演又当场务还当演员。

IMR-LLM 把创意（拆解任务）交给 AI，把严谨的逻辑计算（排班调度）交给数学算法，把代码生成（具体执行）交给结构化的“决策树”。
这种"AI 大脑 + 数学铁律 + 结构化剧本"的组合，让工业机器人从“偶尔能用的玩具”变成了“真正能进工厂干活的员工”。

IMR-LLM：基于大语言模型的工业多机器人任务规划与程序生成技术总结

1. 研究背景与问题定义 (Problem)

在现代智能制造中，多机器人协作完成复杂制造任务已成为常态。然而，将大语言模型（LLM）应用于工业多机器人场景面临两大核心挑战，这与现有的家庭服务或简单操作场景有显著不同：

严格的时序约束与复杂依赖：工业任务通常被分解为标准化操作（如运输、抛光、焊接等），这些操作之间存在刚性的执行顺序和复杂的互斥约束（如机器人资源冲突、机器设备独占性）。仅靠 LLM 的推理能力难以生成可行且最优的全局调度计划，容易导致死锁或资源冲突。
程序生成的可执行性与泛化性：现有的基于少样本提示（Few-shot prompting）的代码生成方法容易过拟合特定示例，生成的代码难以适应不同产线的具体环境约束（如摄像头安装位置不同、机械臂配置差异），导致代码在实际执行中不可用（低可执行性）。

核心目标：构建一个框架，能够将自然语言描述的工业任务转化为高层任务规划（包含操作分解、机器人分配、调度排序）和底层可执行程序，以驱动多机器人在工业环境中高效协作。

2. 方法论 (Methodology)

作者提出了 IMR-LLM 框架，该框架将 LLM 的推理能力与确定性算法及结构化表示相结合，主要包含三个模块：

A. 任务规划 (Task Planning)

利用析取图 (Disjunctive Graph) 和启发式求解器来解决调度问题，而非完全依赖 LLM 生成调度顺序。

输入处理：接收场景描述（机器人、设备、工件）、任务指令及通用规则。
LLM 辅助构建：利用 LLM 的推理能力（Chain of Thought）分析指令，提取隐含约束，生成操作集合 $O$ 、机器人分配集合 $A$ 以及工件内部的操作优先序 $Q$ 。
析取图构建：将上述信息转化为析取图 $G$ $G$ 。
- 顶点：代表操作。
- 合取弧：代表同一工件内操作的先后顺序。
- 析取弧：代表不同操作对同一机器或同一机器人的资源竞争（互斥关系）。
确定性求解：使用启发式算法（如 FIFO 或更高级的优化算法）对析取图进行求解，确定无向边的方向，生成无环的调度图 $F$ 。这确保了调度的可行性和效率，避免了 LLM 直接处理复杂资源冲突时的不稳定性。

B. 程序生成 (Program Generation)

引入操作过程树 (Operation Process Tree) 来指导代码生成，替代传统的少样本示例。

过程树构建：基于给定的程序示例，利用 LLM 分析所有操作类型，构建一棵统一的树状结构 $T$ $T$ 。
- 树节点代表功能步骤（如“拍照”、“检测边界”、“计算轨迹”）。
- 通过分支结构处理不同环境下的实现差异（如固定相机 vs 手持相机）。
- 通过合并相同功能的节点实现代码复用。
路径选择与代码生成：
- LLM 根据当前场景，在树中为每个操作选择一条从起点到终点的唯一执行路径。
- 提取路径上所有节点的代码片段（Snippet），组合成通用的执行函数。
- 生成包装函数（Wrapper Functions）调用这些通用函数，最终输出完整的 Python 执行程序。
- 优势：将代码生成转化为路径选择问题，消除了逻辑歧义，提高了代码的完整性和可执行性。

C. 执行 (Execution)

结合高层调度图 $F$ 和底层程序 $P$ ，驱动机器人按序执行任务。只有当所有前置依赖满足时，操作才会启动。

3. 关键贡献 (Key Contributions)

IMR-LLM 框架：提出了一种创新的工业多机器人任务规划与程序生成框架。它巧妙地将 LLM 用于语义理解和约束提取，同时利用确定性算法（析取图求解）处理复杂的调度问题，并利用过程树引导代码生成，实现了效率与可执行性的平衡。
IMR-Bench 基准数据集：构建了一个包含 23 个真实工业场景、50 个制造任务的基准测试集。任务涵盖单机器人、简单多机器人（3 台）和复杂多机器人（7 台）三个难度等级，并设计了操作一致性、调度效率、可执行性、目标召回率等精细化评估指标。
实证验证：在仿真和真实世界环境中进行了广泛测试。结果表明，该方法在各项指标上均显著优于现有的 SOTA 方法（如 SMART-LLM, LaMMA, LiP-LLM 等）。

4. 实验结果 (Results)

在 IMR-Bench 上的实验结果显示：

综合性能：IMR-LLM 在单机器人、简单多机器人和复杂多机器人任务中，均取得了最高的成功率 (SR)。
- 在复杂多机器人任务中，IMR-LLM 的 SR 达到 0.68 (GPT-4o) 和 0.60 (Qwen3)，而次优方法 LiP-O 仅为 0.24。
- 调度效率 (SE) 和 操作一致性 (OC) 接近完美（1.00），表明其调度方案几乎总是可行且最优的。
可执行性 (Exe)：得益于过程树的使用，IMR-LLM 生成的代码可执行性显著高于直接基于示例生成的方法（复杂任务中 Exe 达到 0.76，而基线方法普遍低于 0.40）。
消融实验：
- 移除析取图求解（直接由 LLM 生成顺序）会导致调度效率大幅下降，特别是在多机器人场景下。
- 移除过程树（直接使用示例）会导致代码可执行性和目标召回率显著降低。
真实世界验证：在包含 3 台机械臂的真实场景中成功部署，机器人能够协作完成工件运输和放置任务，验证了方法的实际可用性。

5. 意义与价值 (Significance)

解决工业落地难题：针对工业场景对“严格时序”和“资源互斥”的高要求，提出了一种混合架构（LLM + 确定性求解），弥补了纯 LLM 方法在复杂约束下不可靠的缺陷。
提升代码生成质量：通过“过程树”机制，解决了工业代码生成中环境适配难、逻辑歧义多的问题，使得生成的程序更具鲁棒性和通用性。
推动具身智能发展：IMR-Bench 的发布填补了工业多机器人任务规划领域的基准测试空白，为后续研究提供了标准化的评估平台。
实际应用前景：该方法能够显著降低工业产线编程的门槛，使非专家用户也能通过自然语言指令快速部署多机器人协作任务，具有极高的工业应用价值。

总结：IMR-LLM 通过“LLM 理解 + 图算法求解 + 树结构引导”的协同机制，成功攻克了工业多机器人任务规划中调度不可行和程序不可执行的两大痛点，为智能制造领域的具身智能发展提供了强有力的技术支撑。