🤖 AI

STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

本文提出了 STEP，这是一个状态感知框架，它利用多模态大语言模型来显式地估计系统状态并预测状态转移，从而克服人机协作中的幻觉和歧义问题，显著提高工业组装任务中的动作可执行性并减少最终状态误差。

原作者： Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

发布于 2026-08-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代工业繁忙的世界中，人机无缝协作的梦想正逐渐成为现实，但这一梦想仍受困于一种根本性的误解。要让机器人真正协助人类，它不能仅仅是执行一系列指令，它必须理解人类的意图并预判下一步要做什么。这一挑战正是被称为“长期动作预测”（long-term action anticipation）领域的内核，在该领域中，计算机试图根据刚刚观察到的内容来预测未来事件的序列。近年来，能够同时处理图像和文本的强大人工智能系统已成为这项任务中极具前景的工具。这些系统可以观看一个人工作的视频，并猜测他们正试图建造什么。然而，一个显著的差距仍然存在：尽管这些智能系统在语言和模式识别方面表现出色，但它们往往缺乏对物理世界的真实理解。它们无法自然地追踪当一个物体被移动时房间状态的变化，这导致它们会构想出不可能实现的动作，或者丢失对最终目标的关注。

为了弥补这一差距，本田研究中心（Honda Research Institute）与北卡罗来纳大学教堂山分校的研究人员开发了一种名为 STEP 的新方法，其全称为“状态感知任务估计与规划”（State-Aware Task Estimation and Planning）。该团队专注于一个常见的工业场景：一名人类操作员正在工作台上使用木块组装一个结构，而机器人则在一旁观察并等待接手。在实验中，人类开始搭建特定的形状（例如桥梁或塔楼），然后停止，将规划责任交给机器人。研究人员希望测试是否可以教会机器人不仅能猜出最终结构应该长什么样，还能在规划下一步动作时，不断更新其对工作空间的心理地图。与以往仅仅要求机器人用语言描述下一步动作的方法不同，这种新系统强制要求机器人明确描述当前每个木块的排列情况，预测该排列在每次动作后将如何变化，然后利用更新后的描述来规划后续步骤。

STEP 的核心创新在于它坚持维护一份结构化的、数字化的物理世界记录。当机器人观察工作台时，它不仅仅生成一个模糊的概念，如“正在建造一座塔”；相反，它会创建一个关于场景的详细且有序的事实列表：五个木块中每一个的位置、某个木块是直立还是平放、以及它相对于摄像头和其他物体的精确方向。随后，系统利用这种精确的描述来模拟未来。它会自问：“如果我把这个木块移到这里，场景接下来会变成什么样？”然后针对下一个动作重复这个问题。通过不断地将自己的预测与目标进行比对，系统可以衡量自己距离完成任务还有多远。如果规划的动作序列导致了死胡同或偏离目标的状态，系统会识别出这一错误并缩短其计划，选择一条能更接近预期结果的不同路径。这种“规划、模拟结果、修正路径”的过程会重复多次，以确保机器人不偏离轨道。

研究人员在模拟环境中测试了这种方法，使用的是一个由人类操作员远程操控两只机械臂组装木块的数据集。他们将自己的方法与一种并未以这种结构化方式追踪环境状态的领先现有技术进行了对比。结果显示，新系统具有明显的优势。STEP 生成的计划显著更具实用性；研究人员发现，相比于基准方法，该方法预测的动作能更成功地被机器人执行，成功率高出 32.8%。此外，当机器人完成任务时，它所建造的最终结构比旧方法产生的结构更接近预期目标 14.8%。研究还表明，虽然旧方法有时会产生与人类原始序列相匹配的较长动作列表，但那些额外的步骤通常是多余或错误的，而新方法则能产生更短、更高效且能可靠达到目标的计划。

团队发现，这种方法的成功在很大程度上取决于初始步骤的准确性。如果系统正确识别了人类试图建造的目标，并准确描述了木块的当前状态，那么随后的规划将会非常有效。然而，如果系统在猜测目标或判断木块位置时出现错误，这些错误就会在整个计划中产生连锁反应。这一发现强调了系统不断重新评估工作空间物理现实能力的重要性。研究人员指出，虽然目前该方法是专为这种特定的木块搭建场景设计的，但其“显式追踪状态变化”的底层原理可以被推广到其他工业任务中，例如组装机械设备或构建模块化装置。他们也承认，目前的系统需要大量的计算时间来运行这些多次规划循环，因此比简单的方法运行速度慢，但他们相信随着技术的进步，这些延迟是可以减少的。最终，这项工作证明，通过赋予人工智能一种记录物理世界运行情况的能力，我们可以创造出不仅仅是响应式，而是真正能够与人类协作、胜任复杂任务的合作伙伴型机器人。

技术摘要：基于多模态大语言模型的状态感知任务估计与规划 (STEP)

问题陈述

工业环境中的有效人机协作（HRC）要求机器人能够推断人类意图并生成可执行的长程规划。虽然多模态大语言模型（MM-LLMs）通过上下文学习在长期动作预测（LTA）方面展现出了潜力，但它们在机器人领域面临两个关键局限性：

缺乏状态感知能力： MM-LLMs 是在静态文本和图像数据上进行预训练的，缺乏真实世界的交互。因此，它们难以追踪系统状态转换，经常导致产生偏离预期目标的“幻觉”动作。现有的尝试进行状态追踪的方法通常依赖于自然语言描述（缺乏精确度）或需要获取地面真值（ground-truth）初始状态，这在动态变化的工业场景中是不现实的。
动作歧义性： 标准的 MM-LLM 输出通常仅限于高层级的“动词-名词”对（例如，“将物体放在桌子上”）。这种抽象方式无法捕捉必要的执行参数，如具体的放置坐标、物体朝向或空间关系，从而导致物理执行过程中的歧义。

方法论：STEP 框架

作者提出了 STEP（状态感知任务估计与规划），这是一个促使 MM-LLM 显式估计系统状态并随动作计划一同预测状态转换的流水线。该框架无需直接与环境交互或获取地面真值状态输入。

该流水线由五个连续阶段组成：

1. 任务估计

系统接收人类操作员执行的动作序列（ $A_1, ..., A_k$ ）以及当前工作站的图像（ $I$ ）。通过一组少量的上下文示例，MM-LLM 会估计操作员意图完成的整体任务（ $T$ ）（例如，“搭建拱形结构”）。输出被约束在预定义的可能任务列表中以引导模型。

2. 状态表示生成

同时，MM-LLM 分析工作站图像（ $I$ ）以生成结构化状态表示（ $S$ ），采用 JSON 格式。与自然语言描述不同，这种结构化输出能够捕捉：

位置： 每个模块的位置（例如，在桌子上，或在另一个特定模块之上）。
朝向： 直立、俯卧或侧卧。
顶面朝向： 平行或垂直于摄像机。
相对位置： 如果是堆叠状态，则记录其具体位置（左/右/中）。

这种结构化格式允许对工作空间进行定量分析。

3. 动作预测

利用估计的任务（ $T$ ）和动作历史（ $A_1, ..., A_k$ ），MM-LLM 预测完成任务所需的未来动作序列（ $A_{k+1}, ..., A_n$ ）。值得注意的是，作者发现在此特定提示词中包含图像数据会降低性能；因此，此阶段仅依赖于文本形式的任务和动作历史。

4. 状态传播

为了解决缺乏状态追踪的问题，STEP 显式地进行状态传播。通过向 MM-LLM 提供当前状态（ $S$ ）、动作历史以及下一个预测动作（ $A_{k+1}$ ），使其输出下一个状态（ $S_{k+1}$ ）的 JSON 对象。这一过程是迭代进行的，旨在生成与预测动作相对应的未来状态序列（ $S_{k+1}, ..., S_n$ ）。该过程采用了思维链（Chain-of-Thought）方法，即模型先用自然语言描述变化，然后再将下一个状态格式化为 JSON。

5. 展开（Rollouts）与截断

STEP 采用迭代“展开”机制来优化规划：

距离计算： 系统计算当前/预测状态与估计目标状态之间的定量距离（ $d_T$ ）。这是 5 个模块及其 4 个特征属性差异的总数（最大 $d_T = 20$ ）。
截断： 系统评估多次展开过程，并在 $d_T$ 最低的状态处截断动作序列。
迭代： 截断后的状态成为下一次展开的新起点。该过程重复进行，直到 $d_T = 0$ 或达到最大展开次数，从而确保规划向目标收敛。

实验设置

数据集： 一个模拟积木组装的场景，包含来自 19 位用户的 495 个实例。用户通过遥操作两台 Franka 机械臂，将五个相同的木块组装成八种结构之一（如：音叉、桥梁、马）。
基准模型： 一种受 AntGPT 启发的先进 LTA 方法，该方法执行任务估计和单次动作预测展开，但不进行状态追踪或结构化状态表示。
指标：
- 可执行性（Executability）： 通过逻辑和物理约束（如前置条件、物体姿态）的动作百分比。
- 最终状态误差（Final-State Error）： 可实现状态与真实目标状态之间的差异。
- 最长公共子序列（LCS）： 衡量预测序列与记录序列之间动作顺序的重合度。
- 任务正确性与当前状态误差： 任务推理及状态估计的准确性。

关键结果

在基于 GPT-4o 的 50% 任务完成场景评估中，STEP 相比基准模型表现出显著提升：

可执行性： 文中报告 STEP 的动作可执行性较先进方法整体提升了 32.8%。在特定的 GPT-4o 消融实验中（表 III），STEP 实现了 78.12% 的可执行性，而基准模型为 71.68%。
最终状态误差： 文中报告 STEP 的最终状态误差整体降低了 14.8%。在特定的 GPT-4o 消融实验中（表 III），STEP 将误差从基准模型的 4.53 降至 4.38。
LCS： 基准模型获得了更高的 LCS。作者将其归因于基准模型生成的动作序列更长且效率较低，但由于其序列与记录数据有更多重叠，因此 LCS 更高；而 STEP 的截断策略生成的计划更短且更直接。
鲁棒性： STEP 在各种 MM-LLM 规模（GPT-4o, GPT-4.1, GPT-5.1, GPT-5.2）下均优于基准模型，但随着模型规模减小（如 GPT-4o mini），由于任务估计准确度下降，性能也会随之降低。

意义与主张

本文声称 STEP 弥合了 MM-LLMs 的高层推理能力与工业环境下机器人执行所需精确性之间的鸿沟。通过显式建模状态转换并使用结构化 JSON 表示，该方法：

减轻幻觉： 通过定量追踪状态距离，防止生成物理上不可能实现或偏离目标的动作。
实现参数化执行： 超越了简单的“动词-名词”对，提供了实际执行所需的具体辅助参数（位置、朝向）。
无需地面真值即可运行： 不同于以往需要初始地面真值状态的工作，STEP 从视觉输入中推断状态，使其适用于无法获取此类数据的现实场景。

作者承认了局限性，特别是目前的实现是针对积木组装定制的，且迭代展开过程引入了延迟（约 148 秒，而基准模型为 18 秒），这需要在未来解决以实现实时部署。他们建议未来的工作可以侧重于为新场景自动化生成提示词，并通过本地托管或模型微调来优化推理速度。