💬 NLP

Infer Human's Intentions Before Following Natural Language Instructions

该论文提出了 FISER，这是一个通过在规划动作之前通过社会推理显式推断人类意图，从而提高具身智能在协作任务中性能的框架，其在 HandMeThat 基准测试上的表现优于标准的端到端方法和强基线模型。

原作者： Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，有一款旨在协助家务的机器人。为了让这台机器真正发挥作用，它必须能够理解我们在日常生活中向彼此发出的那些随意的、往往是不完整的请求。当一个人在整理家务时说，“你能把沙发上的那个递给我吗？”他们并不是在真空中说话。他们假设听者能够根据共享的语境和刚刚发生的事情的历史记录，明白“那个”指的是什么。如果这个人一直在把书收进盒子里，那么机器人就应该理解“那个”是指一本书，而不是靠垫或遥控器。这种读懂言外之意、从观察到的行为中推断隐藏目标的能力，是让人工智能成为人类环境中真正伙伴的核心挑战。如果没有这项技能，机器人可能会字面上执行指令，却无法提供真正的帮助，因为它无法弥合模糊指令与完成共享任务所需的具体行动之间的鸿沟。

华盛顿大学和麻省理工学院的研究人员通过一种名为 FISER 的新方法解决了这一问题，该缩写代表“结合社会与具身推理的指令遵循”（Follow Instructions with Social and Embodied Reasoning）。他们的工作聚焦于一个特定的难点：人类的指令具有天然的歧义性，因为人们会省略那些他们认为显而易见的细节。团队在一个名为 HandMeThat 的数字环境中测试了他们的想法，这是一个文本驱动的家庭模拟环境，其中人类和机器人必须协同工作。在这种设定下，人类可能正在整理物品，并在过程中向机器人发出一个模糊的请求寻求帮助。机器人的任务是弄清楚人类究竟想要什么，不仅是通过倾听语言，还要通过观察人类一直在做什么并猜测其潜在计划。

研究人员发现，解决这一问题的最成功方法是将问题分解为两个截然不同的步骤。首先，机器人进行“社会推理”，即它会停下来明确地猜测人类的意图。它观察人类行为的历史和当前的情况，以决定此人实际上想要实现什么目标。例如，如果人类一直在把书放入盒子里，机器人就会推断出目标是存放书籍。只有在做出这种推断之后，机器人才会进入第二步——“具身推理”，即规划递交正确物体所需的物理动作。这个两阶段的过程至关重要，因为它迫使系统在尝试移动之前先解决语言的歧义性。

为了测试这一点，团队构建了可以执行这些步骤的计算机模型。他们将自己的方法与其他方法进行了比较，包括直接要求大型预训练语言模型一次性完成任务，或者使用一种称为“思维链”（Chain of Thought）的技术来引导模型进行推理步骤。结果非常明确：那些明确将社会推理与物理规划分开的模型表现得显著更好。在最具挑战性的测试中（即指令具有高度歧义性的情况），这种新方法达到了 64.5% 的成功率，创下了此类任务的新纪录。相比之下，即使是经过精心提示的最强大的预训练语言模型，也难以达到同样的水平，它们经常无法理解人类的隐藏目标，或者在环境细节中迷失方向。

研究还揭示了为什么强大的预训练模型会表现不佳。这些模型阅读了来自互联网的海量文本，拥有通识知识，但缺乏针对共享任务中即时物理语境进行推理的特定能力。当研究人员尝试通过过滤掉环境中无关物体来帮助这些模型时，模型仍然无法进行有效的规划，这表明问题不仅仅在于信息过多，而是在于将社会线索与物理动作联系起来时存在根本性的困难。研究人员得出结论，如果机器人要成为真正有用的助手，它们需要接受训练，将人类意图视为一个需要解决的特定且可观察的问题，而不是寄希望于通用的语言模型能自行搞定。通过教导系统先理解人类的思想，然后再基于这种理解采取行动，研究人员展示了一条通往更强大、更具协作能力的智能体之路径。

技术摘要：具备社交与具身推理能力的指令遵循框架 (FISER)

问题定义

本文探讨了如何使 AI 智能体能够在协作式、具身的人机任务中遵循自然语言指令的挑战。标准的落地语言学习（grounded language learning）虽然能将指令映射到动作，但在现实场景中往往会失效，因为人类的指令本质上具有歧义性。人类假设听者拥有关于其隐藏目标和意图的先验知识，因此为了效率会省略关键信息（Grice 1975; Sperber and Wilson 1986）。

作者将其形式化为一个人机马尔可夫决策过程（MDP）。在这种设定下，人类在发出自然语言指令 $u$ 之前，会在共享环境中执行一段动作轨迹 $\tau_{t'}$ 。机器人必须据此推断人类的隐藏内部奖励函数 $R_h$ 和特定的子目标 $p^*$ ，以确定正确的机器人任务 $G_r$ 。核心难点在于，仅凭指令 $u$ 是不足以完成任务的；机器人必须利用观察到的部分人类轨迹以及环境上下文来消除歧义。

方法论：FISER 框架

作者提出了具备社交与具身推理能力的指令遵循框架 (FIS于FISER)，该框架将指令遵循问题明确分解为两个不同的阶段：社交推理 (Social Reasoning) 与 具身推理 (Embodied Reasoning)。

1. 建模人类意图

该框架将人类的隐藏目标 $G_h$ 建模为一组逻辑谓词。人类选择一个需要协助的子目标 $p^*$ （计划中的特定部分），并生成一条指令 $u$ 来指定机器人任务 $G_r$ 。机器人无法直接观察到 $G_h$ 、 $p^*$ 或 $G_r$ ；它必须从观察到的轨迹 $\tau_{t'}$ 、最终状态 $s_{t'}$ 以及指令 $u$ 中进行推断。

2. 两阶段推理

阶段 1：社交推理（任务识别）： 机器人将自然语言指令消歧为具体的、可执行的机器人任务 $G_r$ $G_{r}$ 。这一阶段包括：
- 机器人的任务识别： 在给定 $s_{t'}$ 、 $\tau_{t'}$ 和 $u$ 的情况下估计 $G_r$ 。
- 人类计划识别（可选）： 一个增强阶段，模型在确定 $G_r$ 之前，会显式预测人类的子目标 $p^*$ （例如，“将书存入箱子”）。这被建模为预测一个由逻辑谓词组成的元组（量词、主观对象、动词、宾语）。
阶段 2：具身推理（落地规划）： 一旦确立了 $G_r$ ，问题就简化为标准的任务驱动型规划任务。机器人生成一系列动作 $\{a_t\}$ ，以在环境中实现 $G_r$ 。

3. 模型实现

作者实现了一个基于 Transformer 的模型，该模型是从头开始训练的（由于输入数据的 Token 长度过长，超出了现有小型预训练模型的上下文限制）。

架构： 模型使用 $3N$ 个编码器层。前 $2N$ 层构成社交推理阶段，后 $N$ 层构成具身推理阶段。
模态交互： 一个专门的模块融合了四个输入流：世界状态描述、人类轨迹、语言指令以及模型的历史输出。
训练策略：
- 端到端 (E2E)： 模型被训练为直接输出动作，并对中间预测应用辅助损失。
- 多阶段 (MS)： 社交推理模块和具身推理模块分别进行训练。在评估期间，社交模块预测 $G_r$ （及可选的 $p^*$ ），然后将其作为地面真值（ground-truth）输入给具身模块。

实验设置

该框架在 HandMeThat (HMT) 基准测试上进行了评估，这是一个包含文本化家庭环境的基准，涵盖了四个难度等级的歧义指令遵循任务：

等级 1： 纯规划（无歧义）。
等级 2： 需要从人类轨迹中推断目标。
等级 3： 需要通过语用推理来解决语言歧义。
等级 4： 需要强大的先验知识来解决信息不足导致的固有歧义。

作者将该方法与以下对象进行了对比：

基线模型 (Baselines)： 人类表现、手工编写的启发式规则以及 Seq2Seq 神经网络。
最先进技术 (SOTA)： 前代最优方法（Cao et al. 2024），该方法使用迭代目标推断。
大语言模型 (LLMs)： 使用思维链 (CoT) 提示词的 GPT-4 Turbo，包括标准提示、提示工程 (PE) 以及模仿 FISER 结构的 CoT 提示（即预测中间步骤）。

关键结果

实验得出了三个主要发现：

分离推理提升性能： 明确分离社交推理与具身推理的模型（FISER）显著优于端到端方法。多阶段 + FISER 模型在 HMT 测试集上实现了 64.5% 的平均成功率，创下了新的 SOTA。
小模型优于提示后的 LLM： 尽管 GPT-4 Turbo 拥有海量的常识知识，但其表现仍不及从头训练的小规模 Transformer 模型。即使使用了 CoT 提示和领域特定知识，GPT-4 在处理歧义等级（2–4）时的成功率仍不到 FISER 模型的半分。
失败模式分析：
- GPT-4 主要面临规划失败（幻觉出物体位置）和意图错误（其常识与特定人类目标不匹配）的问题。
- FISER 模型有效地避免了规划失败和冗余行为，但在识别高度歧义场景下的目标物体方面仍面临挑战。
- 过滤无关物体虽能略微提升 GPT-4 的表现，但无法缩小差距，这表明局限性不仅在于物体选择，更在于其缺乏进行所需社交与具身推理的基础能力。

意义与主张

本文的主张是，解决歧义指令遵循任务的关键洞察在于将人类意图显式建模为中间推理步骤。通过将人类视为具有隐藏目标的局部可观测智能体，而非仅仅是一个脱离实体的指令发布者，系统可以更好地利用上下文来消除歧义。

作者断言：

预训练是不够的： 通用的预训练 LLM 即使配合 CoT 提示，也缺乏在共享环境中执行复杂社交与具身任务所需的特定领域知识和推理结构。
结构化推理更优： 将问题分解为社交（意图推断）和具身（动作规划）两个阶段，比单体式的端到端训练或直接提示效果更好。
效率： 训练一个专门的小型领域模型，比尝试通过提示词让大规模通用 LLM 执行这些特定协作任务更有效且更可靠。

这项工作确立了：要使 AI 智能体在人类环境中真正发挥作用，它们必须超越简单的语言落地，转而融入社交推理——即在执行“如何做”之前，先推断出人类行为背后的“为什么”。