💻 computer science

Any House Any Task: Scalable Long-Horizon Planning for Abstract Human Tasks

该论文提出了 AHAT，这是一个可扩展的长时程规划框架，它利用通过一种新型强化学习算法（TGPO）训练的 LLM，将模糊的人类指令和场景图转化为 PDDL 子目标，从而使机器人能够在大型环境中为复杂的家庭任务生成最优规划。

原作者： Zhihong Liu, Yang Li, Rengming Huang, Cewu Lu, Panpan Cai

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhihong Liu, Yang Li, Rengming Huang, Cewu Lu, Panpan Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人去打扫你凌乱的房间。你不想给它一个步步紧扣的手册，比如“捡起袜子，然后走两步，再弯下腰”。那太枯燥了，而且太脆弱了；如果袜子移动了，机器人就会陷入混乱。相反，你只想说，“把这个房间收拾整洁”，然后让机器人自己搞定剩下的事。这就是机器人技术的终极目标：将人类模糊的愿望转化为完美的、物理层面的行动方案。

为了实现这一点，科学家经常使用两种不同的工具。第一种是大语言模型（LLM），它就像一位博学多才、阅历丰富的图书管理员，知道关于世界的无数事实，但有时会编造故事或忘记物理规则。第二种是符号规划器（Symbolic Planner），它就像一位严厉、刻板的数学老师，能完美地遵循规则，但完全不知道什么是“整洁”，也不会和人类交流。巨大的挑战在于，如何让这位爱聊天的图书管理员和这位严厉的数学老师协同工作，既不会让图书管理员把机器人困在死循环里，也不会让数学老师因为指令太模糊而拒绝开始工作。

这正是名为 TGPO（轨迹引导策略优化，Trace-Guided Policy Optimization）的一篇新论文所解决的问题。研究人员正在尝试教机器人如何将人类宏大且模糊的指令分解成一系列机器人可以实际执行的小型、可检查的步骤。他们发现，仅仅要求智能 AI “直接去做”往往会导致生成的计划在纸面上看起来很完美，但在现实世界中却会失败。相反，他们开发了一种巧妙的训练方法，让 AI 学习生成其思考过程的“轨迹”（trace），在出错时接受助手的纠正，然后再次尝试。这就像是在教学生时，不只是在最后给一个分数，而是在整个做题过程中引导他们，实时修正逻辑错误，并让他们反复练习直到掌握为止。其结果是，该系统在处理长距离、复杂任务（例如为一场派对准备整个房屋）时，比以往的方法表现得更出色，尤其是在指令模糊的情况下。

问题所在：会“折断”的魔杖

想象你有一个机器人管家。你告诉它：“我要举办一场节日聚会，所以把房子收拾一下。”人类能立刻理解这句话：他们知道要捡起垃圾、擦桌子，甚至可能摆放一些装饰品。但对于机器人来说，这是一个噩梦。如果你要求一个标准的 AI 直接“写一个计划”，它可能会产生幻觉。它可能会说：“把沙发移到厨房里”，即使沙发太重搬不动；或者“打开炉灶来清理地板”，这是一个极其糟糕的主意。

论文解释说，目前的 AI 模型擅长预测句子中的下一个词，但它们非常不擅长确保其计划的可行性。它们会在早期犯下微小的错误——比如忘记在移动桌子之前先拿起杯子——而这些错误会像多米诺骨牌一样堆叠起来，直到整个计划崩溃。另一方面，传统的机器人规划器非常安全，它们不会做任何不可能的事。但它们也很“笨”；你需要用非常具体的代码（称为 PDDL）来告诉它们每一步要做什么，它们无法理解“为派对做准备”这种细微的语境。

解决方案：TGPO（“轨迹引导型”教练）

作者提出了一种名为 TGPO 的新训练方式。不要把 TGPO 想成一个只会瞎猜的机器人，而要把它想成一个在严厉而有帮助的教练指导下学习的学生。

以下是这种训练的工作原理（使用简单的类比）：

学生（AI 策略）： 机器人的大脑尝试将你的命令（“为派对做准备”）分解为一系列子目标。它可能会说：“1. 捡起垃圾。2. 洗碗。3. 吸尘。”
教练（验证器）： 一个严格的检查者会查看这个列表。它会问：“等等，如果水槽里塞满了食物，你真的能洗碗吗？你在吸尘之前记得挪开椅子了吗？”
“轨迹”纠正： 如果学生的计划错了，教练不会只说“失败”。相反，它会观察其思考过程（即轨迹）并修正具体的错误。它可能会说：“你忘了先清空水槽。这是修正后的步骤列表。”
练习循环： 机器人随后会根据这个经过修正的列表尝试生成剩余的计划。它从纠正中学习，而不仅仅是从最终的“通过/失败”成绩中学习。

这与目前大多数 AI 的训练方式不同。通常，你让 AI 做某事，如果它失败了，你只需告诉它“做得不好”然后重试。这就像是在数学考试中不及格，却只得到了一个“F”，而没有看到显示你哪里出错的红笔批注。TGPO 就像是在你考试的过程中，一边做题一边得到红笔批注，这样你就能在交卷前修正自己的逻辑。

研究发现：机器人变得更聪明了

研究人员在各种任务上测试了这种新方法，从简单的“给我拿条毛巾”到极其复杂的“为节日聚会准备房屋”（涉及移动家具、清洁和按特定顺序整理）。

他们将他们的机器人与另外两种类型的规划器进行了对比：

“提示词驱动型”机器人： 这些是仅被要求编写计划的 AI 模型。论文发现，随着任务变得更难、更抽象，这些机器人的表现惨不忍睹。它们会被复杂性搞糊涂，并提出一些不可能实现的动作。
“标准学习型”机器人： 这些是使用标准强化学习（试错法）训练的机器人。它们比提示词驱动型机器人表现好一些，但在指令模糊或任务过长时仍然难以应对。

结果如下：
TGPO 机器人是明显的赢家。

在简单任务上，它的成功率约为 88%。
在复杂任务（长链条动作）上，它的成功率为 77%。
在抽象任务（机器人需要猜测“收拾干净”的具体含义）上，它的成功率为 70%。

相比之下，表现最好的“提示词驱动型”机器人在同样的抽象任务上，成功率仅为 22% 左右。论文指出，TGPO 能够实时修正其思考过程的能力是成功的关键。它不只是在猜测，它在推理、检查、纠正，然后行动。

这为什么很重要

这篇论文表明，通过教机器人生成“可验证的子目标”（小型、可检查的步骤），并使用一个能够纠正其思考轨迹的系统，我们可以让它们在现实世界中变得更加可靠。作者指出，即使环境很乱或指令很模糊，这种方法依然有效。

然而，作者也谨慎地指出，这目前还不是解决所有机器人问题的万灵药。该系统仍然依赖于一个预定义的场景图（scene graph）和一个机器人已知的规则集。它并不会仅仅通过观察摄像头来从零开始学习如何感知世界；它需要这种结构化的地图来进行规划。但对于将人类语言转化为安全、可执行的机器人动作这一特定任务，TGPO 展示了一个重大的进步，证明了通过正确的“教练式教学”，AI 可以学得比自主探索时更好地进行规划。

技术摘要：用于机器人任务规划的迹线引导策略优化 (Trace-Guided Policy Optimization, TGPO)

1. 问题定义

本文解决了现实环境中长时程机器人任务规划的挑战。核心难点在于如何将抽象、欠定义的自然语言指令映射为能够满足复杂约束且覆盖长时间跨度的可执行动作序列。

现有方法面临着一种两极分化的困境：

大语言模型 (LLMs)： 具备强大的常识推理能力，但由于缺乏显式的约束建模、自回归生成过程中误差会不断累积，以及对环境状态的接地（grounding）能力较弱，往往无法生成可靠且可行的计划。
符号规划器 (Symbolic Planners)： 虽然能保证可行性和最优性，但需要明确定义的符号目标（例如 PDDL 语言），且无法直接理解高层的人类意图。

作者将该问题形式化为学习生成可验证的子目标 (subgoals)。系统并非生成单一的整体目标或直接的动作序列，而是学习一个策略 $\pi_\theta$ ，将指令 $q$ 和环境状态 $S$ 分解为一系列中间 PDDL 子目标 $G = \{g_k\}$ 。随后，这些子目标由经典的符号规划器求解，从而产生最终的动作计划。学习目标是最大化基于可行性（可解的子目标）和任务完成度（满足指令要求）的奖励函数。

2. 方法论：迹线引导策略优化 (TGPO)

为了应对该学习问题中固有的稀疏、噪声及延迟奖励挑战，作者提出了迹线引导策略优化 (TGPO)。这是一个构建在组相对策略优化 (GRPO) 之上的强化学习 (RL) 框架，并通过从中间推理迹线（reasoning traces）中提取的结构化学习信号进行了增强。

TGPO 通过一个三组件机制运行：

A. 基于验证器落地的奖励 (Verifier-Grounded Rewards)

系统利用验证器提供结果层面的监督。奖励 $R(T, G)$ 是以下各项的乘积：

可行性 ( $R_{feas}$ )：检查生成的子目标是否都能被 PDDL 规划器求解的二元检查。
任务完成度 ( $R_{comp}$ )：评估组合计划是否符合用户意图的分数（0 到 1），通常通过 LLM-as-judge 协议或模拟器目标进行评估。

B. 迹线引导细化 (Trace-Guided Refinement)

意识到标量奖励不足以在长时程任务中进行信用分配（credit assignment），TGPO 引入了一个辅助模型来纠正中间推理。

自由采样 (Free Rollouts)：策略生成 $N$ 个候选轨迹（分解迹线 $T$ 和子目标 $G$ ）。
迹线纠正 (Trace Correction)：识别奖励低于阈值 $\tau$ 的轨迹。一个辅助模型（“迹线改进器”）会对分解迹线 $T$ 进行修正，以修复诸如缺失子任务、错误的时间顺序或接地不完整等错误，从而生成修正后的迹线 $\tilde{T}$ 。
约束采样 (Constrained Rollouts)：策略在以修正后的迹线 $\tilde{T}$ 为条件的情况下进行第二次采样，以生成相应的子目标 $\tilde{G}$ 。这是通过 Token 级的约束采样实现的，即强制固定迹线 Token，同时自回归地生成子目标。

C. 约束策略优化 (Constrained Policy Optimization)

优化过程将原始的自由采样与迹线纠正后的采样合并为一个增强组。策略使用类似于 GRPO 的裁剪目标进行更新，但梯度计算包含了原始轨迹和纠正后的轨迹。这使得策略能够从外部纠正中学习，有效地将稀疏奖励转化为稠密的、结构化的监督信号。

3. 实验设置与基准测试

该框架被实例化用于大规模家庭环境中的移动操作 (mobile manipulation)。

数据生成：使用 Habitat 合成场景数据集 (HSSD) 构建了一个大规模数据集。任务通过 LLM 根据多样化的用户画像和场景图（scene graphs）合成，涵盖了从显式命令到抽象意图描述的各种类型。
基准测试：评估在四个基准上进行：
1. 分布内合成任务：分为简单 (Easy)、复杂 (Complex，长时程、多约束) 和抽象 (Abstract，隐式意图) 三类。
2. 人类任务：通过 Web 界面收集的 50 个真实世界指令。
3. PARTNR：一个公开的具身多智能体任务基准。
4. BEHAVIOR-1K：一个家庭任务规划与技能学习基准。
基线模型 (Baselines)：对比对象包括基于提示词的规划器（SayPlan, DELTA, LLM+P, NL2Plan, 原生 LLM）以及基于学习的方法（SFT, GRPO, Reinforce++, 以及端到端的 TGPO 变体）。

4. 关键结果

卓越性能：TGPO 在所有基准测试中均显著优于所有基线模型。在分布内任务上，相对于最强的基于提示词的基线，其性能提升随任务复杂度增加而上升：简单任务提升 67%，复杂任务提升 131%，抽象任务提升 213%。
泛化能力：TGPO 在分布外环境（PARTNER, BEHAVIOR-1K）和人类编写的任务中展现了鲁棒的泛化能力，成功率分别达到 82.6% 和 70.3%，较基线有大幅提升。
消融研究：
- TGPO vs. SFT：强化学习优化比单纯的监督微调 (SFT) 提供了更高的性能上限，尤其是在处理复杂和抽象任务时。
- 迹线纠正：移除迹线纠正机制（标准 GRPO）会导致性能随任务复杂度增加而迅速下降，凸显了结构化引导对于信用分配的必要性。
- 子目标 vs. 端到端：基于子目标的方法 (TGPO) 显著优于端到端变体 (TGPO E2E)，证实了将问题形式化（子目标生成）与执行（符号求解）分离可以减轻学习负担并提高可行性。
鲁棒性：在结合在线蒙特卡洛树搜索 (MCTS) 的情况下，即使在存在随机动力学（10% 动作失败概率）的环境中，系统仍能保持较高的成功率（抽象任务为 62.3%）。
系统级集成：在包含低层执行器的完整机器人流水线中，TGPO 实现了组合泛化 (compositional generalization)，能够解决新组合的任务，端到端完成率为 26%，达到了在原始训练任务上全神经策略的水平，且无需依赖特定演示。

5. 重要性与贡献

论文提出了三个主要贡献：

基于学习的子目标形式化：它将长时程规划重新定义为学习生成可验证子目标的策略，超越了静态的基于提示词的分解。
迹线引导策略优化 (TGPO)：它引入了 TGPO，这是一种利用外部迹线纠正来优化在稀疏且多噪奖励下的结构化生成的强化学习算法，解决了中间推理步骤中的信用分配问题。
可扩展的长时程规划：它证明了将学习到的子目标生成与符号规划器相结合，可以在大规模、复杂的环境中实现鲁棒规划，处理抽象指令，性能显著优于现有方法。

作者指出，虽然该方法行之有效，但目前仍依赖于结构化的场景表示（场景图）而非原始视觉输入，并假设存在预定义的符号领域。未来的工作建议解决领域学习/适配以及整合感知不确定性的问题。