💻 computer science

Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation

本文提出了 HiRoC，这是一个层次化后训练框架，通过将高层任务规划与低层动作执行解耦，以克服视觉-语言-动作模型中扁平策略的局限性，从而通过显式的语义引导和强化学习实现鲁棒的长程机器人操控。

原作者： He Kong, Zengjue Chen, Qi Wang, Qianli Xing, Runliang Niu, Peidong Liu, Jiawei Li, Shiqi Wang, Yi Chang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： He Kong, Zengjue Chen, Qi Wang, Qianli Xing, Runliang Niu, Peidong Liu, Jiawei Li, Shiqi Wang, Yi Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图教一个机器人做三明治。你可能会想：“直接告诉它‘去做个三明治’，它自然就会搞定剩下的事。”但对于机器人来说，这就像在没解释如何买彩票、选数字或查结果的情况下，告诉一个人“去中彩票”一样。这就是**视觉-语言-动作（VLA）**模型的领域。可以将这些模型想象成超级聪明的机器人大脑，它们可以通过摄像头观察世界，理解人类语言，并决定做出什么样的物理动作。科学家们一直在训练这些大脑完成简单的任务，比如拿起一个积木块。但现实生活是杂乱且漫长的。做三明治、搭乐高或者整理房间并不是一个快速的动作；这是一个长链条式的步骤，你必须记住刚才做了什么，并计划下一步要做什么。研究人员提出的核心问题是：我们如何教会这些机器人处理长期、复杂的任务，而不至于在中途感到困惑或放弃？

这正是论文《超越扁平策略：用于机器人操控中的具身智能分层后训练》（Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation）所探讨的内容。来自吉林大学和京东的研究团队认为，目前训练机器人的方式过于“扁平”。想象一下，如果你盯着书名并随机输入句子直到故事结束，以此来写一部小说。这就是现有方法在做的事情：它们给机器人一个宏大的指令（比如“打扫房间”），并期望它能自行搞定每一个步骤。问题在于，如果机器人在早期犯了一个微小的错误，它就会迷失方向，并且无法恢复，因为它不知道接下来的具体步骤应该是什么。

为了解决这个问题，该团队提出了一个名为 HiRoC（分层机器人控制）的新系统。他们将机器人的大脑分为两个截然不同的角色，就像项目经理和工人一样：

**项目经理（规划者）**关注大局。它接收复杂的指令（“打扫房间”），并将其分解为一系列小的、可管理的子目标（“捡起袜子”、“把袜子放进脏衣篮”、“捡起书”、“把书放进书架”等）。
**工人（执行者）**只关心当前的子目标。它不担心整个房间，它只专注于眼下的“捡起袜子”。

论文指出，这种“分而治之”的方法比旧有的“扁平”方式要好得多。然而，这里有一个陷坑：最初训练工人时，它是听从大指令的，而不是听从小的子目标。如果你只是把一份清单交给工人，它会感到困惑，就像一位只知道如何做一整顿饭，却从未被告知只需“切洋葱”的厨师一样。

为了解决这个问题，作者开发了一种特殊的训练程序。首先，他们教会了经理如何制定好的清单。然后，他们重新训练了工人，使其能够理解这些特定的清单，从而解决了困惑问题。最后，他们让工人在虚拟世界中进行练习，获得的反馈（奖励）不仅来自于完成整个任务，还来自于在每个小步骤上的出色表现。

他们的实验结果非常令人振奋。当他们在各种机器人任务上测试 HiRoC 时，它始终优于其他顶尖方法。在一组长期的复杂任务中，他们的系统实现了 98% 的成功率，这与其它方法约 83.5% 的平均水平相比是一个显著的飞跃（平均提升了 10.06%）。他们还在一个真实的模拟场景中测试了系统，即机器人需要将修正液放入盒中，结果运行完美，无需额外调整。

作者强调，这不仅仅是一个魔术，而是一种结构化的思维方式。通过将“规划”与“执行”分离，机器人处理长期、多步骤工作的能力得到了极大提升。虽然他们承认这目前仍是基于模拟环境的成功，且现实世界的物理规律可能难以预测，但论文强烈表明，赋予机器人一个“分层式”的大脑——一个能够将大问题分解为小的、可解决的部分的大脑——是让它们真正融入我们日常生活并发挥作用的关键。

技术摘要：面向具身智能体的分层后训练框架 (HiRoC)

问题陈述

视觉-语言-动作（VLA）模型通过统一视觉感知、语言理解和动作生成，在机器人操控领域展现出了巨大潜力。然而，现有的后训练方法主要将 VLA 模型视为扁平策略（flat policies），即直接将全局任务指令映射为低层级动作。这种方法在现实场景中面临显著局型限制：

缺乏显式的任务进展建模： 扁平策略在整个执行过程中维持相同的全局指令，未能显式地对复杂、长程任务中的阶段性结构进行建模。
误差累积： 由于缺乏中间语义锚点（子目标），微小的执行偏差会随时间累积，导致决策性能下降或任务失败。
分层学习效率低下： 虽然存在分层方法，但它们通常依赖于从离线演示中进行监督学习，难以通过在线交互来提升执行能力。此外，现有的在线强化学习（RL）方法仍然是在优化扁平策略，而非优化“规划器-执行器”这种分层结构。

核心挑战在于创建一个能够有效解耦高层规划与底层执行，同时确保两个模块高效协作且不会产生分布失配（distribution misalignment）的后训练框架。

方法论：HiRoC 框架

作者提出了 Hierarchical Robotic Control (HiRoC)，这是一个集成了任务分解、规划器-执行器对齐以及在线强化学习的分层后训练框架。该框架由两个主要模块组成：高层规划器（Planner）和底层执行器（Executor）。

1. 通过监督微调（SFT）训练规划器

规划器负责根据当前观测结果，将全局任务指令分解为可执行的中间子目标。

数据准备： 作者重新组织了现有的多模态数据集（例如来自 VLA-OS），创建了一个干净且一致的数据集 ( $D_{plan}$ )，其中轨迹被标注了紧接其后的子目标。
优化： 规划器（基于 Qwen2.5-VL 等 VLM 主干网络）通过 SFT 进行训练，旨在根据当前多模态状态 ( $s_t$ ) 和之前的子目标标记序列来预测下一个子目标标记序列。
冻结： 一旦完成训练，规划器在随后的 RL 微调阶段将被冻结，以保留其任务分解能力并防止分布偏移。

2. 通过 SFT 和 RL 微调训练执行器

执行器根据规划器提供的当前子目标生成低层级动作。

解决分布失配（DM）： 一个关键挑战是，预训练的 VLA 是针对全局目标而非中间子目标进行优化的。直接将规划器与预训练执行器耦合会导致由于分布失配而产生的“冷启动”问题。
- 解决方案： 作者将轨迹数据重新组织为以子目标为条件的样本（ $s_i, l_i, a_i$ ），并在执行器上进行子目标条件 SFT。这使得执行器的策略在 RL 开始前能与规划器的输出保持一致。
在线强化学习（RL）： 在冻结的规划器引导下，执行器通过与环境的在线交互得到进一步优化。
- 分层 GRPO： 作者引入了一种结合了全局和局部学习信号的**群体相对策略优化（Group Relative Policy Optimization, GRPO）**目标函数。
  - 全局优势（ $A_{task}$ ）： 源自完整轨迹的累积奖励。
  - 局部优势（ $A_{sub}$ ）： 源自展开（rollout）过程中在中间子目标上取得的进展。
- 加权集成： 最终的优势信号（ $\hat{A}_i$ ）是全局优势和局部优势的加权和。权重（ $w_t, w_s$ ）根据每条轨迹的平均子目标数量和轨迹长度进行自适应平衡，从而确保不同复杂度的任务都能获得适当的监督。
- 策略更新： 执行器使用类 PPO 的截断式 Actor 目标进行更新，在优化动作标记概率比的同时限制策略偏差。

核心贡献

HiRoC 框架： 提出了一种分层后训练框架，明确分离了高层任务规划与底层动作执行，实现了结构化推理和鲁棒的长程操控。
协同训练策略：
- 分布对齐： 通过子目标条件 SFT 阶段，弥合了规划器生成的子目标与执行器执行之间的差距，缓解了冷启动问题。
- 分层 RL 目标： 一种新型的 GRPO 公式，共同利用任务级（全局）和子目标级（局部）的学习信号，为策略优化提供更具结构性的指导。
实验验证： 在多种机器人操控基准测试中展示了持续的性能提升。

实验结果

作者在 LIBERO 基准测试（包含 Goal, Spatial, Object, 和 Long 系列）以及 LIBERO-Plus 泛化套件上对 HiRoC 进行了评估。

整体性能： HiRoC 达到了 SOTA（最先进）水平，超越了包括扁平 VLA 策略（OpenVLA）、其他基于 RL 的方法（VLA-RL, TGRPO）以及基于世界模型的方法在内的强力基线模型。
- 在 LIBERO-Long 系列中，HiRoC 实现了 98% 的成功率，显著优于基线模型，证明了分层控制在处理复杂任务时的有效性。
- 与基线相比，该方法在各项基准测试中平均提升了 10.06%。
泛化能力（零样本）： 在引入了七种扰动类型的 LIBERO-Plus 上，得益于其将目标分解为可管理子目标的能力，HiRoC 展示了比基于 SFT 的模型和世界模型更优越的泛化性能。
消融实验：
- 去除规划器（w/o Plan）会导致性能大幅下降，证实了显式任务分解的必要性。
- 去除分布失配（DM）预训练会导致严重的冷启动并降低最终性能。
- 去除局部 GRPO（w/o L）表明，虽然全局 GRPO 是主要的，但局部子目标信号提供了补充性的改进。
现实世界迁移： 在物理机器人平台上的实机实验成功部署了训练好的策略，无需额外微调，验证了该框架在实际应用中的可行性。

意义与主张

论文声称 HiRoC 解决了扁平 VLA 策略在处理长程、多阶段机器人任务时的根本局限性。通过通过规划器-执行器层次结构显式建模任务进展，并通过针对性 SFT 和分层 RL 解决分布失配问题，HiRoC 使智能体能够执行鲁棒且具备自我纠错能力的操控任务。

作者强调，虽然目前的工作侧重于分层后训练，但未来的研究方向包括探索端到端训练以及更鲁棒的分解机制，以应对物理系统中的不确定性。这项工作凸显了将分层任务分解与基于强化学习的策略优化相结合，对于推动通用机器人操控技术发展的重要性。