🤖 machine learning

OGPO: Sample Efficient Full-Finetuning of Generative Control Policies

本文介绍了 OGPO，这是一种样本高效的离线策略算法，通过利用改进的 PPO 目标函数和实用的稳定器来缓解价值函数过度利用问题，从而支持对生成式控制策略进行全量微调，实现在多样化机器人任务中的最先进性能，包括在缺乏专家数据的情况下对初始化不佳的策略进行微调。

原作者： Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine, Abhishek Gupta, Hongkai Da, Paarth Shah, Max Simchowitz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个机器人，它通过观察人类执行任务来学习，有点像背熟了教科书的学生。这个机器人使用一种“生成控制策略”（GCP）。不要把这种 GCP 看作是一组简单的指令，而要把它想象成一位富有创造力的艺术家，它一步步地描绘出动作的画面：从模糊的草图开始，不断 refinement，直到画面清晰。

问题在于，这位“艺术家”过于僵化。如果现实世界发生微小变化（例如杯子向左移动了两英寸），机器人可能会失败，因为它太执着于教科书里看到的确切内容。为了解决这个问题，我们需要通过试错（强化学习）来训练机器人。但这样做通常非常昂贵：你必须让机器人在物理世界中尝试、失败并撞毁成千上万次才能学会。

现在，OGPO（离线策略生成策略优化）登场了。

这篇论文将 OGPO 介绍为一种超高效的方法，无需成千上万次的物理碰撞即可训练机器人。以下是它的工作原理，使用简单的类比：

1. 两阶段过程：“梦境”与“现实”

作者意识到，机器人的“艺术家”在两个层面运作：

现实层（环境）： 机器人在真实世界中实际移动手臂。这既缓慢又昂贵，且充满风险（可能会损坏物品）。
梦境层（去噪）： 机器人“想象”动作的内在思维过程，将动作从噪声中提炼为清晰的计划。这纯粹是计算过程——发生在计算机的“大脑”内部，免费且即时。

大多数先前的方法试图直接从“现实”层学习，这非常缓慢。OGPO 的巧妙之处在于它切断了这两者之间的联系。它让机器人从廉价的“梦境”层学习，同时利用一位“裁判”来判断这个梦境是否良好。

2. “裁判”（评论家）

OGPO 保留了一个独立的“裁判”（一个称为评论家的神经网络），它观察过机器人在现实世界中的失败与成功。

当机器人在“梦境”层时，它会生成许多不同的可能动作（就像艺术家绘制 32 幅不同的画作草图）。
裁判审视这些草图，并指出：“这一幅看起来能行，”或者“这一幅会导致撞毁。”
机器人随后根据裁判的反馈更新其“艺术家”风格，而无需为了这些特定尝试再次物理移动手臂。

这就像一位棋手在特级大师教练的指导下练习。棋手可以在脑海中想象 100 种不同的走法，而教练会说：“走法 A 不好，走法 B 很棒。”棋手无需进行 100 场真实对弈，就能瞬间学会。

3. “全微调”的魔力

一些旧方法试图通过仅调整“梦境”的第一步（例如改变初始草图）或在顶部添加一个小的“修正”层来修复机器人。

OGPO 则不同。它更新整个艺术创作过程。它告诉机器人：“不仅你的最终画作错了，你的第一笔草图、第二层阴影和第三笔线条也都略有偏差。”
它使用一种称为PPO（一种标准的 AI 训练方法）的技术来实现这一点，但经过调整，使其能够同时审视整个“梦境”步骤链。

4. 为何意义重大（结果）

论文声称 OGPO 是一个游戏规则改变者，原因有三：

样本效率极高： 它比其他方法学习得快得多，因为它重用旧数据，并且大部分学习发生在“梦境”（计算）中，而非“现实”（物理移动）中。
适用于糟糕的起点： 即使机器人从一个成功率仅为 50%（或仅仅是“还行”）的策略开始，OGPO 也能将其提升至接近 100% 的成功率，而无需任何新的专家人类演示。它纯粹从自身的错误和成功中学习。
处理复杂任务： 论文在以下高难度任务上测试了该方法：
- 将销钉插入孔中（需要高精度）。
- 将工具挂在架子上（需要长程、多步骤规划）。
- 用双臂移动物体（需要协调配合）。
- 灵巧的手部操作（如人手移动一支笔）。

5. "OGPO+" 升级

作者还发现，基本的 OGPO 有时会变得“过度自信”，或者被一个糟糕的裁判误导。因此，他们创建了OGPO+，增加了一些安全网：

成功缓冲区： 它保留一本特殊的笔记本，只记录机器人成功的时刻，并强迫机器人记住这些美好瞬间，防止它在追求速度时忘记如何成功。
保守评判： 它让裁判起初稍微悲观一些，这样机器人就不会因为一次实际上是运气好才成功的“胜利”而兴奋不已。

总结

简而言之，OGPO 是一种新的机器人控制器训练方法，它将机器人内部的“思维过程”视为一个廉价、快速的游乐场。它利用在现实世界数据上训练出的“裁判”来批评机器人的虚拟尝试，从而使机器人仅需极少的物理试验就能学会复杂、高精度的技能。这就像教一位钢琴家演奏协奏曲：让他在脑海中练习，而指挥家纠正他的脑海意象，而不是让他在一架真正的钢琴上错误地敲击琴键一千次。

技术摘要：OGPO——离线策略生成式策略优化

问题陈述

自主机器人操作需要策略既具备对环境变化的鲁棒性，又具备训练时的样本高效性。尽管生成式控制策略（GCPs）——如扩散模型和流模型——已成为机器人学习中强大的参数化方法，但通过强化学习（RL）对其进行微调却面临重大挑战。现有方法在样本效率与策略改进程度之间面临权衡：

部分微调：仅引导初始噪声或学习残差修正的方法具有样本高效性，但难以探索新行为或改善初始化不佳的策略。
完全微调：更新整个生成过程（例如 DPPO）的方法可以实现高性能，但通常属于在线策略，导致样本效率低下且数据成本高昂。
梯度不稳定性：直接通过 GCP 的迭代去噪步骤反向传播以最大化 Q 值，往往会导致梯度爆炸或动作梯度不准确，特别是在接触丰富的任务中。

核心解决的问题是：如何在不过度牺牲探索新行为能力或不需要大量专家数据的前提下，实现 GCP 的样本高效的全策略微调。

方法论：OGPO 与 OGPO+

本文提出了离线策略生成式策略优化（OGPO），这是一种将昂贵的环境交互与廉价的动作轨迹计算生成解耦的算法。

1. 双层 MDP 形式化

OGPO 采用双层马尔可夫决策过程（MDP）框架：

外层 MDP（ $M_{ENV}$ ）：代表环境动力学，在此执行动作并接收奖励。
内层 MDP（去噪 MDP）：代表 GCP 内部的迭代计算步骤（例如流或扩散步骤），用于从初始噪声 $a_{t,K}$ 生成动作 $a_{t,0}$ 。

2. 解耦优化策略

与先前联合优化整个双层 MDP 的在线策略方法（如 DPPO）不同，OGPO 切断了这两个层级之间的联系：

离线策略 Critic 学习：算法利用标准离线策略时序差分（TD）学习，在环境转移的 replay buffer 上为外层环境 MDP 学习 Q 函数（ $Q_{\phi}$ ）。这通过重用环境数据确保了高样本效率。
在线策略策略提取：OGPO 不使用 Q 函数通过 GCP 链反向传播梯度（这很不稳定），而是将去噪轨迹视为状态“上下文”的“响应”。它利用最终执行动作的学习到的 Q 值作为内层去噪 MDP 的终端奖励。
PPO 风格优化：算法在去噪轨迹上应用近端策略优化（PPO）目标。它计算去噪链上的退火重要性采样（AIS）比率，并优化策略以最大化相对于目标策略的优势。这避免了同时对 Q 函数和整个 GCP 链进行微分。

3. 关键技术组件

多轨迹采样：受大语言模型中 GRPO 的启发，OGPO 为 replay buffer 中的每个状态并行采样多条去噪轨迹。这降低了优势估计的方差，并消除了对独立价值网络的需求。
去偏噪声注入：针对基于流的策略，OGPO 对随机微分方程（SDE）推理过程进行了修正。这确保了为探索而添加噪声（以使似然非奇异）不会改变动作的边缘分布，从而保持策略与原始流模型的一致性。
OGPO+ 变体：为了解决 Critic 过度利用以及在离线到在线转换期间的性能下降问题，作者引入了OGPO+：
- 成功缓冲正则化：仅使用成功轨迹添加行为克隆（BC）损失项，将策略锚定在已知的良好行为上。
- 保守优势（OGPO+CA）：使用保守优势估计器，仅当 Critic 集成对优势符号达成一致时才更新策略，从而减轻异常 Q 值估计的影响。
- $\chi^2$ 正则化（OGPO+ $\chi^2$ ）：添加基于当前策略与缓慢更新的参考策略之间 $\chi^2$ 散度的正则化项，以防止对不完美 Critic 的过度优化，特别是在基于像素的领域中。

主要贡献

算法创新：提出了 OGPO，这是第一种通过结合离线策略 Critic 学习与基于去噪轨迹的在线策略 PPO 风格提取，从而实现 GCP样本高效全策略微调的方法。
解耦优化：一种新颖的方法，利用样本成本的不对称性（昂贵的环境步骤 vs. 廉价的计算去噪步骤）进行解耦优化，避免了 GCP 中随时间反向传播（BPTT）的不稳定性。
鲁棒变体（OGPO+）：开发了模块化改进（成功缓冲、保守优势、 $\chi^2$ 正则化），稳定了训练，减轻了 Critic 过度利用，并实现了在 replay buffer 中没有任何专家数据的情况下，从策略进行微调。
全面的实证验证：广泛的实验表明，OGPO 在涉及高精度插入、长视野操作和灵巧控制的多样化任务中，优于最先进基线（包括 DPPO、DSRL、EXPO 和 QC）。

结果

本文在多个基准测试中评估了 OGPO，包括Robomimic（SQUARE、TOOLHANG、TRANSPORT）、Franka Kitchen、Adroit Hand和LIBERO。

样本效率：与 DPPO 等在线策略基线相比，OGPO+ 以显著更少的环境交互实现了最先进性能。在 Robomimic 任务中，OGPO+ 达到最终成功率的速度比 DPPO 快约10 倍。
任务性能：OGPO+ 在具有挑战性的任务中实现了高成功率，包括高精度插入（TOOLHANG）和长视野双手转移（TRANSPORT），而部分微调方法（DSRL、EXPO）在这些任务中往往失败或不稳定。
零专家数据能力：独特的是，OGPO+ 可以在在线 replay buffer 中没有任何专家数据的情况下，仅依靠自收集的经验，将初始化不佳的行为克隆策略微调至接近完全的任务成功率。
探索：可视化（UMAP）表明，OGPO 鼓励流形扩展，允许策略探索初始演示数据支持之外的高价值区域，而 QC 和 DSRL 等基线则倾向于保持在初始分布附近。

意义与主张

本文声称，OGPO 代表了机器人领域生成式策略优化方式的根本性转变。通过将昂贵的环境交互与策略生成过程解耦，OGPO 克服了在线策略方法的样本低效性，同时保留了全策略更新的表达能力。

作者强调，他们的方法是唯一已知的能够仅使用自收集数据（无需大量离线专家演示数据集）将 GCP 从头开始（或从初始化不佳的状态）微调至高成功率的方法。这一能力指向了一个未来，即机器人策略可以在部署期间以最少的人工干预自主改进。这项工作表明，成功的关键不仅在于生成模型架构，还在于提取机制（去噪链上的 PPO 与 BPTT 或引导相比），这使得在复杂、接触丰富的环境中实现稳定、富有表现力且样本高效的学习成为可能。