💻 computer science

P3: Probabilistic Policy Propagation for Stable VAE-Based Robot Learning

本文引入了概率策略传播（Probabilistic Policy Propagation, P³），这是一种分布感知优化框架，它解决了基于 VAE 的 PPO 中由朴素单样本近似所导致的方差和偏差问题，从而显著提高了数据效率、减少了收敛步骤，并为具有挑战性的人形机器人跑酷任务实现了鲁棒学习。

原作者： Liyun Yan, Jianming Ma, Yang Zhang, Shengcheng Fu, Zhanxiang Cao, Keqi Zhu, Yizhi Chen, Yue Gao

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Liyun Yan, Jianming Ma, Yang Zhang, Shengcheng Fu, Zhanxiang Cao, Keqi Zhu, Yizhi Chen, Yue Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人走过崎岖、难以预测的森林地面。为了做到这一点，机器人需要从混乱的信息流中理出头绪：风吹过传感器的冲击、不平整的地面，以及自身关节的晃动。在机器人领域，这就像是试图在嘈杂拥挤的体育场里听清一场单独的对话。为了解决这个问题，科学家们经常使用一种巧妙的技巧，叫做变分自编码器（VAE）。把 VAE 想象成一个超级聪明的翻译官，它倾听所有嘈于体育场的嘈杂声，并将其总结成一个简洁、清晰的“音符”或“情绪”，以便机器人的大脑能够理解。它将混乱的高维头痛转化为一个紧凑、易于处理的概念。

一旦机器人有了这个清晰的总结，它就需要决定下一步该做什么。这时，**近端策略优化（PPO）**便登场了。如果说 VAE 是翻译官，那么 PPO 就是教练。教练看着翻译官的总结说：“做得好！现在，让我们尝试向前迈一步。”教练通过不断尝试、观察哪些做法有效，并轻轻地引导机器人的行为，从而变得越来越好。这种组合在教机器人走路、跑步甚至做跑酷方面取得了巨大的成功。然而，这里有一个陷阱：因为翻译官（VAE）在设计上具有一定的“模糊性”——它给出的是一个可能的情绪范围，而不是一个确切的事实——所以教练（PPO）有时会感到困惑。这就像教练试图根据翻译官的一个随机猜测来给出指令，而不是基于完整的全貌。

问题所在：猜测情绪

作者 Liyun Yan 及其团队发现的核心问题有点像是在玩一个带有转折的“传声筒”游戏。在标准设置中，机器人的翻译官（VAE）会产生一团可能的“潜在”状态——可以把它想象成机器人可能处于的不同情绪的“云团”。教练（PPO）需要知道机器人在所有这些情绪组合下成功的可能性有多大，才能做出正确的决策。

但旧的方法太懒惰了。由于没有观察整个情绪云团，教练只会从云团中随机挑选一个单一的情绪，并仅根据这一个情绪做出决定。作者意识到这是一个糟糕的主意。如果你随机挑选一个情绪，你可能会得到一个幸运的猜测，也可能得到一个极其糟糕的猜测。这产生了大量的“噪声”和困惑。这就像教练试图通过只听取一名随机球员对比赛计划的看法来训练团队，而忽略了其他所有队员。这会导致机器人学习缓慢、陷入停滞，甚至因为教练总是根据错误的猜测而改变主意，导致机器人忘记如何正确走路。

解决方案：P³（概率策略传播）

为了解决这个问题，团队引入了一种名为 P³（Probabilistic Policy Propagation，概率策略传播）的新方法。P³ 不再仅仅猜测一种情绪，而是足够聪明，能够同时理解整个情绪“云团”。它通过两个巧妙的步骤来实现，就像一个两阶段的训练营。

第一阶段：高效教练（矩匹配）
首先，机器人使用一种称为“矩匹配”（Moment Matching, MM）的方法进行训练。想象一下，教练不仅仅是听取一名球员的意见；相反，他们通过数学方式计算出“平均情绪”和“情绪的分布”，而无需逐一询问每一位球员。这非常快速且非常稳定。它消除了之前让机器人感到困惑的随机噪声。机器人学习得又快又稳，在不被错误猜测干扰的情况下，找到了坚实的前进路径。

第二阶段：现实检查（潜在样本微调）
一旦机器人学会了基础知识并能走得很好，团队就会切换到第二个阶段，称为“潜在样本微调”（Latent Sample Fine-Tuning, LSFT）。现在，他们开始进行真正的硬核训练：他们实际从云团中采样许多不同的情绪，以确保机器人能够应对任何情况，甚至是那些数学模型可能已经平滑掉的奇特情况。这就像教练最终开始倾听整个团队，以确保计划在每种可能的情况下都能奏效。这一步让机器人的行走变得极其鲁棒，并为现实世界做好准备。

结果：更快、更聪明、更可靠

团队在人形机器人（Unitree G1）尝试穿越踏步石、楼梯和缝隙等复杂地形时测试了这种新方法。结果令人印象深刻。

数据效率： 旧方法浪费了大量的训练时间。由于困惑，只有大约 64.6% 的机器人练习尝试实际上是有用的，其余的都被丢弃了。使用 P³ 后，这个数字跃升到了 96% 以上。这就像从一个扔掉三分之二作业的学生，变成了一个几乎利用每一个练习题来学习的学生。
速度： 机器人学习解决最难任务的速度比以前快了 20%。它不仅学会了，而且学得非常高效。
现实世界表现： 当他们把机器人放在真实的地面上（而不只是在计算机模拟中）时，P³ 是明显的赢家。在 10 次测试中，经过 P³ 训练的机器人成功跨越了 8 次踏步石，爬上了 9 次楼梯，并跳过了 10 次缝隙。旧方法表现挣扎，有些甚至连一次缝隙都无法跨越。

为什么这很重要

这篇论文不仅仅是提出了一个小小的改进；它指出了一直以来我们在教机器人时存在的一个根本性缺陷。通过展示“单样本”猜测是如何成为导致学习缓慢和不稳定的罪魁祸首，作者为我们提供了一条清晰的前行之路。他们并没有抛弃 VAE 和 PPO 这一成功的既有框架；他们只是升级了两者沟通的方式。

研究结果表明，通过将机器人的“情绪”视为一团完整的可能性，而不是一个单一的猜测，我们可以构建出学习更快、数据利用率更高、且在走出实验室步入现实世界时更加可靠的机器人。它将一个摇摆不定、依赖猜测的过程，转化为了一个为下一代行走机器奠定基础的坚实科学基础。

技术摘要：用于稳定 VAE 机器人学习的概率策略传播 (P³)

1. 问题陈述

将变分自编码器 (VAE) 与近端策略优化 (PPO) 相结合，已成为学习足式运动的标准框架，尤其是在处理高维、噪声观测和部分可观测性方面。然而，本文指出在 VAE 基础的策略与 PPO 的优化机制之间存在一个根本性的理论不匹配。

在标准的基于 VAE 的 PPO 实现中，策略被定义为潜空间上的边缘分布： $\pi_\theta(a|o) = \int p_\psi(a|z)q_\phi(z|o) dz$ 。现有方法通常使用单个潜样本（ $z \sim q_\phi$ ）来近似这个边缘化策略，以计算 PPO 裁剪机制所需的概率比和 KL 散度。作者认为，这种朴素的单样本近似引入了两个关键问题：

系统性偏差： 它扭曲了对数概率比，导致错误的裁剪决策，从而要么惩罚了有益的动作，要么未能惩罚超出信任区域的更新。
高方差： 有限的潜样本引入了显著的噪声到代理损失（surrogate-loss）的梯度中。这种噪声会使优化过程不稳定，导致训练停滞（特别是在使用 Adam 优化器且策略趋于收敛、动作方差减小时），并阻碍策略有效地降低其动作标准差 ( $\sigma_{act}$ )。

2. 方法论：概率策略传播 (P³)

为了解决单样本近似与真实边缘化策略之间的不匹配，作者提出了 P³ (Probabilistic Policy Propagation)。P³ 是一种分布感知优化框架，它通过执行器网络传播潜分布，以估计边缘化动作似然。

P³ 利用两个共享相同执行器和编码器参数的互补估计器，但两者在处理潜不确定性方面有所不同：

A. 矩匹配 (Moment-Matching, MM) 估计器

机制： MM 不进行采样，而是通过执行器网络解析地传播潜分布的一阶和二阶矩（均值 $\mu$ 和方差 $v$ ）。
实现： 它假设采用对角协方差近似。对于线性层，通过标准的线性变换更新矩。对于非线性激活函数（特别是 ELU），作者基于输入高斯分布推导出了期望和二阶矩的解析表达式。
优势： 这种方法在给定观测条件下是确定性的，消除了有限样本带来的波动。它能提供一个低噪声的信号，实现稳定且快速的初始收敛。

B. 蒙特卡洛 (Monte Carlo, MC) 潜样本估计器

机制： 该估计器评估 $N$ 个独立的潜样本（ $z^{(i)} \sim q_\phi$ ）并在这些样本上计算其似然值的平均值。
优势： 它能够忠实地捕捉完整的潜诱导相关性和分布结构，而无需使用 MM 的对角协方差近似。它对潜不确定性更加鲁棒，这对于从仿真到现实（sim-to-real）的迁移至关重要。
代价： 它会产生随 $N$ 线性增加（ $O(N)$ ）的执行器评估和内存计算成本。

C. 混合训练调度 (LSFT)

默认的 P³ 实例化通过两阶段调度结合了两者的优势：

初始训练： 使用 MM 估计器 训练策略。这消除了潜样本噪声，允许策略快速、稳定地收敛到强力的平台期。
潜样本微调 (LSFT)： 一旦 MM 策略达到平台期，估计器将切换到 MC（使用适中的样本数，例如 $N=15$ ）进行短期的微调阶段。这一步旨在精炼策略对潜不确定性的鲁棒性，并修正由 MM 中的对角近似导致的方差低估问题。

3. 核心贡献

理论识别： 本文识别并从数学上分析了基于 VAE 的 PPO 中的“单样本似然不匹配”问题，证明了该问题如何使 KL 估计产生偏差并放大梯度方差，从而导致训练不稳定。
算法创新： 引入了 P³，通过在执行器中传播潜分布来估计边缘化策略，提供了高效的矩匹配与精确的基于采样的校准之间的选择。
实验验证： 通过广泛的实验表明，与单样本基线和纯采样方法相比，P³ 显著提高了数据效率和收敛速度。

4. 实验结果

作者使用 Isaac Sim 进行训练，并在 MuJoCo/真实世界机器人（Unitree G1）上进行评估，在具有挑战性的人形机器人障碍穿越任务（踏脚石、楼梯、间隙）中对 P³ 进行了评估。

数据效率： 在受控诊断实验中（策略完全相同），标准的单样本 VAE 仅保留了 64.6% 的样本在有效的 PPO 裁剪区间内。相比之下，P³-MM 达到了 100.0%，而带有 LSFT 的 P³ 保持了较高的效率（>96%）。
收敛速度： P³ 在 7,000 个 epoch（MM 阶段）+ 1,000 个 epoch（LSFT 阶段）内达到了高难度地形水平。这比表现最好的纯采样基线（ $N=50$ 的 MC，在 10,000 个 epoch 时收敛）减少了 >20% 的训练步数。单样本 VAE 和低样本 MC 方法在 15,000 个 epoch 的预算内未能收敛。
性能： 在 MuJoCo 迁移中，完整的 P³ 策略获得了最高的总回报 (20.1) 和寿命 (20.0)，优于确定性自编码器基线和表现最好的采样基线 (MC $N=50$ )。
从仿真到现实 (Sim-to-Real)： 在 Unitree G1 机器人上的部署显示，尽管存在运动学差异和高度图漂移，P³ 在踏脚石、楼梯和间隙任务中仍取得了最高的成功次数，证明了其鲁棒性。

5. 重要性与主张

本文声称 P³ 解决了广泛应用的机器人框架中一个“长期存在的优化障碍”。通过使基于 VAE 的策略能够作为连贯的边缘化分布而非单个采样组件进行优化，P³ 将 VAE 式策略学习转化为一个更可靠且可扩展的基础。

作者强调，他们的方法并不要求放弃已被证明有效的 VAE-PPO 范式，而是精炼了其优化机制。这种稳定性与数据效率的提升，被视为在多样化机器人及复杂、部分可观测环境中，更广泛采用基于 VAE 的方法之先决条件。