💻 computer science

A KL-regularization Framework for Learning to Plan with Adaptive Priors

本文介绍了 PO-MPC，这是一个统一的 KL 正则化框架，它将模型预测规划器作为先验融入策略优化中，以使采样策略与规划器分布对齐，从而提高高维基于模型的强化学习中的样本效率和性能。

原作者： Álvaro Serra-Gomez, Daniel Jarne Ornia, Dhruva Tirumala, Thomas Moerland

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Álvaro Serra-Gomez, Daniel Jarne Ornia, Dhruva Tirumala, Thomas Moerland

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人行走、奔跑或在走钢丝上保持平衡。这是**强化学习（RL）**中的一个经典问题，其中智能体通过试错进行学习。

在这篇论文中，作者介绍了一种教这些机器人的新方法，称为PO-MPC。为了理解其独特之处，让我们用一个简单的类比来分解他们解决的问题及其解决方案。

问题：“教练”与“学生”不同步

将机器人的学习过程想象成两个人之间的伙伴关系：

学生（策略）：这是机器人的大脑。它从经验中学习，以决定采取何种动作。
教练（规划器/MPPI）：这是一个强大、超级聪明的计算器，它在脑海中模拟成千上万种可能的未来动作，以找出完美的前进路径。它实际上并不移动机器人，它只是进行规划。

旧方法：
在以前的方法中，“学生”和“教练”有点脱节。

教练会观察当前情况，然后说：“好吧，如果我是你，我会尝试这些特定的动作。”它会生成一份高质量、有前景的动作列表。
学生会观察教练，尝试从该列表中复制最佳动作，然后独自去练习。
故障点：学生往往会偏离教练的建议。它可能会开始尝试教练从未建议过的动作。当学生尝试这些“偏离”的动作时，教练的计算（基于不同的动作）就会变得无用。这就像学生无视老师的教学计划，转而研读随机的维基百科文章；他们可能会学到一些东西，但无法高效地通过考试。

这种不匹配导致机器人学习缓慢，或者陷入不良习惯，特别是在复杂的高维任务中（例如具有许多关节的人形机器人）。

解决方案：“自适应先验”框架

作者提出了PO-MPC（策略优化–模型预测控制）。他们不再让学生和教练各自为政，而是利用一种称为KL 正则化的概念，迫使它们保持同步。

以下是类比：
想象教练不再只给学生一个“最佳动作”，而是给学生一张概率地图。

“你有 90% 的概率应该向左走，10% 的概率应该向右走，几乎 0% 的概率应该向上走。”
学生现在的训练目标是在最大化其得分（获得奖励）的同时，保持与教练的地图接近。

论文引入了一种“旋钮”（称为 $\lambda$ ），用于控制学生必须遵循教练的严格程度：

调低旋钮（低 $\lambda$ ）：学生可以自由探索新事物，即使教练没有建议。这有利于发现新解决方案，但具有风险。
调高旋钮（高 $\lambda$ ）：学生必须非常严格地遵循教练的地图。这既安全又高效，但可能会阻止学生发现更好的动作。
甜蜜点（中等 $\lambda$ ）：作者发现，将旋钮设置在中间是“金发姑娘”区域。学生既获得了教练指导的安全性，又拥有足够的自由度去探索和改进。

秘密武器：“自适应先验”

旧方法还有一个问题。教练的建议存储在几天或几周前的“笔记本”（经验回放缓冲区）中。当学生阅读这些笔记时，教练已经改变了主意，使得旧笔记变得令人困惑且自相矛盾。

作者通过教学生一位新的、简化的老师（即自适应先验）解决了这个问题。

学生不再阅读笔记本中杂乱无章、过时的笔记，而是学习教练当前思维的提炼、纯净版本。
这个“自适应先验”充当了护盾。它过滤掉旧数据的噪音和混乱，为学生提供一个清晰、最新的地图供其遵循。

他们证明了什么？

作者在非常困难的任务上测试了这一新框架，例如让数字人行走、奔跑或单腿保持平衡（这些任务来自DeepMind Control Suite和HumanoidBench）。

结果：

性能提升：机器人学习速度更快，得分高于之前的最先进方法（如 TD-MPC2 和 BMPC）。
解决不可能的问题：在一些其他机器人完全失败的高难度任务中，PO-MPC 机器人取得了成功。
灵活性：他们表明，可以调节“旋钮”（ $\lambda$ ），使机器人根据特定任务的需求，成为谨慎的探索者或大胆的冒险者。

总结

简而言之，这篇论文指出：“要教机器人有效地规划和行动，不要让它的‘思考’（规划）和‘行动’（学习）脱节。使用数学‘胶水’（KL 正则化）和一张清晰、最新的地图（自适应先验）将它们紧密耦合。当你这样做时，机器人会学得更快、更稳定，并能解决比以前更难的问题。”

技术摘要：一种用于自适应先验学习规划的 KL 正则化框架

1. 问题陈述

在基于模型的强化学习（MBRL）中，有效探索仍然是一个关键挑战，特别是在样本效率至关重要的维连续控制任务中。最近的方法，如 TD-MPC 和 BMPC，利用学习到的策略作为模型预测路径积分（MPPI）规划的提议分布。然而，一个根本性的限制源于策略失配：采样策略（ $\pi_{\theta_s}$ ）通常独立于规划器的动作分布（ $\pi_P$ ）进行更新。

这种解耦导致了分布失配，其中自举动作价值函数是在由 MPPI 规划器生成的轨迹上进行训练的（该规划器探索特定的分布），而采样策略则被更新以最大化局部动作价值，这往往使其偏离规划器的分布。这种错位导致价值估计不可靠，特别是在短视界情况下，并损害了长期性能。先前尝试对齐这些分布的方法（例如最小化反向 KL 散度，如 BMPC）由于依赖存储在回放缓冲区中的“过时”规划器样本而遭受高方差，这些样本代表的是过时的规划策略的混合体，而非连贯的当前分布。

2. 方法论：PO-MPC 框架

作者提出了策略优化–模型预测控制（PO-MPC），这是一个将规划器的动作分布视为策略优化中先验的统一框架。PO-MPC 将采样策略学习步骤视为KL 正则化强化学习的一个实例。

核心公式

目标是学习一个采样策略 $\pi_{\theta_s}$ ，在最大化预期回报的同时，保持与自适应先验 $\pi_p$ （源自 MPPI 规划器）的接近。目标函数为：

$J(\pi_{\theta_s}) = \mathbb{E} \left[ \sum_{t=0}^{T-1} \gamma^t \left( r(z_t, a_t) - \lambda \text{KL}[\pi_{\theta_s}(\cdot | z_t) \| \pi_p(\cdot | z_t)] \right) \right]$

其中：

$z_t$ 是潜在状态表示。
$\lambda$ 是控制 KL 正则化强度的超参数。
$\pi_p$ 是策略先验。

关键组件

KL 正则化 RL：该框架将现有方法统一为此公式的特例：
- $\lambda = 0$ ：恢复 TD-MPC2，其中策略仅通过动作价值最大化和熵正则化进行更新。
- $\lambda \to \infty$ ：恢复 BMPC（使用反向 KL），其中策略被约束以模仿规划器的分布。
- 中间 $\lambda$ ：本文探讨了中间值（例如 $\lambda \in [0.1, 9]$ ），以平衡回报最大化和分布对齐。
自适应中间先验（ $\pi_{\theta_p}$ ）：
为了解决直接使用回放缓冲区中过时规划器样本所导致的高方差问题，PO-MPC 引入了一个学习的中间先验。该框架训练一个神经网络 $\pi_{\theta_p}$ 来近似当前的 MPPI 诱导分布 $\pi_P$ ，而不是克隆存储的规划器样本的原始分布（这可能是时变的高斯混合分布）。
- 该先验是从规划器输出中蒸馏而来的，使采样策略的更新免受过时样本方差的影响。
- 该先验可以使用反向 KL（最小化 $\text{KL}[\pi_{\theta_p} \| \pi_P]$ $KL [π_{θ_{p}} ∥ π_{P}]$ ）或前向 KL（最小化 $\text{KL}[\pi_P \| \pi_{\theta_p}]$ $KL [π_{P} ∥ π_{θ_{p}}]$ ）进行训练。
  - 反向 KL：使策略偏向于匹配规划器的特定模式（收敛更快，但探索可能较少）。
  - 前向 KL：使策略偏向于覆盖所有采样分布的支持集（增强探索，但收敛可能较慢）。
算法循环：
训练遵循规划 $\to$ 推断 $\to$ 正则化的循环：
- 规划：MPPI 使用当前的采样策略和价值函数生成轨迹分布 $\pi_P$ 。
- 推断：更新自适应先验 $\pi_{\theta_p}$ 以近似 $\pi_P$ 。
- 正则化：使用 KL 正则化目标更新采样策略 $\pi_{\theta_s}$ ，平衡 Q 值最大化与朝向 $\pi_{\theta_p}$ 的 KL 惩罚。

3. 主要贡献

统一性：该论文在单一理论框架（PO-MPC）下统一了不同的基于 MPPI 的 RL 方法（TD-MPC2、BMPC），阐明了它们的设计选择和关系。
自适应先验：它引入了一个学习的中间先验来替代直接克隆回放缓冲区样本，从理论和实证上证明了这降低了梯度方差并稳定了训练。
灵活的目标：该框架使得探索以前未研究的变体成为可能，特别是调整 KL 强度 $\lambda$ 并为先验选择前向/反向 KL 损失。
最先进性能：与现有基线相比，该方法在高维连续控制任务中实现了更优越的样本效率和最终性能。

4. 实验结果

作者在 DeepMind Control Suite（Humanoid 和 Dog）和 HumanoidBench 的 21 个具有挑战性的连续控制任务上评估了 PO-MPC。

性能提升：具有中间 $\lambda$ $λ$ 值的 PO-MPC 始终优于 TD-MPC2（ $\lambda=0$ $λ = 0$ ）和 BMPC（ $\lambda \to \infty$ $λ \to \infty$ ）。
- 在高维任务（如 HumanoidBench）中，中间 $\lambda$ 值（特别是 $\lambda=1$ 或 $\lambda=9$ ）在最终回报和样本效率方面带来了显著改进。
- 在一些基线未能学习的任务中（例如 HumanoidBench 中的"Balance Simple"、"Slide"、"Stair"），PO-MPC 成功收敛。
中间先验的有效性：使用学习的中间先验（ $\pi_{\theta_p}$ ）达到或超过了使用回放缓冲区中原始规划器样本的性能，证实了更新方差的降低。
损失函数敏感性：训练先验时 KL 损失的选择很重要。前向 KL 在探索密集型任务（如"Stair"）中有益，而反向 KL 在精度关键型任务（如"Balance Simple"）中加速了收敛。
消融实验：结果表明，如果 $\lambda$ 过低（策略失配回报）或过高（过早的模式崩溃），性能会下降，突显了调整这一权衡的重要性。

5. 意义与主张

该论文声称 PO-MPC 代表了基于 MPPI 方法的原则性统一。通过通过 KL 正则化目标和自适应先验显式地对齐采样策略与规划器，该框架：

闭环了规划与策略学习，确保价值函数是在与当前规划器相关的分布上进行评估的。
提高了稳定性，通过减轻回放缓冲区中过时规划样本引入的方差。
推进了连续控制基于模型 RL 的最先进水平，提供了一个灵活的框架，可根据特定任务需求（探索与利用）进行调整。

作者指出，虽然该框架功能强大，但它假设策略为高斯分布，并未充分利用所有模拟轨迹进行价值学习。未来的工作建议将策略分布扩展到高斯分布之外，并自动调整 $\lambda$ 超参数。