🤖 AI

Offline Policy Optimization with Posterior Sampling

本文提出了基于后验采样的策略优化（PSPO），这是一种基于模型的离线强化学习方法，它利用贝叶斯推断和约束优化，在有效利用分布外动态的同时防止模型被滥用，从而平衡泛化能力与鲁棒性。

原作者： Hongqiang Lin, Dongxu Zhang, Yiding Sun, Mingzhe Li, Ning Yang, Haijun Zhang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongqiang Lin, Dongxu Zhang, Yiding Sun, Mingzhe Li, Ning Yang, Haijun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向机器人展示一段人类行走的视频来教它走路。这就是离线强化学习的世界：机器人仅从固定的历史数据库中学习，永远无法在现实世界中亲自尝试。

这种方法存在一个重大问题，即**“分布外”（OOD）陷阱**。

问题：“幻觉”陷阱

当机器人试图确定下一步该做什么时，它可能会构想出一个视频中从未出现过的场景（例如踩到一段视频中未显示的冰面）。

风险：如果机器人对世界的内部模型存在细微偏差，它可能会“幻觉”出踩在那块冰上是绝妙的主意，从而导致其撞毁。
旧方案（悲观主义）：为了阻止这种情况，大多数现有方法表现得像一位偏执的家长。它们会说：“如果你不能 100% 确定以前见过这种情况，就假设它很糟糕。”它们会惩罚机器人尝试任何新事物。
- 缺陷：这虽然让机器人保持了安全，但也使其变得畏首畏尾。因为它太害怕踩到“未知的冰”，所以拒绝学习如何走得更好。它为了安全性而牺牲了泛化能力（学习新技巧的能力）。

解决方案：PSPO（基于后验采样的策略优化）

作者提出了一种名为PSPO的新方法。PSPO 不像偏执的家长，而更像一位明智的侦探，它维护着一份“可能性档案”。

1. “多重假设”档案（贝叶斯推断）

PSPO 不是构建一个单一的世界运作模型（这可能是不正确的），而是构建一组模型。

类比：想象你要预测天气。与其只信任一位气象员，不如询问 10 位不同的气象学家。有些人认为会下雨，有些人认为会放晴。
神奇之处：PSPO 不仅仅是取他们的平均值。它会根据你拥有的数据（视频）来判断：“基于我们所见，这 3 位气象学家最可能是对的，但其他人仍有一小部分可能是对的。”这就形成了一个后验分布——一张关于我们对每种可能现实版本确信程度的地图。

2. “过山车”测试（后验采样）

当机器人需要决定做什么时，PSPO 不会询问所有模型的平均值，而是从其“可能性档案”中随机挑选一个模型来模拟未来。

类比：想象你在规划一次过山车之旅。你不是为“平均”轨道设计过山车，而是从你的蓝图库中随机挑选一个具体的轨道设计方案，并在那个特定轨道上测试这次旅程。
为何有效：
- 如果轨道设计很糟糕（一种“幻觉”），机器人会在模拟中撞毁并学到：“好吧，那个主意有风险。”
- 如果轨道设计良好且与数据一致，机器人就会学到：“嘿，这条新路径行得通！”
- 这使得机器人能够探索新的安全路径（泛化），而不会被恐惧瘫痪，因为它一次只承诺一个特定的“假设”场景。

3. “护栏”（约束优化）

为了确保机器人不会过于狂野，PSPO 添加了一道“护栏”。它说：“你可以探索新想法，但不要偏离视频中人类的行为太远。”

这确保了即使机器人尝试新路径，它也会停留在符合物理常识的范围内，防止其利用自身想象中的错误。

结果：勇敢但明智

该论文声称，PSPO 实现了“金发姑娘”式的平衡：

旧方法（悲观主义）：太害怕而不敢行动。擅长安全，但不擅长学习新事物。
PSPO：愿意尝试新事物（泛化），但会通过“可能性档案”进行检查，以确保它们不是危险的幻觉（鲁棒性）。

在实验中：
作者在标准的机器人行走任务（如 HalfCheetah 和 Hopper）以及金融交易模拟（清算资产）上测试了这种方法。

主张：PSPO 击败了现有的最佳方法。它比“偏执”的方法学得更快、更高效，并且在处理金融交易任务时，表现优于那些过于保守的方法。
证明：他们从数学上证明了该方法能保证随时间推移而改进，而不会仅仅陷入糟糕猜测的循环中。

总结

将 PSPO 想象成一名学生利用旧试卷库备考。

旧方法：“我只知道以前见过的问题的答案。如果问题看起来不同，为了安全起见，我会留空不答。”
PSPO 方法：“我脑海中有一个关于老师出题思路的模型。我会构想出老师可能提问的几种不同版本。如果我的答案在大多数版本中都行得通，我就把它写下来。如果它只在一个奇怪、不太可能的版本中行得通，我就跳过它。”

这使得学生能够正确回答新的、棘手的问题，而不会把简单的问题答错。

技术摘要：基于后验采样的离线策略优化（PSPO）

1. 问题陈述

离线强化学习（RL）旨在从固定的历史数据集中学习最优策略，而无需进一步与环境交互。该领域的一个根本性挑战是分布偏移，即学习到的策略偏离了行为策略的支持集，使智能体暴露于分布外（OOD）区域。在基于模型的离线 RL 中，这表现为一个关键权衡：

泛化能力：合成与动力学一致的 OOD 转移有助于价值最大化，并实现超越数据集支持集的泛化。
鲁棒性：这些相同的 OOD 区域引入了模型利用的风险，即策略利用动力学模型中的近似误差来选择错误动作，导致性能崩溃。

现有方法通常通过过度的悲观正则化来缓解模型利用。这些方法基于认知不确定性（例如预测标准差）对 OOD 价值估计施加惩罚，从而将策略限制在数据集支持集内。虽然这确保了鲁棒性，但往往因过度惩罚那些捕捉了底层物理动力学的有效 OOD 转移，而牺牲了泛化能力。本文探讨的核心问题是：一种基于模型的离线 RL 算法能否在不依赖此类悲观主义的情况下，平衡泛化能力与针对模型利用的鲁棒性。

2. 方法论：基于后验采样的策略优化（PSPO）

PSPO 提出了一种基于贝叶斯 RL 框架的无悲观主义范式。PSPO 不再将动力学模型视为单一的点估计，而是将动力学建模形式化为一个贝叶斯推断过程，将转移动力学 $T$ 视为一个随机变量，其具有基于观测到的转移证据 $E$ 的条件后验分布 $P(T|E)$ 。

2.1 贝叶斯形式化与后验构建

PSPO 的核心在于推导一个显式量化模型保真度的后验分布 $P(T|E)$ 。

经验一致性度量：本文定义了一个度量 $F(T)$ ，表示在特定动力学模型 $T$ 下，Q 值与贝尔曼备份之间的平方误差。
最小信息原理：为了更新后验，PSPO 求解一个优化问题，该问题在满足新证据施加的约束（最小化期望 $F(T)$ ）的同时，最小化与先验的 Kullback-Leibler (KL) 散度。这导出了如下形式的后验：
$P(T|E) \propto P(T) \cdot \exp(-\beta \cdot F(T))$
该形式允许算法自适应地将概率质量集中在高保真模型上，同时保持对其他候选模型不可忽略的概率，从而在无需人工干预的情况下确保探索。

2.2 算法框架

PSPO 将后验采样与约束策略优化相结合：

用于轨迹生成的后验采样：PSPO 从后验 $P(T|E)$ 中采样动力学模型以合成转移，而不是平均预测（后者会消除不确定性）。这保留了认知不确定性固有的随机性，有效地实现了汤普森采样的变体。这使得策略能够探索与动力学一致的 OOD 区域。
约束策略优化：为确保稳定性并防止利用，策略优化被分解为一系列约束子问题。目标函数通过相对于参考策略（通常是行为策略）的 KL 散度项进行正则化，从而限制策略更新的幅度。
迭代正则化：算法在以下步骤之间交替：
- E 步：基于当前的 Q 值估计更新后验信念 $P(T|E)$ 。
- M 步：在固定后验下，使用保证单调改进的约束目标来优化策略。

2.3 理论保证

收敛性：后验采样下的 Q 值估计被形式化为一个随机逼近问题。作者证明了基于后验采样的贝尔曼算子是一个 $\gamma$ -压缩映射，且随机目标的方差是有界的。因此，在标准的学习率调度下（通过 Robbins-Monro 定理），估计过程收敛到最优 Q 值（ $Q^*$ ）。
单调改进：策略优化被分解为约束子问题。本文证明，只要 KL 约束足够小，求解这些子问题就能保证原始目标函数 $J(\pi)$ 单调改进直至收敛。

3. 主要贡献

无悲观主义范式：PSPO 区别于以往基于模型的离线 RL 方法，避免了基于不确定性的显式惩罚（悲观主义）。相反，它通过后验采样和约束优化来平衡泛化能力与鲁棒性。
贝叶斯动力学建模：它将动力学模型视为随机变量，并推导出基于经验证据的条件后验，显式量化模型保真度以指导探索。
理论基础：该工作建立了后验采样下 Q 值估计的收敛性，并证明了策略优化过程的单调改进性。
最先进性能：大量实验表明，PSPO 的表现优于现有的最先进（SoTA）基线。

4. 实验结果

作者在标准基准上评估了 PSPO，包括 D4RL 套件（涵盖 HalfCheetah、Hopper 和 Walker2d，包含 Random、Medium、Expert 和 Replay 等各种数据集质量）以及一个具有挑战性的离线最优清算任务。

D4RL 基准：PSPO 在 18 个数据集中有 14 个取得了最高的归一化分数。值得注意的是，它在高质量轨迹有限的数据集（如"Medium"、"Medium-Expert"和"Full-Replay"）上表现出显著的提升。统计分析（配对 t 检验）证实，与最强基线（PMDB）相比，这些改进具有显著性（ $p \approx 0.029$ ）。
最优清算：在一个具有偏差行为策略的高度随机环境中，PSPO 始终表现出优于模型无关方法（如 IQL、ORAAC）和基于模型方法（如 MOPO、COMBO）的稳定性和更高的累积回报，后两者难以收敛。
消融研究：移除后验采样机制（替换为均匀平均）或参考策略正则化均导致性能大幅下降和训练不稳定性增加（标准差更高），验证了这两个组件的必要性。
悲观主义分析：学习曲线显示，PSPO 的模型预测回报始终高于实际性能，且未表现出其他方法中常见的“过度悲观”行为，证实了无悲观主义设计的有效性。

5. 意义与主张

本文主张，PSPO 成功解决了离线 RL 中泛化能力与鲁棒性之间的固有权衡。通过将动力学建模形式化为贝叶斯推断过程，PSPO 使策略能够利用与动力学一致的 OOD 转移进行泛化，同时通过约束优化确保针对模型利用的鲁棒性，这一切都无需诉诸于限制现有方法泛化能力的过度悲观主义。

作者将 PSPO 定位为一个具有理论基础、无悲观主义的框架，它 bridged 了贝叶斯 RL 理论与深度 RL 可扩展性之间的鸿沟。他们提出，这种方法为非平稳或数据受限的离线设置中的策略改进提供了更坚实的基础。未来的工作被确定为可能利用生成模型来学习数据驱动的 informative 先验，进一步减少对手动规范的依赖。