🤖 machine learning

Analytic Planning under Uncertainty with Moment Closure

本文提出了一种用于解析模型强化学习的有原则框架，该框架利用高斯转移模型与径向基价值函数之间的相容性原理来推导闭式贝尔曼回溯，从而在不依赖限制性策略结构或随机采样的情况下，实现不确定性下的有效规划。

原作者： Shishir Sharma, Doina Precup

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Shishir Sharma, Doina Precup

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人走路、玩抛接球或平衡一根杆子。为了做好这些动作，机器人需要一个“大脑”，能够观察世界、预测接下来会发生什么，并决定最佳动作。这个领域被称为强化学习（Reinforcement Learning），即智能体通过试错来学习。但现实世界是混乱且不可预测的。如果你推一个手推车，它可能会因为地板上的一处微小凸起而产生略微不同的滑动方式。这种不可预测性被称为不确定性（Uncertainty）。

大多数现代机器人大脑试图通过在脑海中进行数千次“如果……会怎样”的情景演练来处理这种不确定性，就像游戏玩家在模拟器中尝试不同的招式一样。它们掷骰子，观察结果，然后取平均值。这虽然可行，但既慢又充满噪声，就像试图通过只询问少数几个人来猜测人群的平均身高一样。另一些机器人则试图表现得超级自信，忽略这些混乱，假设一切都会完全按照预测进行。这种方式很快，但一旦世界给了它们惊喜，它们就会崩溃。研究人员提出的核心问题是：我们能否构建一个不需要进行数千次混乱模拟，就能完美理解不确定性的机器人大脑？

这篇题为《基于矩匹配的解析规划》（Analytic Planning under Uncertainty with Moment Closure）的论文给出了答案：可以。作者 Shishir Sharma 和 Doina Precup 发现了一种巧妙的数学捷径，让机器人可以使用一个精确的公式来计算情况的“平均未来”，而无需进行数千次掷骰子。

问题所在：猜测带来的噪声

想象你正站在悬崖边。你想知道跳下去是否安全。

旧方法（蒙特卡洛法/Monte Carlo）： 你闭上眼睛，在脑海中想象跳了 100 次。有时你安全着陆；有时你坠落。你统计了多少次幸存，然后除以 100。如果你只想象了 5 次跳跃，你的答案可能会因为想象中的运气不好而产生巨大的偏差。这就是目前大多数 AI 的做法：它们采样、猜测并取平均值。这容易产生“噪声”，意味着机器人可能仅仅因为其随机猜测运气不佳而做出错误的决策。
“过于自信”的方法： 机器人忽略了风力和湿滑的岩石。它假设悬崖是完美的平地。它制定了一个完美的计划，但只要现实中刮起一阵风，计划就会失败。

作者想知道：我们能否利用数学精确地计算跳跃的安全性，从而不再需要猜测或掷骰子？

解决方案：一个神奇的公式

团队开发了一种称为 MoCA（矩兼容解析规划/Moment-Compatible Analytic planning）的方法。他们不再模拟成千上万个未来，而是使用一种特殊的数学方法，将机器人的不确定性视为一个平滑、可预测的云团（高斯分布）。

以下是他们使用的技巧，用简单的类比来解释：

“形状变换”的奖励： 通常，确定最佳动作很难，因为“最佳动作”会根据你具体落在哪一点而改变。这就像试图在一个起伏不定的、不断变化的景观中寻找最高点。作者改变了这个景观。他们设计机器人的“大脑”（具体来说是评估动作价值的部分）具有一种非常特定的、平滑的形状（二次曲线）。这种形状非常可预测，以至于寻找“最佳动作”变得像寻找圆心一样简单。你不需要扫描整个地图，只需要看中心点即可。
“矩”匹配： 一旦“最佳动作”变得容易寻找，机器人只需要知道未来的平均价值。作者将这种平滑的景观与一个可能的未来位置“云团”相匹配。他们发现了一个特别的规则：如果景观的形状和云团的形状以特定方式匹配（他们称之为“矩兼容性”），你就可以使用一个简单的公式来计算平均值。
- 类比： 想象你有一个水桶（不确定性）和一个特定形状的杯子（价值函数）。如果杯子能完美契合水桶，你就不需要一滴一滴地舀水来了解容量。你只需根据水桶的大小和形状使用公式即可。作者找到了这对完美的“杯子与桶”。

研究发现

研究人员在机器人平衡杆（Cartpole）和摆钟（Pendulum）的计算机模拟中测试了该方法。他们加入了“噪声”到机器人的视觉中，使机器人的视觉效果就像隔着一层雾气观察世界。

结果： 新方法（MoCA）学习平衡杆的速度更快，效果也更好。
- 与“猜测型”机器人（蒙特卡洛法）相比，MoCA 更稳定。它不会被模糊的视觉所迷惑。
- 与“过于自信”的机器人（忽略雾气的机器人）相比，MoCA 知道何时该保持谨慎。
- 即使在噪声非常高的环境下，MoCA 依然表现良好，而其他方法则开始失效或出现异常波动。

他们还检查了机器人的“猜测”关于其自身不确定性的准确性。他们发现，机器人的内部“我有多不确定？”的感觉是经过校准的（well-calibrated）。如果它说有 68% 的把握，那么它在实际中确实大约有 68% 的时间是正确的，在整个训练过程中始终紧贴这一标称水平。

为什么这很重要

这篇论文不仅仅是在说“也许这行得通”。在他们的模拟中，他们展示了通过使用这种数学捷径，机器人可以针对不确定性进行高精度的规划，而无需承担运行数千次模拟的沉重代价。

作者承认，这种特定的数学技巧在某些情况下（例如当机器人的世界可以用平滑曲线和云团来描述时）效果最好。他们指出，如果世界变得过于复杂或维度过高，数学计算可能会再次变得繁重。然而，对于许多连续控制任务——如驾驶汽车、驾驶无人机或平衡机器人——这种方法提供了一种既聪明又安全的方式，而无需依靠超级计算机来运行无止尽的模拟。它证明了我们可以教会机器理解未来的“迷雾”，而不至于在其中迷失方向。

技术摘要：基于矩闭合（Moment Closure）的不确定性分析规划

问题陈述

在随机环境中的有效基于模型的强化学习（MBRL）需要能够考虑预测不确定性的规划。传统方法面临以下权衡：

随机采样（Stochastic Sampling）： 现代深度 MBRL 通常依赖于对想象出的展开过程进行采样（蒙特卡洛），以传播不确定性。虽然具有可扩展性，但这会引入显著的目标方差，使得价值估计对采样预算非常敏感，并可能导致不稳定。
确定性近似（Deterministic Approximations）： 将随机模型坍缩为其均值或学习确定性动力学的方法会丢弃预测协方差。当价值函数是非线性时，这会导致系统性偏差。
解析传播（Analytic Propagation）： 虽然解析地传播完整的状态分布是符合原理的，但在历史上，这通常需要受限的策略或奖励结构（例如线性二次型设置）才能保持可处理性。

核心问题在于：是否可以在不依赖这些限制性约束的情况下实现分布感知规划（distribution-aware planning），即通过学习到的随机动力学来计算解析的贝尔曼期望（Bellman expectation）。

方法论：矩兼容解析规划（MoCA）

作者提出了一个框架，将贪婪动作选择的可处理性与预测期望的可处理性解耦。该方法依赖于两个关键的结构组件：

1. 二次动作价值参数化（解耦最大化）

为了避免在随机分布上进行极大化算子（ $\max_{a'} Q(s', a')$ ）的积分所带来的不可处理性，作者利用了二次动作价值参数化（受 NAF 和 BNAF 启发）。

结构： Q 函数分解为：
$Q(s, a) = V(s) - \frac{1}{2}(a - \tilde{\mu}(s))^\top P(s) (a - \tilde{\mu}(s))$
其中 $V(s)$ 是状态价值， $\tilde{\mu}(s)$ 是无约束的贪婪动作， $P(s)$ 是正定曲率矩阵。
效果： 这种结构允许贪婪动作选择以闭式解求解（ $\arg\max_a Q(s,a) = \tilde{\mu}(s)$ ），且最大价值恰好为 $V(s)$ 。因此，贝尔曼回传从对极大化 Q 函数的期望简化为仅对状态价值函数的简单期望：
$y(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}[V(s')]$
这移除了期望中的内层极大化，仅留下计算 $\mathbb{E}[V(s')]$ 的需求。

2. 矩兼容原则（Moment-Compatibility Principle）

剩余期望 $\mathbb{E}[V(s')]$ 的可处理性取决于预测转移分布与价值函数类之间的兼容性。

动力学模型： 环境动力学被学习为一个异方差高斯混合模型（由 $K$ 个模型组成的集成）。为了避免在规划期间进行采样，该集成被近似为一个单一高斯分布，其均值和协方差与混合模型的二阶矩相匹配（捕捉了偶然不确定性和认知不确定性）。
价值表示： 状态价值函数 $V(s)$ 被参数化为高斯径向基函数（RBF）的混合。
解析闭合： 由于预测分布是高斯的，且价值函数是高斯混合，期望 $\mathbb{E}[V(s')]$ 拥有关于分布矩（均值和协方差）的闭式解。这使得贝尔曼目标可以在无需蒙特卡洛采样的情况下精确计算。

学习过程

算法（MoCA）将这些组件集成到离策（off-policy）学习循环中：

动力学学习： 通过在经验回放缓冲区的自助采样（bootstrap resamples）上进行极大似然估计，训练高斯动力学集成模型。
目标构建： 对于每个转移，通过矩匹配聚合集成预测，形成预测高斯 $\mathcal{N}(\bar{\mu}, \bar{\Sigma})$ 。使用 RBF 价值函数的闭式期望来计算贝尔曼目标。
评论家更新： 使用截断双重估计（clipped double estimation）来更新双评论家（以减轻高估偏差）以及解析目标。

核心贡献

解析贝尔曼回传： 本文证明，通过将极大化（通过二次 Q 参数化）与期望解耦，在学习到的随机动力学下实现闭式贝尔曼期望是可行的。
矩兼容框架： 引入了一种设计原则，即价值表示的选择专门用于与预测分布的矩相兼容，从而在不限制策略类的情况下实现解析的不确定性传播。
不确定性感知规划： 该方法确定性地传播预测均值和协方差，消除了目标构建中的蒙特卡洛方差，同时保留了随机建模的优势。

实验结果

实验在受控高斯观测噪声（包括同方差和异方差噪声）下的连续控制任务（倒立摆平衡和单摆摆起）上进行。

对噪声的鲁棒性： 随着观测噪声增加，MoCA 在一致优于基准模型（SAC、BNAF 以及忽略协方差的确定性等效版 MoCA）。它保持了更高的渐近回报和更稳定的学习动态。
解析法 vs. 蒙特卡洛法： 与具有不同样本数（ $K=4, 16$ ）的相同架构的蒙特卡洛变体（MoCA-MC）相比，解析方法（MoCA）实现了更快的收敛速度和更优的渐近性能。蒙特卡洛方法表现出高方差，尤其是在样本量有限时，导致次优的动作选择。
校准： 解析方法产生了经过良好校准的预测不确定性（经验 $1\sigma$ 覆盖率保持在名义水平 68% 附近）和稳定的认知标准差。

意义与主张

本文声称提供了一个原则性的框架，用于在学习到的分布模型下进行规划，从而避免了采样的方差和均值替换的偏差。

稳定性： 通过消除目标构建中的蒙特卡洛噪声，该方法即使在观测噪声增加时也能提供稳定的规划。
通用性： 矩兼容原则并不局限于单一函数形式；高斯-RBF 配对被呈现为一种平衡了可处理性和表达能力的具体实例化。
实用性： 该方法为连续控制中的采样规划提供了一种计算高效的替代方案，证明了解析矩传播可以作为随机展开（stochastic rollouts）的实用替代品。

作者承认了局限性，指出 RBF 实例化在面对高维状态空间时面临着关于基函数数量的“维度诅咒”，并且目前的实现依赖于对角协方差假设以提高计算效率。建议未来的工作探索潜空间表示以扩展该方法。