🤖 machine learning

Gaussian-Mixture-Model Q-Functions for Policy Iteration in Reinforcement Learning

本文引入了高斯混合模型 Q 函数（GMM-QFs）作为策略迭代中 Q 函数损失的通用近似器，利用黎曼优化在实现与深度学习方法相当的竞争性能的同时，显著降低了计算开销。

原作者： Minh Vu, Konstantinos Slavakis

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Minh Vu, Konstantinos Slavakis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器通过试错来学习的世界，就像孩子学习骑自行车或狗学习接球一样。这就是**强化学习（Reinforcement Learning, RL）**的领域。在这个科学领域中，“智能体”（学习者）与环境进行交互，试图弄清楚哪些动作是最优的选择。每当它做出一个动作，它都会得到一个分数：做得好会获得奖励，做错了则会受到惩罚（损失）。其目标不仅仅是获得眼前的优异分数，而是要使整个旅程中的总“痛苦”或成本最小化。为了实现这一目标，智能体需要一张被称为 Q 函数（Q-function） 的心理地图。你可以把这张地图想象成一个水晶球，它会告诉智能体：“如果你在这种特定情况下采取这个行动，你未来将面临的总成本是多少。”

困难之处在于，世界是庞大且混乱的。你无法仅仅写下一份包含所有可能情况及其成本的清单，因为情况实在太多了。因此，科学家们使用“近似器”——即基于模式来猜测成本的数学捷径。长期以来，首选的捷径是深度神经网络（Deep Neural Networks）（现代人工智能背后的“大脑”），它们功能极其强大，但需要海量的数据和计算能力，就像一台超级计算机试图学习一个简单的游戏。另一种方法使用的是高斯混合模型（Gaussian Mixture Models, GMMs），这种模型通常用于描述数据的分布情况，比如绘制人群密度的地图。但如果我们不仅能用这些模型来描述人群，还能直接预测未来的成本呢？这正是本文所探讨的核心问题。

论文的核心思想：一种新型的水晶球

本文介绍了一种教导 AI 智能体如何做出决策的新颖方式。作者 Minh Vu 和 Konstantinos Slavakis 提议使用高斯混合模型 Q 函数（Gaussian-Mixture-Model Q-Functions, GMM-QFs）。为了理解其特殊之处，让我们看看通常的做法。

传统上，当科学家在强化学习中使用 GMM 时，他们将其视为拍摄数据图像的相机。他们会问：“奖励是如何分布的？”并利用 GMM 来估计获得特定奖励的概率。这就像是通过观察雨云的分布来猜测天气。本文认为，这并不是使用该工具的正确方式。他们并没有使用 G

GMM 来描述未来的概率，而是直接将 GMM 作为对未来成本本身的预测。这就像是将天气图换成了直接的预报：“下午 3 点会下雨”，而不是“这里有 90% 的概率会出现雨云”。

作者证明了这些 GMM-QFs 具有极高的灵活性。他们在数学上证明了，只要拥有足够的“原料”（称为高斯分量），这些模型就可以逼近你所能想象到的几乎任何成本函数。这意味着它们有潜力与当今使用的庞大且复杂的神经网络一样出色，但结构却要简单得多。

秘诀所在：数字的几何学

这里涉及一些数学内容，但也非常巧妙。GMM 需要学习三种类型的“原料”：

混合权重（Mixing weights）： 使用每种“原料”的比例。
均值（Means）： 每个原料的中心点。
协方差（Covariances）： 每个原料有多宽或多伸展。

前两者很容易处理，它们存在于普通的平坦空间中。但第三个，即协方差，却很棘手。它是一个描述形状和分布的矩阵，并且有一个特殊规则：它必须始终是“正定的”（这是一个高级说法，意指它必须描述一个有效的、不破损的形状）。如果你尝试使用标准数学来更新这个数值，就像是穿着一双强迫你留在弯曲山丘上的鞋子在平地上行走。你可能会不小心踏出有效形状之外，从而破坏模型。

作者意识到，这些形状所处的空间实际上是一个黎曼流形（Riemannian manifold）。你可以把它想象成一个弯曲的表面，比如气球的皮肤或地球表面，而不是一张平坦的纸。通过将学习过程视为在这个弯曲表面上的行走，他们可以更新模型而永远不会破坏形状的规则。他们使用一种称为**黎曼优化（Riemannian optimization）**的技术，让模型沿着误差的“山坡”向下“滚动”，始终保持在弯曲的表面上。这是该领域的一个新颖转折，为一个标准问题引入了复杂的几何视角。

研究发现：小而强大

团队将他们称之为 算法 1（Algorithm 1） 的新方法与强化学习领域中一些最强大的对手进行了对比测试：

KLSPI 和 OBR： 较旧的非参数化方法，随着学习数据的增加，其速度会变慢且变得越来越沉重。
DQN 和 PPO： 深度学习领域的重量级选手，它们使用拥有数千个参数的庞大神经网络。
EM-GMMRL： 一种以传统概率方式使用 GMM 的方法。

他们在两个经典挑战上进行了测试：

Acrobot（双摆机器人）： 一个双摆机器人，必须通过自身摆动达到直立位置。它具有混沌性且难以控制。
Flappy Bird（飞鸟大战）： 著名的游戏，小鸟必须穿过管道。这需要精确的计时，并处理延迟效应（现在的扇翅动作会影响未来的位置）。

结果如下：
在 Acrobot 测试中，新的 GMM-QF 方法学习解决任务的效果与庞大的深度神经网络（DQN 和 PPO）一样好。然而，效率方面存在巨大差异。深度学习模型需要每层拥有 128 个神经元 的网络以及数千个参数（例如，DQN 有 17,795 个参数）。相比之下，GMM-QF 方法仅通过 50 个高斯分量 就达到了相似的表现，仅产生了 850 个参数。这减少了超过 95% 的计算机需要记忆和计算的内容。

在 Flappy Bird 测试中，GMM-QF 方法再次在长期表现上胜过了竞争对手。虽然深度学习模型起步强劲，但最终陷入了“次优”表现，陷入了循环。而 GMM-QF 方法持续改进，并达到了更低的总体成本（意味着小鸟飞得更久，撞击更少）。

局限性与未来

论文谨慎地指出，这并非适用于所有情况的“万灵药”。该方法依赖于最小化“贝尔曼残差（Bellman residuals）”，这有时会引入轻微的偏差，意味着模型可能无法找到完美的答案，但能找到一个非常好的答案。此外，虽然模型很小，但由于是在弯曲表面（黎曼流形）上更新，如果状态空间（描述情况的变量数量）变得过于庞大，计算更新的数学过程可能会变得非常昂贵。例如，如果你试图从原始视频像素中学习，数学计算可能会变得过于沉重。

然而，作者认为，对于许多标准的控制任务，这种方法提供了一个“甜点区（sweet spot）”。它提供了深度学习的表达能力，而无需庞大的内存占用或海量数据集。他们发现，使用适中的高斯分量数量（如 K=50）通常比使用过多的数量（如 K=500）效果更好，这表明在模型的复杂性方面，“少即是多”。

总之，这篇论文表明，我们并不总是需要超级计算机来教导 AI。通过使用一种巧妙的几何方法来调整一个更简单的概率模型，我们可以构建出学习效率高、占用内存少，且表现能与深度学习巨头旗鼓相当的智能体。这提醒我们，有时解决复杂问题的最佳方式不是建造一台更大的机器，而是更好地理解问题的形状。

技术摘要：用于强化学习策略迭代的高斯混合模型 Q 函数

1. 问题陈述

强化学习（RL）旨在寻找最优策略，以最小化顺序决策问题（通常建模为马尔可夫决策过程，MDP）中的累积成本。一个核心挑战是估计 Q 函数（动作值函数），它代表了在给定状态下采取特定动作的长期成本。

现有方法面临显著局限性：

表格法（Tabular Methods）： 仅对小型、离散的状态-动作空间有效，但在连续或大规模空间中会面临计算上的不可行性。
基于核的方法（KBRL）： 虽然能够近似再生核希尔伯特空间（RKHS）中的 Q 函数，但非参数化方法通常受到“维度灾难”的影响。参数数量通常随观测数据的体积而增加，导致高内存和计算开销，尤其是在非平稳环境中。
深度神经网络（DNNs）： 深度 Q 网络（DQN）提供了强大的非线性近似能力，但需要海量的参数。这使得它们在在线部署时计算密集，容易出现不稳定，并在非平稳现实条件下易于过拟合。
分布强化学习（Distributional RL）： 虽然高斯混合模型（GMM）已被用于对 Q 值的概率密度函数（PDF）进行建模，但这种方法依赖于统计假设（例如，Q 值是随机变量），并且通常使用期望最大化（EM）算法，这类算法对初始化和收敛问题较为敏感。

本文旨在解决对一种具有高表示能力、保持固定模型大小且不随数据量变化的规模，并提供无需深度学习不稳定性或非参数方法数据扩展问题的计算效率的 Q 函数近似器的需求。

2. 方法论

2.1 GMM-Q 函数 (GMM-QFs)

作者提出了一种新型参数化模型，其中 GMM 直接作为 Q 函数的替代物，而非其概率密度函数的估计器。GMM-QF 定义为：
$Q(\cdot) := \sum_{k=1}^{K} \xi_k G(\cdot | m_k, C_k)$
其中：

$K$ 是固定的、用户定义的高斯分量数量。
$\xi_k \in \mathbb{R}$ 是混合权重（与 PDF 建模不同，此处不受约束）。
$m_k \in \mathbb{R}^{D_z}$ 是均值向量。
$C_k \in \mathbb{S}^{D_z}_{++}$ 是正定协方差矩阵。
$G(\cdot | m_k, C_k)$ 是高斯核。

与均值和协方差由数据固定的非参数化方法不同，GMM-QF 将所有参数（ $\xi_k, m_k, C_k$ ）视为可学习变量。这使得无论数据集大小如何，其参数数量都保持固定，从而区别于仅学习权重的标准径基函数（RBF）网络。

2.2 黎曼优化框架

GMM-QF 的参数空间，记作 $\mathcal{M}_K$ ，被识别为一个乘积黎曼流形：
$\mathcal{M}_K = \mathbb{R}^K \times (\mathbb{R}^{D_z})^K \times (\mathbb{S}^{D_z}_{++})^K$
协方差矩阵 $C_k$ 本质上构成了一个黎曼流形（具体而言，是正定矩阵的流形）。作者利用这种几何结构，直接在流形上而非欧几里得空间中进行优化。

学习过程嵌入在标准的**策略迭代（PI）**框架内：

策略评估： 给定策略 $\mu_n$ ，算法最小化数据集 $\mathcal{D}_{\mu_n}[T]$ 上的经验贝尔曼残差损失：
$\hat{L}_{\mu_n[T]}(Q) = \frac{1}{T} \sum_{t=1}^T \left[ g_t + \alpha Q(z'_t) - Q(z_t) \right]^2$
该最小化过程使用黎曼梯度下降（算法 2）执行。梯度被计算后投影到流形的切空间上，并应用回缩映射（具体使用仿射不变度量和矩阵指数），以确保在更新参数的同时使其保持在流形上。
策略改进： 基于估计的 Q 函数贪婪地更新策略： $\mu_{n+1}(s) := \arg\min_{a} Q_n(\zeta(s, a))$ 。

2.3 理论基础

通用逼近性： 本文证明了 GMM-QF 类是连续函数（在 sup-范数下）和平方可积函数（在 $L^2$ 范数下）的通用逼近器。
收敛性分析： 作者建立了 Q 函数估计误差的性能界限。他们证明了在特定假设下（例如，有界损失、充足的数据），估计序列会收敛到最优 Q 函数的一个邻域，其误差由与贝尔曼残差偏差和近似能力相关的项所界定。

3. 核心贡献

直接 GMM 替代物 (C1)： 本文引入了将 GMM 直接用作 Q 函数近似器的创新概念，避免了分布强化学习中所需的统计假设。这种方法不假设 Q 函数是随机变量，也不假设其评估值遵循特定分布。
参数效率 (C2)： 与模型复杂度随数据增加而增加的非参数化 KBRL 方法不同，GMM-QFs 利用固定数量的可学习参数（权重、均值和协方差），这些参数由用户定义的 $K$ 决定。这缓解了内存开销和扩展性问题。
黎曼优化集成 (C3)： 本研究识别了 GMM 参数空间的自然黎曼结构（由于协方差矩阵的存在），并将黎曼优化集成到策略迭代的策略评估步骤中。这是首次将此类几何优化机制应用于标准 PI 方案进行 Q 函数学习。
理论与实证验证： 本文提供了关于通用逼近性和性能界限的严格证明，并通过数值测试展示了相对于先进方法的竞争性能。

4. 实验结果

提出的算法 1（基于 GMM-QFs 的 PI）在两个基准任务上进行了评估：Acrobot 和 Flappy Bird。它与基于核的最小二乘策略迭代（KLSPI）、在线贝尔曼残差（OBR）、深度 Q 网络（DQN）、Dueling Double DQN、近端策略优化（PPO）以及基于 EM 的 GMM RL 进行了比较。

Acrobot（欠驱动机器人）：
- GMM-QFs（当 $K=50$ 时）实现了与 DQN 和 PPO 相当的稳定性能，比 KLSPI、OBR 和 EM-GMMRL 更快地进入低总损失区间。
- 参数效率： GMM-QFs ( $K=50$ ) 仅需 850 个参数，而 DQN 和 PPO 分别需要 17,795 和 35,332 个参数。
- 计算成本： 与深度学习方法相比，GMM-QFs 展示了显著更低的累积计算成本（FLOPs），特别是在使用往往会导致性能下降的“微型”网络配置时。
Flappy Bird（连续动力学，在线设置）：
- 在具有流式数据的在线设置中，GMM-QFs 在长期表现上优于所有竞争对手。DQN 和 Dueling DDQN 初期表现良好，但随着新数据的到达，最终陷入次优性能。
- 鲁棒性： 与 DQN 的 270,338 个参数和 PPO 的 540,163 个参数相比，GMM-QFs 以 4,600 个参数 ( $K=50$ ) 维持了卓越的性能。
- 关于模型大小的观察： 作者指出，在某些情况下 $K=50$ 的表现略优于 $K=500$ ，这表明贝尔曼残差最小化可能存在偏差，即较小的模型可能泛化更好，或者最优 $K$ 取决于任务复杂度。

5. 意义与主张

本文声称 GMM-QFs 为强化学习中既有的非参数核方法和深度学习方法提供了一种计算高效且具有理论依据的替代方案。

可扩展性： 通过固定参数数量，GMM-QFs 避免了非参数化方法随数据增长而产生的内存和计算爆炸。
轻量化部署： 与 DNN 相比，显著减少的参数量使 GMM-QFs 适用于需要频繁重新训练大规模网络的轻量级、实时应用场景。
几何洞察： 该工作建立了 Q 函数识别与黎曼优化之间严谨的数学联系，为利用微分几何进行强化学习开辟了新途径。
性能： 数值测试表明，GMM-QFs 可以在保持极小计算足迹的同时，达到甚至超过最先进深度强化学习方法的性能。

承认的局限性：
作者指出，黎曼优化的计算负担仍随状态-动作维度 ( $D_z$ ) 和分量数量 ( $K$ ) 增加，这可能使得处理高维输入（如原始像素）变得昂贵。他们还承认，最小化贝尔曼残差可能会引入偏差，从而无法实现精确的固定点恢复，且模型选择（选择 $K$ ）仍然是一个实际的挑战。未来的工作拟通过稀疏化和降维来解决这些问题。