🤖 machine learning

Sparse Gaussian-Mixture-Model Q-Functions via Hadamard Overparametrization for Online Reinforcement Learning

本文介绍了一种在线、离策略强化学习框架，该框架利用哈达玛过度参数化（Hadamard overparametrization）来推导出稀疏且具有可解释性的高斯混合模型 Q 函数，从而实现高效的黎曼优化，并比深度强化学习方法获得更优的参数效率和泛化能力。

原作者： Minh Vu, Konstantinos Slavakis

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minh Vu, Konstantinos Slavakis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人不再仅仅遵循僵化的说明书，而是像孩子学习骑自行车一样通过实践来学习。这就是**强化学习（Reinforcement Learning, RL）**的领域——这是人工智能的一个分支，其中的智能体（agent）通过与环境交互、尝试不同的动作，并从获得的奖励或惩罚中学习。其目标是找到最佳策略，以实现长期幸福感（或得分）的最大化。为了做到这一点，智能体需要一张“地图”，展示在每种情况下每一种可能的移动有多好。在人工智能的世界里，这张地图被称为 Q函数（Q-function）。

长期以来，绘制这些地图一直很困难。如果世界很简单，你可以直接把所有可能性写成一张巨大的列表。但如果世界是复杂且连续的——比如一架穿梭在森林中的无人机，或是一辆在高速公路上行驶的汽车——这个列表会变得庞大到无法想象。因此，科学家们开始使用被称为**深度神经网络（Deep Neural Networks）**的“黑盒”工具来预测这张地图。这些工具功能强大，但它们也非常沉重、消耗计算资源，且难以理解；你无法轻易看出为什么网络决定某个动作是好的。另一方面，虽然也有更简单、更透明的模型，但它们往往难以跟上实时学习的速度和混乱程度。核心问题在于：我们能否构建一个既快速、轻量化又易于理解，且不牺牲智能的学习智能体？

本文介绍了一种构建这些学习地图的巧妙新方法，称为稀疏高斯混合模型 Q 函数（Sparse Gaussian-Mixture-Model Q-Functions, S-GMM-QFs）。可以将智能体的思维想象成一群“专家”的集合，其中每个专家都是一个简单的、呈钟形曲线的函数（高斯分布），负责处理世界的特定部分。作者并没有强迫智能体预先选择固定数量的专家，而是给了它一个拥有 500 个潜在专家的庞大资源池，以及一个名为**哈达玛过度参数化（Hadamard overparametrization）**的特殊“魔力橡皮擦”。随着智能体的学习，这个橡皮擦会自动擦除那些没用的专家，只留下真正重要的那部分。

结果是，该模型最初拥有一个庞大且灵活的大脑，但随后会迅速修剪成一个精简、高效的大脑。作者在类似视频游戏的挑战（如将航天器降落在月球上以及让小鸟飞过管道）中测试了这一方法。他们发现，这种新方法学习的速度与沉重的“黑盒”深度学习模型一样快，甚至更快，但使用的计算资源却极少。最棒的是，由于剩余的专家是具有清晰位置和大小的简单形状，我们可以观察模型并准确看到它将注意力集中在何处。这就像是将一个神秘、无法解释的超级计算机，换成了一支专业、透明且你可以与之交流的向导团队。

核心思想：专家的花园

为了理解其运作方式，让我们想象智能体正在尝试学习一款新游戏。过去，科学家尝试过两种主要方法。第一种是使用一个巨大的、稠密的神经网络——一个拥有数百万个连接的“黑盒”。这就像雇佣了一支庞大且匿名的士兵军队来解决问题。虽然有效，但成本高昂、更新缓慢，而且你不知道哪位士兵在承担重任。第二种方法是使用一个由固定且少量组件组成的简单模型。这就像雇佣了一个精简的专业团队。它快速且廉价，但如果团队规模太小，他们可能会错过游戏的关键细节。

本文作者决定尝试第三条路径：先做大，再变聪明。

他们创建了一个模型，该模型始于一个拥有 500 个“高斯专家”的庞大资源池。每个专家都是一个简单的数学形状（钟形曲线），代表游戏世界的一个特定区域。例如，一个专家可能知道如何处理“屏幕左侧”，而另一个专家可能知道如何处理“快速坠落”。最初，模型拥有所有 500 个活跃的专家，随时准备提供帮助。

奇迹就在这里发生。作者使用了一种名为哈达玛过度参数化的技术。用通俗的话说，与其给每个专家的重要性打一个单一的分数，不如将其分解为三个较小数字的乘积。想象一下，每个专家的重要性是三位不同评委投票的结果。如果其中任何一位评委投了“零票”，那么该专家的总重要性就会变为零。

随着智能体从经验中学习（例如降落在月球或撞上管道），它会调整这些评委的投票。其“魔力”在于，这种设置自然地将无用专家的投票推向零。这就像一个花园，你种下了 500 颗种子。随着季节变换（智能体学习），不适应土壤的植物会自然枯萎，留下最强壮、最相关的植物。模型不需要人类介入去手动修剪弱枝；学习过程本身就在进行修剪。

为什么这很重要：速度、智能与清晰度

论文在两个著名的挑战任务上测试了这一想法：月球着陆器（Lunar Lander）（降落航天器）和Flappy Bird（穿越管道）。他们将这种新的“修剪”方法与目前领域内的标准——重型深度神经网络（如 DQN 和 PPO）进行了对比。

结果令人惊讶且充满希望。在这些模拟实验中，新方法达到了与大规模深度学习模型相当甚至更高的性能。但真正的胜利在于效率。虽然深度学习模型需要大量的计算机计算量（以 FLOPs 衡量）来进行学习，但新方法在学习效果同样出色的同时，使用了显著更少的资源。例如，在 Flappy Bird 游戏中，新方法达到高分的速度比深度学习模型快得多，后者似乎在应对游戏的延迟奖励时显得有些吃力。

或许最令人兴奋的部分是可解释性。在使用深度神经网络时，如果智能体犯错，很难知道原因。它是一个黑盒。但在这种新方法中，由于模型会修剪到只剩下少数特定的“专家”，我们可以观察剩余的专家并看到它们的具体作用。论文显示，幸存的专家与游戏的重要部分完美契合。对于月球着陆器，专家聚集在着陆平台和障碍物周围。这就像智能体在说：“我关注这些特定区域，因为那里才是行动发生的关键。”这种透明度是深度学习模型在没有复杂额外工具的情况下无法提供的。

局限性与未来

当然，没有任何魔法是完美的。作者谨慎地指出，当“世界”不是太大时，这种方法效果最好。如果状态空间（智能体需要追踪的事物数量）变得过于庞大——例如，如果智能体需要处理来自摄像头的原始图像——由于模型处理形状和曲线的方式，数学计算会变得过于沉重。论文指出，目前该方法最适合处理复杂度适中的问题，而非高清晰度的原始视频流。

然而，作者已经在展望未来。他们建议，这种方法可以与其他技术结合，以处理那些更大、更混乱的世界。他们还注意到，虽然目前的测试是在具有离散动作（如“跳跃”或“不跳”）的游戏上进行的，但其数学逻辑也可以被改编用于连续动作（如“稍微向左转向”）。

最后，这篇论文为人工智能领域中“越大越好”的思维模式提供了一个令人耳目一新的替代方案。它表明，通过从大量、灵活的简单想法库开始，并让学习过程自然地筛选出最佳想法，我们可以构建出不仅强大高效，而且透明易懂的智能体。它提醒我们，有时，人工智能能做的最聪明的事情就是知道该“不去思考”什么。

技术摘要：通过 Hadamard 过参数化实现用于在线强化学习的稀疏高斯混合模型 Q 函数

问题陈述

强化学习在在线、离策（off-policy）设置中面临着重大挑战，特别是在模型表达能力、计算效率与可解释性之间的权衡问题。传统的表格法在连续状态-动作空间中失效，而无参数核方法则随着数据的积累面临模型规模无限增长和高内存开销的问题。相反，深度强化学习（Deep RL）方法（如深度 Q 网络 DQN）提供了强大的表示能力，但依赖于拥有数百万参数的大型“黑盒”架构。这些深度模型在实时更新时计算成本高昂，在非平稳环境中难以应对分布偏移，且缺乏内在的可解释性。此外，现有的深度网络稀疏化技术（如剪枝或稀疏训练）通常无法在生存连接与输入空间的几何结构之间建立明确的联系，从而限制了其透明度。

本文旨在解决开发一种轻量级、可解释且可扩展的 Q 函数近似器的问题，该近似器能够在保持几何一致性和低参数机制下适应流式、非平稳数据。

方法论

所提出的框架在在线、离策策略迭代（PI）方案中引入了稀疏高斯混合模型 Q 函数（S-GMM-QFs）。该方法集成了三个核心组件：

GMM-QF 公式化：
不同于对 Q 值进行概率密度建模（如分布强化学习中所做的那样），Q 函数被直接近似为多个多元高斯分量的加权和：
$Q(s, a) = \sum_{k=1}^K \xi_k(a) G(s | m_k, C_k)$
其中 $\xi_k(a)$ 是可学习的权重， $m_k$ 和 $C_k$ 分别是第 $k$ 个高斯分量的均值和协方差。参数空间是欧几里得空间与对称正定（SPD）矩阵流形的笛卡尔积，继承了自然的黎曼流形结构。
用于稀疏化的 Hadamard 过参数化：
为了避免 $\ell_p$ 范数的非光滑性（这与黎曼优化不兼容）以及预设分量数量 $K$ 的困难，作者采用了 Hadamard 过参数化。权重矩阵 $\Xi$ 被分解为 $J$ 个辅助矩阵 $\Upsilon_j$ ，使得 $\Xi = \Upsilon_1 \odot \Upsilon_2 \odot \dots \odot \Upsilon_J$ 。
- 光滑正则化： 对因子 $\Upsilon_j$ 应用光滑的 Frobenius 范数惩罚。这在不使用不可微阈值的情况下，诱导了 $\Xi$ 乘积中的隐式稀疏偏差。
- 自适应剪枝： 模型从一个较大的分量池（ $K$ ）开始，并自适应地识别有意义的分量。无信息的分量会被驱动至微不足道的权重，从而在训练期间实现模型的有效剪枝。
黎曼优化与经验回放：
- 优化： 策略评估步骤使用黎曼梯度下降（具体为 RAdam 的黎曼扩展）来最小化贝尔曼残差（Bell-residual, BR）损失。该过程通过重构映射（retraction mappings）处理协方差更新，并通过平行移动（parallel transport）处理动量，从而尊重 SPD 流形的几何约束。
- 经验缓冲池： 为了处理离策学习和分布不匹配，利用了经验缓冲池。本文提出并评估了两种新型采样策略来替代标准的重要性采样（IS）权重，因为后者在结构上与黎曼更新不兼容：
  - 基于频率的优先级衰减： 一种惩罚过度采样转换的机制，旨在平滑分布而不扭曲流形几何。
  - 在线聚类： 一种基于多样性的策略，通过在状态-动作转换的簇之间强制执行相等的采样配额，确保对特征空间的广泛覆盖。

主要贡献

本文概述了四个主要贡献：

(C1) 在线离策框架： 将 GMM-QFs 从离线、在策（on-policy）设置扩展到在线、离策 PI 框架。这协调了流式、非平稳数据与参数空间的黎曼结构，并通过专门的经验缓冲池主动缓解分布不匹配问题。
(C2) 通过 Hadamard 过参数化实现的稀疏 GMM-QFs： 引入了 S-GMM-QFs，它通过光滑正则化实现可解释的稀疏化。与深度 RL 的稀疏化不同，这种方法允许分量根据任务结构进行演化，产生其中每个生存分量的几何角色（均值和协方差）都被显式编码的稀疏模型。
黎曼优化： 详细说明了针对 GMM-QFs 特定流形结构的黎曼梯度和更新计算（包括平行移动和重构），从而实现稳定的在线学习。
新型回放策略： 提出了频率衰减缓冲池和聚类缓冲池，以解决标准重要性采样权重与黎曼优化不兼容的问题，从而增强了探索能力和采样效率。

结果

在两个连续控制基准测试 Lunar Lander 和 Flappy Bird 上进行了数值实验。

性能对比 Deep RL： S-GMM-QFs 达到或超过了 Deep RL 基线（DQN, PPO）及其稀疏变体（Pruned, SET, RigL）的性能。值得注意的是，S-GMM-QFs 在每个观测到的转换中实现了更快的提升。
参数效率： 在稀疏化 Deep RL 方法性能显著下降的低参数机制下，S-GMM-QFs 保持了强大的泛化能力。稀疏模型以远低于密集 Deep RL 模型达到相似平台所需的参数量，实现了峰值性能。
计算效率： 在以累积浮点运算次数（FLOPs）衡量时，S-GMM-QFs 展示了卓越的效率。稀疏化过程降低了训练期间黎曼重构和梯度计算的计算成本，使得模型能以比密集对应模型低几个数量级的 FLFLOPs 达到最优性能。
可解释性： 对学习到的高斯分量的可视化显示，S-GMM-QFs 集中在与最优策略的状态访问密度相一致的一小部分分量上。与深度网络中不透明的稀疏性不同，S-GMM-QFs 中生存的成分提供了透明的、关于 Q 函数结构的几何解释，无需使用事后归因工具。
缓冲策略： 提出的“公平衰减”和“聚类”缓冲池在特定语境下优于标准的均匀采样和优先经验回放（PER）。聚类策略在延迟奖励任务 Flappy Bird 中特别有效，而公平衰减在密集奖励任务 Lunar Lander 中表现出色。

意义与主张

本文声称，所提出的框架为在线设置提供了一种原则性的替代方案，特别是在可解释性和计算约束至关重要的场景下。通过利用参数空间的几何结构和光滑过参数化，该方法找到了一个“甜点区”，即参数效率与可解释性相结合，从而在稀疏化 Deep RL 方法失效的机制中保持强大的泛化能力。

作者强调，S-GMM-QFs 不仅仅是应用于训练后的模型压缩技术，而是一种动态学习机制，它在训练早期就将表示冗余转化为性能。模型的几何自我记录——即生存的分量显式映射到状态空间的区域——提供了在黑盒神经网络中无法实现的透明度。

本文承认了局限性，指出黎曼操作的立方计算复杂度（ $O(D_s^3)$ ）目前限制了该方法仅适用于中等维度的状态，使其在没有状态表示学习的情况下不适用于原始的高维感官输入（如图像）。未来的工作方向是针对连续动作的 Actor-Critic 扩展以及在线状态表示学习。