📊 statistics

Actor-Critic Learning for Extended Mean Field Control with Deterministic Policies

本文提出了一种用于具有确定性策略的扩展平均场控制的无模型、连续时间 Actor-Critic 强化学习框架，该框架利用涉及测度导数的精细化策略梯度公式，为动力学和奖励依赖于联合状态-动作分布的问题实现高效且稳健的解。

原作者： Ziheng Cheng, Xin Guo, Huyên Pham, Yufei Zhang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziheng Cheng, Xin Guo, Huyên Pham, Yufei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大且混乱的舞池，成千上万的舞者在同步律动，但没有单个舞者知道完整的编舞。每个舞者只能看到自己的脚和人群的大致氛围。现在，想象一位“中央编舞师”想要教他们一套完美的舞步，以避免碰撞并共同舞出优美姿态。这就是**扩展平均场控制（Extended Mean Field Control）**的世界。

在这篇论文中，作者们（Ziheng Cheng, Xin Guo, Hüyen Pham, 和 Yufei Zhang）解决了一个棘手的难题：当舞池的规则是一个谜时，如何教这位中央编舞师学习最好的动作？舞者的动作和他们获得的奖励不仅取决于他们所处的位置，还取决于整个群体在何处以及在做什么的整体混合情况。

旧方法 vs. 新方法

此前，研究人员尝试使用“随机策略（stochastic policies）”来教编舞师。这就像是告诉舞者：“在这一刻，有 30% 的概率你应该向左旋转，40% 的概率你应该跳跃，30% 的概率你应该滑动。”这就像是在每一个动作时都掷骰子。作者认为对于这种特定类型的舞蹈来说，这是一个坏主意。为什么？因为当奖励取决于群体的集体行动时，为每个人掷骰子会产生一个极其混乱、难以预测的动作云，这在计算和学习上都非常困难。这就像试图通过为每一滴雨滴掷一次硬币来预测天气一样。

相反，作者提出了一种确定性策略（Deterministic Policy）。这就像是给舞者一个严格、清晰的规则：“如果你处于位置 X 且人群看起来像 Y，那么你必须执行动作 Z。”没有骰子，没有猜测。作者展示了通过坚持这些清晰、直接的规则，其“状态-动作分布”（即人们在哪里以及他们在做什么的地图）就变成了人群当前状态的直接、可预测的反映。这是一条从规则到结果的直线，而不是一个纠缠不清的概率网。

魔法公式：“优势率（Advantage-Rate）”

论文的核心发现是一个新的数学配方，称为确定性策略梯度（deterministic policy gradient）。想象编舞师正在试图改进舞蹈。他们需要知道：“如果我稍微微调一下我的规则，舞蹈会变得多么出色？”

作者推导出了一个公式来回答这个问题，而无需了解舞池确切的物理机制（即“无模型/model-free”部分）。他们引入了一个概念，叫做优势率函数（advantage-rate function）。可以把它想象成一个“计分卡”，它告诉编舞师，考虑到整个人群的行为，某个特定动作比平均动作好多少。

他们证明了，通过观察这个计分卡随着人群移动的变化情况，编舞师可以找到微调规则的完美方向。他们不仅仅是在猜测；他们利用“基于鞅的学习原理（martingale-based learning principle）”在数学上证明了这一点，这是一种高级说法，意指他们找到了一种可靠、公平的追踪进度的方法。

算法：CT-DDPG

为了将此付诸实践，作者构建了一个名为**连续时间深度确定性策略梯度（Continuous-Time Deep Deterministic Policy Gradient, CT-DDPG）**的计算机算法。

以下是他们在模拟中的运作方式：

执行者与评论家（The Actors and Critics）： 他们使用神经网络（计算机大脑）分别作为“执行者”（制定规则的编舞师）和“评论家”（为舞蹈评分的评委）。
人群模拟： 他们模拟了一个由 50 个粒子（舞者）组成的人群，以模仿真实的无限人群。
在实践中学习： 执行者尝试一个规则，人群起舞，评论家评分。评论家不仅仅说“好”或“坏”；它使用新的“优势率”公式来提供关于如何微调规则的具体反馈。
探索（Exploration）： 为了避免陷入枯燥的常规，他们加入了一些“噪声（随机性）”来进行训练。他们测试了两种方式：
- 动作空间（Action Space）： 随机推动舞者的动作。
- 参数空间（Parameter Space）： 随机微调编舞师的大脑（神经网络权重）。

结果：它奏效了吗？

作者不仅写了理论，还通过运行数值实验来观察它是否真的奏效。他们在两个特定的场景下进行了测试：

Cucker-Smale 一致性模型： 一个关于鸟类或鱼类试图聚集成群的模型。他们测试了一个鸟类自然聚集成群的情况（“线性二次/Linear-Quadratic”情形），以及一个交互作用更为复杂的更难的情况（非线性情形）。
- 发现： 在模拟中，他们的新方法（CT-DDPG）比那些依赖预知数学模型的旧方法学得更快、更稳定。即使在使用简单的通用特征来理解人群时，它依然表现良好，而无需了解相互作用的具体物理机制。
- 注意事项： 他们发现，“动作空间”探索（推动舞者）通常比“参数空间”探索（微调大脑）更具鲁棒性，且对随机噪声的大小不那么敏感。
最优清算（Optimal Liquidation）： 一个金融场景，交易员试图卖出大量股票而不导致价格崩盘，同时他知道其他所有人也都在试图卖出。
- 发现： 同样地，该方法高效且稳健。有趣的是，在这种特定的金融案例中，如果调优得当，“参数空间”探索（微调大脑）有时收敛得更快，这表明最佳探索策略可能取决于具体的问题。

总结

这篇论文证明了（通过严密的数学和计算机模拟），使用清晰的确定性规则是教导中央规划者如何管理大规模交互人群的一种强大方式。它避免了将每一个动作都随机化的计算噩梦。

虽然作者展示了这在他们模拟的集群鸟类和股票交易中表现优异，但他们将此呈现为针对这些特定类型问题的一个全新的、高效的框架。他们并不声称解决了宇宙中所有的控制问题，但他们确实展示了这是向连续时间、扩展平均场问题迈出的重要一步，提供了比以往依赖随机策略的方法更好的稳定性以及更快的收敛速度。

技术摘要：用于扩展平均场控制的确定性策略 Actor-Critic 学习

问题表述

本文研究了连续时间扩展平均场控制 (Extended Mean Field Control, MFC) 问题。在这种设定下，中央规划者优化大量同质且相互作用的智能体的集体行为。受控状态遵循一个代表性智能体的 McKean-Vlow 随机微分方程 (SDE)：
$dX^\alpha_s = b(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))ds + \sigma(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))dW_s$
至关重要的一点是，与仅依赖于状态分布的标准 MFC 不同，扩展 MFC 允许漂移项 $b$ 、扩散项 $\sigma$ 以及奖励函数依赖于状态与控制的联合分布，记作 $\mathcal{P}(X^\alpha_s, \alpha_s)$ 。

目标是在容许控制过程上最大化奖励泛函。该领域的一个主要挑战在于问题的无限维特性，即价值函数取决于时间、个体状态以及状态分布。此外，现有的连续时间 MFC 强化学习 (RL) 方法通常依赖于随机（探索性）策略。作者认为，随机策略在扩展 MFC 中面临显著的算法障碍：动作的随机化会改变控制分布，从而破坏生成器相对于策略的线性性质，并使辅助动力学的推导变得复杂。此外，随机策略需要在连续动作空间中进行高频采样和蒙特卡洛近似，导致计算效率低下且不稳定。

方法论

本文提出了一种利用确定性反馈策略的无模型 Actor-Critic 框架。该方法并非在随机核上进行优化，而是在参数化的确定性策略族 $\phi_\theta(t, x, \mu)$ 上进行优化，该策略直接将当前时间、状态和状态律映射到动作。

1. 理论基础

该方法的核心是推导连续时间扩展 MFC 的确定性策略梯度 (DPG) 公式。

无模型敏感度： 作者首先建立了参数化 McKean-Vlasow 动力学的无模型敏感度公式。他们推导了价值函数关于策略参数 $\theta$ 的梯度公式，而无需显式知道漂移或扩散系数。
优势率函数 (Advantage-Rate Function)： 梯度表示为沿状态分布流的涉及优势率函数导数的积分。
局部分解 (定理 3.2)： 一个关键的理论改进是将提升后的价值函数和优势率函数分解为状态、动作以及联合状态-动作分布的局部函数。这种分解产生了一个包含以下内容的策略梯度：
1. 对局部动作的导数。
2. 对控制分布的测度导数项 (measure-derivative term)。
鞅特征化： 作者为这些局部表示建立了鞅条件。这使得价值函数和优势函数可以直接从观测到的状态和控制轨迹中学习，从而绕过了仅从状态律流中学习的需求。

2. 算法：CT-DDPG

基于上述理论结果，本文提出了连续时间深度确定性策略梯度 (CT-DDPG) 算法。

架构： 该算法采用依赖于测度的神经网络。价值函数 $V_\phi$ 和优势率函数 $q_\psi$ 使用神经网络进行近似，这些网络不仅以状态和时间作为输入，还接收状态分布的有限维嵌入（例如，矩或可学习的特征映射）。
Critic 更新： Critic 通过源自鞅特征化的时序差分 (TD) 学习方案进行训练。损失函数强制执行贝尔曼类约束和终端条件。
Actor 更新： 策略通过使用推导出的 DPG 公式（公式 3.22）进行梯度上升更新，该公式利用了局部优势率函数及其导数。
探索： 由于策略是确定性的，探索是通过两种机制外部引入的：
1. 动作空间探索： 向策略选择的动作中添加噪声。
2. 参数空间探索： 扰动策略网络参数。
模拟： 使用粒子近似（Euler-Maruyama 离散化）结合 $M$ 个智能体来模拟 McKean-Vlasow 动力学，以估计经验分布。

主要贡献

面向扩展 MFC 的确定性策略框架： 本文引入了一个专门针对连续时间扩展 MFC 的无模型 RL 框架，避免了随机策略方法（如生成器线性度丢失和高计算成本）的局限性。
新型策略梯度公式： 推导出了一个明确考虑了状态-动作联合分布依赖性的确定性策略梯度公式。这包括一个关于控制分布的新颖测度导数项，这对于扩展 MFC 问题至关重要。
局部优势表示： 通过将价值函数和优势函数分解为局部组件，作者使得能够从个体轨迹而非仅仅从聚合状态流中获得更具信息量的学习信号。
算法实现： 本文提出了 CT-DDPG 算法，集成了粒子近似、依赖于测度的神经网络和 TD 学习，用以解决这些高维、无限维的控制问题。

数值结果

所提方法在两个基准问题上进行了评估：

随机 Cucker-Smale 一致性控制：
- 线性二次 (LQ) 情况 ( $\gamma=0$ )： 尽管没有利用已知的 LQ 结构，但 CT-DDPG 比现有的模型感知基准方法（Actor-Critic 和 Q-Learning）收敛得更快。
- 非 LQ 情况 ( $\gamma=1$ )： 该方法展示了鲁棒性和效率。使用可学习特征映射进行分布嵌入的变体表现出与使用手工设计核特征相当的性能，验证了该方法的模型无关特性。
- 探索： 研究发现，相比于参数空间探索，动作空间探索对噪声尺度调优更为鲁棒，尽管两者在精心调优后都能达到相当的性能。
带有交易拥挤效应的最优清算：
- 该问题显式依赖于控制分布（永久市场冲击）。
- 与基准方法相比，CT-DDPG 表现出卓越的收敛速度和稳定性。
- 在此特定设置下，当调优正确时，参数空间探索显示出优于动作空间探索的潜力，因为动作空间噪声未能充分扰动价格过程的动力学。

重要性与主张

本文声称，所提出的确定性策略方法在连续时间扩展 MFC 设定下，相比于随机策略方法具有显著的计算优势。通过避免对随机核的优化并直接利用确定性策略的推前 (push-forward) 结构，该方法实现了：

提高稳定性： 策略的确定性降低了与随机动作采样相关的方差。
加速收敛： 基于鞅的学习原理和局部优势表示提供了更具信息量的梯度。
无模型能力： 算法在无需了解系统动力学 ( $b, \sigma$ ) 或奖励函数的情况下运行，使其适用于复杂的、真实世界的场景，在这些场景中，模型可能是未知或难以处理的。

作者强调，我们的方法消除了先前工作中存在的限制性假设（例如可分离结构或对控制的显式已知依赖），并为学习控制分布起关键作用的扩展 MFC 问题提供了一个统一的框架。