🤖 AI

Recurrent Structural Policy Gradient for Partially Observable Mean Field Games

本文介绍了循环结构策略梯度（RSPG），这是首个具备历史感知能力的混合结构方法，用于部分可观测平均场博弈，其收敛速度显著快于无模型强化学习，同时发布了 MFAX，这是一个基于 JAX 的平均场博弈研究新框架。

原作者： Clarisse Wibault, Johannes Forkel, Sebastian Towers, Tiphaine Wibault, Juan Duque, George Whittle, Andreas Schaab, Yucheng Yang, Chiyuan Wang, Maike Osborne, Benjamin Moll, Jakob Foerster

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Clarisse Wibault, Johannes Forkel, Sebastian Towers, Tiphaine Wibault, Juan Duque, George Whittle, Andreas Schaab, Yucheng Yang, Chiyuan Wang, Maike Osborne, Benjamin Moll, Jakob Foerster

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个挤满数千人的巨大体育场。在典型的“多智能体”场景中，每一个人都试图弄清楚其他每一个特定的人正在做什么、思考什么以及计划什么。这就像试图解决一个谜题，你需要同时追踪一万个不同朋友的思绪。这既混乱又缓慢，且在计算上是不可能的。

平均场博弈（MFGs） 提供了一种更聪明的方式来观察这群人。你不再追踪个体，而是将人群视为一种单一的“流体”或“天气系统”。你假设每个人都是对人群的整体情绪（即平均值）做出反应，而不是对特定的邻居做出反应。这极大地简化了数学计算。

然而，现实世界是混乱的。通常有两个大问题会破坏这些模型：

“黑箱”问题：有时我们不知道人群移动的确切规则（例如交通模式或股市波动）。我们不得不通过试错来猜测，这既缓慢，又容易导致结果出现剧烈波动。
“雾窗”问题：有时，人群中的人无法看清全貌。他们只能看到一个模糊的信号（例如股价或天气预报），并必须猜测迷雾背后发生了什么。他们需要记住昨天发生的事情，才能理解今天的情况。

论文的方案：RSPG

作者介绍了一种名为**循环结构策略梯度（RSPG）**的新方法。把它想象成一位超级聪明的教练，他既知道游戏规则，又能帮助玩家记住过去。

以下是使用简单类比进行的分解：

1. “混合”教练（结构方法）
以前的方法就像两个极端：

“赌徒”（无模型强化学习）：这位教练告诉玩家只需尝试随机移动并观察结果。它最终会奏效，但耗时很长，且结果不稳定（高方差）。
“计算器”（动态规划）：这位教练完美地知道每一条规则，并计算出每一步的确切结果。它非常精确，但如果人群庞大或规则复杂，计算器就会崩溃，因为可能性太多，无法计数。

RSPG 是一种混合体。它像一位知道游戏规则（即“结构”）的教练，因此可以瞬间计算出移动的可能结果，但他们仍然模拟“天气”（公共噪声）以保持现实性。这使得学习过程比“赌徒”方法快 10 倍。

2. “记忆”升级（循环）
这里最大的创新在于**“循环”**部分。

旧的“混合”教练是失忆症患者。他们只能看当前的时刻。如果人群是对 10 分钟前发生的信号做出反应，失忆症教练就无法提供帮助。
RSPG 教练拥有短期记忆。它记住了公共信号的序列（例如股价历史或感染率）。
诀窍：论文认为，在许多现实世界场景（如金融）中，你不需要记住每个人每一个私人的想法。你只需要记住人群共同看到的公共历史。通过将记忆限制为仅包含这一共享历史，教练保持快速，不会被数学计算压垮。

3. 新游乐场：MFAX
为了测试这一点，作者建立了一个名为MFAX的新数字游乐场。

想象一下构建一个视频游戏引擎。大多数现有引擎要么是“困难模式”（你看不到代码，只能玩），要么是“简单模式”（你可以看到代码，但速度很慢）。
MFAX 是一个灵活的引擎，允许研究人员在“困难模式”（模拟现实世界的混乱）和“简单模式”（利用已知规则计算确切结果）之间瞬间切换。它旨在极其快速，运行在强大的图形处理器（GPU）上，以同时模拟数千种场景。

他们发现了什么？

作者在三个不同的“游戏”中测试了他们的新教练（RSPG）：

线性二次型：一个关于平衡力量的数学密集型游戏。
海滩酒吧：一个智能体（人）希望在酒吧开放时靠近它，但在即将关闭时跑开的游戏。
宏观经济学：一个经济模拟，人们根据利率和工资管理财富和收入。

结果：

速度：RSPG 学习最优策略的速度比标准的“试错”方法快 10 倍。
更智能的行为：由于 RSPG 拥有记忆，它学会了预期行为。
- 在海滩酒吧游戏中：智能体学会了在酒吧关闭之前就离开，仅仅是通过记住时间模式，即使他们看不到时钟。
- 在宏观经济学游戏中：智能体学会了在游戏结束时花钱以操纵价格，这种“失忆”智能体（忘记过去）未能学会的行为。

总结

这篇论文提出了一种在大型群体中训练 AI 的新方法，其中每个人都对人群做出反应。通过结合对规则的了解（以加快速度）与对公共事件的记忆（以处理不确定性），作者创建了一个比以前的方法学习更快、行为更逼真的系统。他们还发布了一个新的、快速的软件工具包（MFAX），以帮助他人构建和测试此类系统。

技术摘要：用于部分可观测平均场博弈的循环结构策略梯度

问题陈述

平均场博弈（MFGs）提供了一个建模大规模群体系统交互的框架，其中个体响应的是他人的聚合分布而非具体身份。然而，MFGs 的算法进展一直受到方差与可扩展性之间权衡的阻碍。无模型强化学习（RL）方法由于基于轨迹的采样而遭受高方差，而精确的动态规划（DP）方法在存在共同噪声（影响整个群体的聚合冲击）时变得不可行。

最近的混合结构方法（HSMs），如结构策略梯度（SPG），通过利用已知的转移动力学来计算个体状态上的精确期望回报，同时采样共同噪声，从而解决了这一问题。这显著降低了方差。然而，现有的 HSMs 仅限于无记忆（马尔可夫）策略和完全可观测环境。它们无法处理具有共同噪声的部分可观测平均场博弈（POMFGs-CN），在这些博弈中，智能体仅接收关于聚合状态的共享部分观测（例如，股票价格、感染率），并且必须基于历史推断潜在的聚合状态 $(\mu_t, z_t)$ 。将 HSMs 扩展到依赖历史的策略传统上极具挑战性，因为历史空间呈指数级增长，使得维护历史分布变得不可行。

方法论

循环结构策略梯度（RSPG）

作者提出了循环结构策略梯度（RSPG），这是首个能够处理 POMFGs-CN 中依赖历史策略的 HSM。

信息假设：RSPG 依赖于假设 6.1（充分公共部分信息）。该假设认为，给定智能体的当前个体状态 $s_t$ 和共享公共观测历史 $o_{0:t}$ ，完整的个体 - 动作 - 观测历史 $\tau_t$ 不提供关于聚合状态 $(\mu_t, z_t)$ 的额外信息。这使得策略可以基于 $(s_t, o_{0:t})$ 而非指数级增长的 $\tau_t$ 进行条件设定。
循环架构：在此假设下，平均场仍然是固定个体状态空间 $S$ $S$ 上的分布，而非历史空间。RSPG 利用循环神经网络（具体为 GRU）将共享观测历史 $o_{0:t}$ $o_{0 : t}$ 编码为隐藏状态 $h_t$ $h_{t}$ 。
- 策略定义为 $\pi(a | s, h_t)$ 。
- 关键在于，隐藏状态的更新独立于个体状态 $s$ ；所有智能体在每个时间步共享相同的循环嵌入，该嵌入仅计算一次并广播。
混合更新机制：RSPG 保留了 HSMs 的方差降低优势：
- 解析平均场更新：平均场 $\mu_{t+1}$ 的演化使用已知转移动力学 $T$ 和当前策略（以循环状态为条件）进行解析计算。
- 蒙特卡洛共同噪声：共同噪声 $z_t$ 通过蒙特卡洛 rollout 进行采样。
- 梯度计算：梯度通过期望奖励和个体状态转移传播，但在平均场更新和环境奖励函数处被阻断（通过 stop-gradient），以确保可行性。

MFAX 框架

为了促进研究，作者引入了MFAX，这是一个基于 JAX 的 MFGs 框架。其主要功能包括：

双重访问模式：支持“白盒”（使用已知动力学进行解析平均场更新）和“黑盒”（基于采样的更新）环境。
效率：以函数形式实现解析更新，避免实例化大型转移矩阵，将内存复杂度降低至 $O(|S| + |S||A|)$ 。
功能：支持共同噪声、部分可观测性、多种初始平均场分布以及 GPU 加速的并行处理。

主要贡献

统一分类法：本文提供了 MFGs 中 DP、RL 和 HSMs 的统一分类，阐明了它们在模型知识和方差方面的各自权衡。
问题形式化：正式定义了具有共同噪声的 POMFGs，强调了在部分可观测性下更新平均场以及保持结构方法可行性的双重挑战。
RSPG 算法：引入了 RSPG，这是首个具有历史感知能力的 HSM。它实现了与无记忆 HSMs 相当的收敛速度（比无模型 RL 快一个数量级），同时支持学习依赖历史的、具有前瞻性的行为。
MFAX 库：发布了一个多功能的、基于 JAX 的框架，区分了解析更新和基于采样的更新，并支持此前难以模拟的复杂 MFG 设置。

实验结果

作者在三个环境中评估了 RSPG 与无记忆 HSMs（SPG）以及无模型 RL 基线（IPPO、RIPPO、M-OMD）的表现：线性二次型、海滩酒吧和宏观经济学。

收敛速度：RSPG 始终比基于 RL 的方法更快地收敛到低可剥削性（衡量接近纳什均衡程度的指标）。在线性二次型和海滩酒吧环境中，RSPG 和 SPG 的收敛速度比 RL 基线快约一个数量级。
历史感知行为：在海滩酒吧环境中，智能体必须预测随机关闭事件，RSPG 学会了在潜在关闭时间之前离开酒吧。无记忆策略（SPG、IPPO）未能表现出这种前瞻性行为。
宏观经济学：在异质智能体宏观经济模型中，RSPG 智能体学会在回合结束时花费财富以操纵利率和工资，展示了无记忆策略所忽略的前瞻性行为。虽然 SPG 和 RSPG 在该环境中达到了相似的可剥削性水平，但 RSPG 识别出了更具行为现实性的均衡。
性能：RSPG 保持了 HSMs 的低方差优势，优于将动力学视为黑盒而遭受高方差更新的 RL 方法。

意义与主张

本文声称，RSPG 通过在不牺牲结构方法的计算可行性和方差降低的前提下实现历史感知学习，填补了 MFG 文献中的一个关键空白。

实际影响：通过允许智能体从共享公共历史（如市场价格、感染报告）中学习，RSPG 使得对经济和社会系统的建模更加现实，在这些系统中，智能体基于推断的聚合状态而非直接观测采取行动。
方法学进步：该工作表明，将记忆限制在共享观测历史上是许多应用的一个充分近似，使得即使在部分可观测性下，平均场也能保持可行。
局限性：作者谦逊地指出，他们并未为这些复杂环境提供收敛到 MFG 纳什均衡的理论保证，因为现有的保证依赖于在此处不成立的假设（完全可观测性、单调性）。然而，实证结果显示所有实验均实现了稳定收敛。

本文结论认为，在 MFAX 框架的支持下，RSPG 为模拟和求解具有共同噪声的大规模部分可观测多智能体系统提供了强大的工具，在速度和行为现实性方面均优于当前的最先进方法。