⚡ electrical engineering

Heterogeneous Learning in Zero-Sum Stochastic Games with Incomplete Information

本文引入并分析了具有不完全信息的零和随机博弈中的异构学习方案，通过随机逼近和常微分方程（ODE）分析，证明了具有不同学习模式和理性水平的智能体可以收敛至特定的动力学过程，并将其应用于建模攻击者与防御者之间的安全博弈。

原作者： Quanyan Zhu, Hamidou Tembine, Tamer Basar

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Quanyan Zhu, Hamidou Tembine, Tamer Basar

原始论文采用 CC BY 3.0 许可（http://creativecommons.org/licenses/by/3.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场高水平的国际象棋比赛，但棋盘不再是实体，而是一个混乱、不断变化的各种环境，且游戏的规则（即“收益”）对玩家而言是隐藏的。他们不知道每一步棋的价值，不知道对手的历史动作，也无法彼此交流。这就是论文中所描述的**具有不完全信息的零和随机博弈（Zero-Sum Stochastic Games with Incomplete Information）**的世界。

以下是对 Zhu、Tembine 和 Basar 所发现的研究成果的简单解读：

问题所在：在黑暗中学习

在许多现实世界的场景中（如网络安全或交通管理），两个对立的方阵（我们称之为玩家 A 和玩家 B）正不断试图智斗对方。

难点在于： 他们没有规则书。他们并不确切知道针对某个特定动作能赢多少或输多少。他们只有在做出动作之后，才能得知结果。
旧有的方式： 传统的学习方法通常假设双方都是使用完全相同“大脑”进行学习的同质化“机器人”。此外，它们通常假设玩家能够看到对方过去所做的动作。
现实情况是： 现实中的玩家是不同的。其中一方可能是一个快速、冲动的学习者（比如扫描漏洞的黑客），而另一方可能是一个缓慢、谨慎的学习者（比如检查日志的安全员）。他们也可能无法看到彼此的动作。

解决方案：“异构”学习

作者提出了一种新的学习方式：异构学习（Heterogeneous Learning）。

把它想象成一场舞蹈，其中一个舞伴是爵士舞者（即兴发挥、反应迅速、注重当下），而另一个是芭蕾舞者（结构化、节奏缓慢、遵循严格的程序）。论文探讨的是：即使他们在不同的节拍下跳舞，他们是否仍能共同找到一种稳定的节奏？

作者引入了一类学习算法，其特点如下：

玩家 A 可能使用一种“快”学习方案（根据即时奖励快速更新其策略）。
玩家 B 可能使用一种“慢”学习方案（通过一段时间的经验来取平均值）。
至关重要的一点是： 玩家不需要知道对方的策略，甚至不需要知道对方的存在。他们只需对从环境中获得的“分数”做出反应。

奇妙的技巧：“影子”博弈

他们是如何证明这套理论行得通的呢？作者使用了**随机逼近（Stochastic Approximation）**这一数学工具。

想象玩家们正在迷雾森林中行走，迈着细小且随机的步伐。由于视线受阻，很难看清路径。作者的诀窍在于： “如果你把视角拉远，雾气就会消散，你会发现他们的随机步伐实际上勾勒出了一条平滑且可预测的曲线。”

他们将混乱、随机的学习过程转化为一个平滑的、确定性的“影子博弈”（由常微分方程/ODEs 表示）。通过研究这个平滑的影子，他们可以预测玩家最终会走向何处。

结果：寻找“甜点”

论文证明了，即使存在不同的学习速度和风格，玩家最终也会进入一个鞍点（Saddle Point）。

类比： 想象两个山峰之间的一个山口。这个“鞍点”就是两个峰值之间脊线上的最低点。
- 玩家 A（最大化者）想要攀登最高的峰顶。
- 玩家 B（最小化者）想要留在最低的谷底。
- 在“鞍点”处，达到了完美的平衡：玩家 A 无法再升高而不被玩家 B 压下来，玩家 B 也无法再降低而不被玩家 A 抬上去。

论文表明，无论两名玩家使用相同的学习风格（比如两个爵士舞者），还是不同的风格（一个是爵士，一个是芭蕾），他们最终都会找到这种稳定的平衡。

现实世界的案例：安全博弈

为了测试这一点，作者模拟了一个网络安全博弈：

攻击者（玩家 A）： 试图寻找计算机系统的漏洞。
防御者（玩家 B）： 试图修补漏洞。

在模拟中：

攻击者使用了一种快速的、“软性”的学习算法（类似于玻尔兹曼-吉布斯分布，有点像一个偶尔会尝试冒险动作以观察后果的赌徒）。
防御者使用了标准的、较慢的学习算法。

结果： 尽管他们在学习速度和思维模型上存在差异，但他们最终都收敛到了一个稳定的策略。攻击者学会了何时发动攻击，防御者学会了何时进行防御，两者都达到了一个平衡点——即任何一方仅靠改变自身策略都无法改善其地位。

总结

该论文的核心观点是：在混乱且信息匮乏的环境中，对立的智能体并不需要完全相同也能达到稳定的解。 只要他们使用特定类型的学习算法（即使一方快，另一方慢），他们自然会向一个公平且稳定的均衡点漂移，就像两个不同风格的舞者最终会找到共同的节奏一样。

技术摘要：不完全信息下零和随机博弈中的异构学习

问题陈述

本文研究了在具有不完全信息的动态、去中心化环境中进行学习的挑战，其中智能体（玩家）在以下条件下运行：

玩家不知道自身的收益函数（效用矩阵的条目）。
玩家无法获知对手过去的行为。
状态空间和转移律对玩家而言是未知的。
智能体之间的通信是不切实际的。

在这种设定下，依赖于观察对手行为历史的标准学习算法（如虚构学习或最佳响应动力学）并不适用。此外，现有的强化学习（RL）算法通常只专注于策略强化或收益强化，而未能将两者耦合。核心问题在于如何设计一种全分布式学习方案，在要求极少信息和资源的同时，使智能体能够同时学习最优策略并估计最优收益。

方法论

作者提出了一类异构学习方案，其中智能体可以采用不同的学习模式（算法），并在不同的学习速率（时间尺度）下运行。

博弈模型

本研究采用了二人零和随机博弈模型 $\Xi = \langle S, A_1, A_2, \{U(s, .)\}_{s \in S} \rangle$ 。

$S$ ：状态集合（对玩家而言是未知的，且为独立同分布的随机变量）。
$A_1, A_2$ ：有限动作集。
$U$ ：效用函数，其中玩家 1（P1）最大化收益，玩家 2（P2）最小化收益。
玩家在时间 $t$ 使用混合策略 $f_t$ 和 $g_t$ 。

学习算法 (CODIPAS-RL)

核心方法论是组合式全分布式收益与策略强化学习 (CODIPAS-RL) 框架。该方法将预期收益的学习与策略的学习相结合。作者在该框架内定义了五种特定的算法：

CRL0：一种基础的组合算法，通过观测收益的加权平均值来更新策略和收益（类似于将 Q-learning 与策略更新相结合）。
CRL1：一种基于 Boltzmann-Gibbs 的算法，其策略更新遵循估计的平均收益的 Soft-max 函数。
CRL2：类似于 CRL1，但使用一种模仿型 Boltzmann-Gibbs 策略，通过当前策略向量对 soft-max 进行加权。
RL2：一种标准的策略强化算法（类似于复制者动力学），不包含显式的收益估计耦合。
RL3：RL2 的归一化版本。

分析方法

作者采用随机逼近技术来分析这些离散时间学习算法的收敛性。他们将随机学习过程映射到其对应的确定性常微分方程 (ODE)。

分析考虑了异构学习率，即一个玩家的学习速度可能显著快于另一个玩家（例如， $\lambda_{1,t} / \lambda_{2,t} \to 0$ ）。
结果表明，生成的 ODEs 与标准复制者动力学、最佳响应动力学、Logit 动力学和虚构学习有所不同，具体取决于所使用的算法组合和学习速率。

主要贡献

异构学习框架：本文引入了一个框架，允许智能体采用不同的学习方案（例如，一个使用 CRL1，而另一个使用 RL2），并在不同的时间尺度上运行。
耦合收益-策略学习：不同于通常将策略与价值学习分离的标准强化学习，所提出的 CODIPAS-RL 算法在无需获知对手动作的情况下，同时更新策略向量和估计的平均收益。
ODE 特征化：作者推导出了控制这些异构方案渐近行为的特定 ODE。他们证明了当玩家学习速度不同时，系统动力学可以描述为“慢”玩家对“快”玩家的平滑最佳响应（或反之）的反应。
收敛至 $\epsilon$ -鞍点：本文证明了这些异构动力学几乎处处收敛至预期博弈的 $\epsilon$ -鞍点。随着 soft-max 参数 $\epsilon \to 0$ ，这些点收敛至真实的鞍点。
消除劣势策略：在 CRL1 算法下，作者证明了严格劣势策略在长期内会被消除。

结果

收敛性：论文证明了 CRL1、RL2 和 RL3 的组合（例如，CRL1 对比 RL2，CRL1 对比 CRL2）会导致零和随机博弈中的鞍点解收敛。
时间尺度分离：当一个玩家学习得比另一个玩家快时，较慢玩家的轨迹会相对于较快玩家的策略收敛到平滑的最佳响应（或调整后的复制者动力学）。
模拟（安全博弈应用）：作者将算法应用于网络入侵检测场景（攻击者 vs 防御者）。
- 场景：一个具有随机收益的 $2 \times 2$ 博弈。
- 同构情况：当两名玩家都使用 CRL1 时，收益和策略分别收敛至博弈值（约 2.6）和鞍点策略（ $f^*=[0.4, 0.6]$ , $g^*=[0.2, 0.8]$ ），尽管收敛速度较慢。
- 异构情况：当攻击者使用 CRL1 而防御者使用 RL2 时，系统同样实现了收敛，展示了异构方法的鲁棒性。

意义与主张

本文声称其主要贡献在于解决了在信息需求极低的去中心化环境下的学习挑战。通过放宽“玩家必须观察对手行为历史”的假设，所提出的算法更适用于现实世界的网络与安全场景，在这些场景中，此类观察被认为是“难以实现且不切实际的”。

作者强调，其工作：

为异构学习提供了理论基础，承认现实系统中的智能体（如攻击者和防御者）拥有不同的理性水平和信息量。
提供了一类全分布式算法，仅需局部收益观测。
扩展了对博弈动力学的理解，超越了标准的复制者或最佳响应模型，展示了不同的学习速率和方案如何创造出仍能收敛至平衡的新型动态行为。

论文以谦逊的态度结尾，指出未来的工作包括将这些结果扩展到具有受控状态的随机博弈以及非零和博弈。