Evolution of cooperation with Q-learning: the impact of information perception

本研究采用囚徒困境框架下的 Q 学习算法，旨在证明不同的信息感知结构（尤其是非对称信息）如何关键性地塑造复杂的演化动力学并促使合作的涌现，从而为人类合作行为提供新的见解。

要点

想象一下，你正和一位朋友玩一个游戏，你们都必须决定是表现得友好（合作），还是为了自身利益而牺牲对方（背叛）。这就是经典的“囚徒困境”。如果你们双方都表现得友好，你们都会获得一点收益；如果你们双方都只顾着自己的利益，你们都会损失一些；但如果一个人很友好而另一个人很自私，那么那个“友好”的人就会惨遭打击，而“自私”的那个人则会获得巨额回报。

通常情况下，研究这类游戏的科学家假设两名玩家以完全相同的方式观察世界。他们都知道对方上次做了什么，或者他们只知道自己做了什么。

这篇论文提出了一个不同的问题：如果两名玩家看待游戏的方式不同，会发生什么？ 如果一名玩家在观察朋友的行为，而另一名玩家只观察自己的行为，情况会如何？

研究人员使用了一种叫做“Q-learning”的计算机算法（可以把它想象成一个通过试错来学习的数字学生，它会保留一份关于哪些做法有效的心理记分卡）来模拟这一过程。他们测试了三种不同的“视野”设置：

1. “你与你”团队（观察对方）： 两名玩家都只关注对方的行为。
2. “我与我”团队（观察自己）： 两名玩家都只关注自己的行为。
3. “你与我”团队（不对称视角）： 一名玩家观察对方，而另一名玩家只观察自己。

以下是他们的发现，用简单的语言解释如下：

1. “你与你”团队（观察对方）

当两名玩家都只专注于对方在做什么时，游戏就会变得一团糟。这就像两个人在跳舞时却只盯着对方的脚看；他们无法找到节奏。他们会在友好与自私之间不断切换，但永远无法建立起稳定的合作模式。最终，他们通常会选择放弃，转而只顾及自身利益。

2. “我与我”团队（观察自己）

当两名玩家只关注自己过去的行动时，情况会更加稳定，但也很容易陷入僵局。

• 好的一面： 如果背叛的诱惑较低，他们可以陷入一个“幸福循环”，即双方永远保持友好。
• 坏的一面： 如果背叛的诱惑较高，他们会陷入一个“悲伤循环”，即双方永远互相背叛。
• 关键点： 一旦他们选择了某种循环（无论是幸福还是悲伤），就很难切换。这就像一列已经启程的火车；它要么驶向“友谊”的目的地，要么驶向“背叛”的目的地，一旦开始运行，就很难更换轨道。

3. “你与我”团队（混合视野）

这就是奇迹发生的地方。当一名玩家观察另一名玩家，而另一名玩家只观察自己时，游戏变得充满动态且出人意料地有效。

研究人员发现了一个随时间演变的复杂的三阶段故事：

• 第一阶段：蜜月期。 两名玩家发现表现得友好是行之有效的。于是他们开始合作。
• 第二阶段：分手期。 其中一名玩家（观察对方的那位）开始变得贪婪。他们意识到，当另一方还在表现得友好时，通过变得自私可以获得更大的回报。他们开始剥削伙伴。那位友好的伙伴感到困惑，但仍试图保持友好（宽容），但最终还是受到了伤害。
• 第三阶段：重建期。 友好的伙伴终于爆发了。他们决定也变得自私，以此来教训那个贪婪的玩家。这种“惩罚”伤害了贪婪者，从而让贪婪者意识到：“嘿，变得自私不再奏效了。”贪婪者转而变回了友好。循环重新开始，他们建立起了比之前更强大、更具韧性的合作关系。

核心启示

最令人惊讶的发现是，这种不对称的混合视野设置，实际上比那些所有人都以相同方式观察世界的设置能带来更快、更强有力的合作。

把这想象成一段关系：

• 如果你和你的伴侣都只关注自己的感受，你们可能会陷入沉闷的僵局。
• 如果你们都只盯着对方看，你们可能会感到焦虑和不稳定。
• 但如果其中一人专注于这段关系（观察对方），而另一人专注于自身的成长（观察自己），你们就能创造出一种动态机制，让你们能够原谅错误、从错误中学习，并建立起更深厚的纽带。

论文的结论是，我们如何感知信息比我们想象的更为重要。 我们所知信息的结构——以及谁知道什么——决定了我们会陷入背叛的循环，还是进入稳定的合作循环。这种“混合视野”创造了一种信任、背叛、惩罚与原谅的自然律动，这反映了真实的人类行为，使得合作即使在困难时期也能生存下来。

技术摘要

技术摘要：基于 Q-learning 的合作演化：信息感知的冲击

问题陈述
合作在社会困境（特别是囚徒困境，PD）中的涌现与稳定性仍然是演化博弈论中的核心挑战。虽然强化学习（RL）已成为研究社会行为的一种强大范式，但现有文献大多假设个体拥有对称的信息感知——即所有智能体在决策时访问相同类型的信息（例如，仅自身动作、仅邻居动作或两者皆有）。这种假设与现实世界的观察相悖，因为在现实中，信息感知往往是非对称的，受年龄、经验、文化和社交地位等因素的影响。本研究旨在填补理解非对称信息感知如何影响双人强化学习框架内合作演化的空白。

方法论
作者采用 Q-learning 算法来模拟迭代双人囚徒困境博弈中的合作演化。研究定义了三种不同的信息感知方案，以测试信息结构的影响：

1. 方案 I（对称“你 + 你”）： 两名玩家都基于对手的动作进行状态感知。
2. 方案 II（对称“我 + 我”）： 两名玩家都基于自身的动作进行状态感知。
3. 方案 III（非对称“你 + 我”）： 一名玩家感知对手的动作，而另一名玩家感知自身的动作。

智能体利用 Q 表对特定状态下的动作（$C$ 或 $D$）进行评分。系统通过涉及探索（概率为 $\epsilon$）和基于 Q 值的开发（exploitation）的同步更新进行演化。收益矩阵遵循强囚徒困境版本（$T > R > P > S$ 且 $T+S < 2R$），困境强度由参数 $b$ 控制。研究通过分析时间平均合作偏好、合作水平的概率密度函数（PDF）以及 Q 值的时序演化，来揭示潜在机制。

关键结果
研究表明，信息结构从根本上改变了合作的演化动力学：

• 方案 I（关注对手）： 合作高度不稳定。即使在低困境强度下，系统也倾向于向相互背叛演化。合作偏好的 PDF 呈现出三峰分布，表明缺乏稳定的合作状态。
• 方案 II（关注自我）： 系统表现出双稳态和类一阶相变特征。根据初始条件的差异，系统会收敛于相互合作或相互背叛。一旦达到稳定状态，通常能够维持，尽管随着困境强度的增加，合作区域会缩小。
• 方案 III（非对称）： 该情景产生了最复杂且最稳健的动力学行为。虽然它也表现出双稳态，但其特征是在完全合作与完全背叛之间产生独特的“反弹”。值得注意的是，与其它方案相比，方案 III 在中等困境强度（$b \approx 0.3$）下能以最短的收敛时间实现最高的合作偏好。

机制分析
通过对非对称情景（方案 III）中 Q 值演化的详细分析，作者识别出了一个包含三个阶段的循环过程：

1. 涌现（Emergence）： 合作通过“剥削”与“宽容”的循环而涌现。一名玩家（“我”智能体）最初宽容对方的背叛行为，通过正反馈促使相互合作形成。
2. 崩溃（Breakdown）： 宽容最终被反复的剥削所侵蚀。“我”智能体转向背叛作为一种惩罚策略，导致系统坍塌至相互背叛。
3. 重建（Reconstruction）： 在坍塌之后，同步的合作探索使得系统能够逃离相互背叛。剥削者与宽容者的角色发生逆转，并通过类似的惩罚与宽容循环，重新建立起相互合作。

这种动态过程反映了人类行为中的心理转变，即合作并非一个静态状态，而是一个涌现、崩溃与重建的过程。

意义与主张
本文主张，信息结构是促进合作的关键决定因素。具体而言，研究证明了非对称信息感知可以比对称结构更迅速、更稳健地催化合作的涌现。研究结果强调了：

• 信息结构至关重要： 智能体感知信息的方式（动作 vs. 自我动作）决定了合作演化的稳定性与速度。
• 非对称性的复杂性： 非对称情景引入了丰富的动力学行为，包括真正的双稳态以及在合作与背叛之间的振荡转换，这些在对称模型中是不存在的。
• 现实性： 非对称模型中所观察到的涌现、崩溃与重建的动态过程，比以往的对称模型更贴近人类决策及现实世界社会互动的复杂性。

作者得出结论，虽然这项工作侧重于简化的双人场景，但它为理解多样化的信息感知如何塑造合作关系提供了基础性步骤，并建议未来的研究应探索更复杂的社会网络，并将道德偏好整合进强化学习框架中。