Decoding fairness: a reinforcement learning perspective

技术摘要：解码公平性：强化学习视角

问题陈述
最后通牒博弈（Ultimatum Game, UG）是理解公平性涌现的主要模型。传统的经济学基于“经济人”（Homo economicus）假设，预测理性的、追求自我利益的代理人会提出尽可能低的报价并接受任何非零报价（从而导致极端的分配不均）；然而，行为实验一致显示，人类倾向于公平分配（通常为 40–50%）并拒绝低额报价。现有的理论解释主要依赖于模仿学习框架，将公平性归因于外生因素，如人口结构、声誉、恶意或共情。本文研究了在强化学习（RL）范式下，仅通过内生因素（即代理人通过自我反思和与环境交互来优化策略，而非通过模仿成功的同伴）是否能使公平性涌现。

方法论
作者使用 Q-learning（一种标准的强化学习算法）对双人 UG 场景进行建模。

• 代理架构： 每个玩家被分配两个不同的 Q 表：一个用于**提议者（proposer）角色，一个用于响应者（responder）**角色。
• 状态与动作空间：
  • 动作： 提议者从三个报价中选择（$p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$）；响应者从三个接受阈值中选择（$q_l, q_m, q_h$）。
  • 状态： 状态空间由九种组合组成（$S = \{s_1, ..., s_9\}$），代表前一轮的动作对。
• 学习动力学：
  • 代理人使用 Bellman 方程更新其 Q 值：$Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$。
  • $\alpha$（学习率）： 控制当前经验的权重；高 $\alpha$ 意味着“易忘性”，低 $\alpha$ 意味着保留历史经验。
  • $\gamma$（折扣因子）： 控制未来奖励的权重；高 $\gamma$ 意味着“长远眼光”，低 $\gamma$ 意味着“短视”。
  • 探索： 代理人以概率 $\epsilon$ 进行随机动作探索，否则利用最高 Q 值进行决策。
• 指标： 研究追踪了报价和接受阈值的平稳比例，特别监测了公平选项（$p_m, q_m$）相对于理性选项（$p_l, q_l$）的盛行程度。

关键结果

1. 通过内生因素实现公平性的涌现： 当代理人同时具备低学习率（$\alpha$，重视历史经验）和高折扣因子（$\gamma$，重视未来奖励）时，公平性显著涌现。在此参数机制下，系统会稳定在具有高概率公平报价（$p_m$）和公平接受阈值（$q_m$）的状态。
2. 两阶段进化机制：
   • 第一阶段（达成交易）： 从随机配置开始，导致交易失败的策略（如高报价 $p_h$ 或高阈值 $q_h$）由于收益过低而被淘汰。系统收敛至三种生存策略：$(p_m, q_m)$、$(p_l, q_l)$ 和 $(p_m, q_l)$。
   • 第二阶段（分支过程）： 发生了一种转换动力学，其中混合策略 $(p_m, q_l)$ 是不稳定的。系统分支为两个稳定状态：公平策略 $(p_m, q_m)$ 或理性策略 $(p_l, q_l)$。识别出的转换路径为 $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$。
3. 与行为实验的一致性： 模型重现了关键实验观察结果：
   • 成功交易的概率随报价提高而增加。
   • 低于 20% 的报价经常被拒绝（模型中拒绝概率约为 80%），而 45–50% 之间的报价被高度接受。
4. 参数敏感性：
   • $\alpha$ 与 $\gamma$： “易忘型”（高 $\alpha$）或“短视型”（低 $\gamma$）代理人会默认转向理性、不公平的策略。
   • 游戏参数 ($l, h$)： 报价的下限（$l$）显著影响平衡；随着 $l$ 的增加，理性策略的比例上升。上限（$h$）的影响较为轻微。
5. 鲁棒性： 当角色分配从轮转制改为随机或固定制，或者将场景扩展到格点化群体时，公平性的涌现依然成立。

意义与主张
本文主张，强化学习范式中的内生动机足以解释公平性的涌现，使得外生因素（如声誉或社会规范）对于这一特定结果而言变得不再必要。通过证明那些“重视过去经验”且“规划未来奖励”的代理人会自然演化向公平策略，本研究提供了一个不同于模仿学习框架的新颖视角。研究结果表明，人类的公平性可能是一种旨在最大化长期累积收益的适应性学习过程的结果，而非纯粹的社会或文化建构。这项工作总结认为，强化学习的自我反思特性为“为何人类在最后通牒博弈中偏离‘经济人’预测”提供了一个基础性的解释。