Decoding fairness: a reinforcement learning perspective

技術要約：公平性の解読：強化学習の観点から

問題提起
最後通牒ゲーム（Ultimatum Game, UG）は、公平性の出現を理解するための主要なモデルとして機能している。合理的な自己利益追求者であるという「ホモ・エコノミクス（経済人）」の仮定に基づく伝統的な経済学は、提案者は最小限の提示を行い、応答者は非ゼロの提示であればいかなるものでも受け入れる（その結果、極端な不平等が生じる）と予測する。しかし、行動実験では、人間は一貫して公平な分配（通常40〜50%）を好み、低い提示を拒絶することが示されている。この乖離に対する既存の理論的説明は、主に「模倣学習フレームワーク」に依拠しており、公平性を、集団構造や評判、怨恨、あるいは共感といった外生的要因に帰属させてきた。本論文は、エージェントが成功した他者を模倣するのではなく、自己反省と環境との相互作用を通じて戦略を最適化する「強化学習（Reinforcement Learning, RL）」のパラダイムにおいて、公平性が内生的要因のみから出現するかどうかを調査するものである。

手法
著者らは、標準的な強化学習アルゴリズムである**Q学習（Q-learning）**を用いて、2プレイヤーのUGシナリオをモデル化している。

• エージェントのアーキテクチャ: 各プレイヤーには、**プロポーザー（提案者）としての役割とレスポンダー（応答者）**としての役割に対して、それぞれ異なる2つのQテーブルが割り当てられる。
• 状態および行動空間:
  • 行動: プロポーザーは3つの提示額（$p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$）から選択し、レスポンダーは3つの受諾閾値（$q_l, q_m, q_h$）から選択する。
  • 状態: 状態空間は、前ラウンドの行動ペアを表す9つの組み合わせ（$S = \{s_1, ..., s_9\}$）で構成される。
• 学習ダイナミクス:
  • エージェントはベルマン方程式を用いてQ値を更新する：$Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$。
  • $\alpha$（学習率）: 現在の経験の重みを制御する。高い$\alpha$は「忘却性」を意味し、低い$\alpha$は「過去の経験の保持」を意味する。
  • $\gamma$（割引率）: 将来の報酬の重みを制御する。高い$\gamma$は「長期的な展望」を、低い$\gamma$は「短視眼的」であることを意味する。
  • 探索: エージェントは確率$\epsilon$でランダムな行動を探索し、それ以外の場合は最大のQ値を持つ行動を選択（利用）する。
• 指標: 本研究では、提示額と受諾閾値の定常的な割合を追跡し、特に公平な選択肢（$p_m, q_m$）と合理的な選択肢（$p_l, q_l$）の普及度を監視する。

主な結果

1. 内生的要因による公平性の出現: エージェントが低い学習率（$\alpha$、過去の経験を重視する）と高い割引率（$\gamma$、将来の報酬を重視する）の両方を備えている場合に、公平性が顕著に現れる。このパラメータ領域において、システムは公平な提示（$p_m$）と公平な受諾閾値（$q_m$）が高い確率で安定する状態で収束する。
2. 二段階の進化メカニズム:
   • フェーズI（合意への到達）: ランダムな構成から始まり、取引の失敗（例：高い提示 $p_h$ や高い閾値 $q_h$）を招く戦略が、低い利得のために排除される。システムは、生存する3つの戦略、すなわち $(p_m, q_m)$, $(p_l, q_l)$, $(p_m, q_l)$ へと収束する。
   • フェーズII（分岐プロセス）: 混合戦略 $(p_m, q_l)$ は不安定であり、遷移ダイナミクスが発生する。システムは、公平な戦略 $(p_m, q_m)$ または合理的な戦略 $(p_l, q_l)$ という2つの安定した状態へと分岐する。遷移経路は $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$ であると特定された。
3. 行動実験との整合性: モデルは以下の主要な実験的観察結果を再現している：
   • 取引成功の確率は、提示額が高くなるにつれて増加する。
   • 20%未満の提示は頻繁に拒絶される（モデルでは約80%の拒絶確率）一方で、45〜50%の提示は高度に受諾される。
4. パラメータ感度:
   • $\alpha$ と $\gamma$: 高い$\alpha$（忘却的）または低い$\gamma$（短視眼的）のエージェントは、デフォルトで合理的かつ不公平な戦略をとる。
   • ゲームパラメータ ($l, h$): 提示の下限値（$l$）は平衡に大きな影響を与える。$l$ が増加するにつれ、合理的な戦略の割合が上昇する。上限値（$h$）の影響は限定的である。
5. 頑健性: ロールの割り当てを回転型からランダムまたは固定型に変更した場合や、シナリオを格子状の集団に拡張した場合でも、公平性の出現は維持される。

意義および主張
本論文は、強化学習パラダイムにおける内生的動機付けが、公平性の出現を説明するのに十分であり、この特定の成果に対しては、評判や社会規範といった外生的要因は不要であると主張している。エージェントが「過去の経験を重んじ」、「将来の報酬を計画する」とき、自然に公平な戦略へと進化することを実証することで、本研究は模倣学習フレームワークとは異なる新たな視点を提示している。これらの知見は、人間の公平性が、純粋に社会的または文化的な構築物ではなく、時間の経過に伴う累積利得を最大化することを目的とした適応的な学習プロセスの結果である可能性を示唆している。結論として、強化学ッションの自己反省的な性質は、なぜ人間が最後通牒ゲームにおいて「ホモ・エコノミクス」の予測から逸脱するのかという問いに対し、基礎的な説明を提供している。