技術的概要：社会的ジレンマにおける協力の意思による意思決定のモデル化

問題提起

経済学および認知科学における標準的な合理的行為者モデルは、通常、社会的ジレンマ（例： Stag Hunt、囚人のジレンマ）における失敗を、不十分なインセンティブまたは計算能力の欠如に起因すると帰属させる。これらのモデルは、エージェントが局所的な費用対効果の評価を実行することで、期待効用を継続的に最適化すると仮定している。しかし、スカラー最大化へのこのコミットメントは、知覚されるリスクと戦略的慎重さを増幅させ、エージェントを安全だが集合的に非最適な均衡へと駆り立てる。既存の解決策は、しばしば罰則、評判システム、または中央集権的な執行といった外部メカニズムに依存しており、これらは実装コストを伴う。本論文は、問題の根源が不十分な最適化にあるのではなく、むしろ継続的な合理的計算そのものへの依存にあると提唱する。それは、継続的な再評価を戦略的に停止させる認知メカニズムが、基礎的な利得構造を変更することなく、集団が非協力的な非最適均衡から脱出することを可能にするかどうかを問う。

手法

著者らは、「意思（Will）」の枠組みを提案する。これは、エージェントが局所的な費用対効果の変動を無視しながら、目標を追求し続けるメカニズムとして定義される。本研究は、3 つの異なる分析アプローチを採用する。

1. 数学的定式化

社会的環境は、意思を伴うマルコフゲームとしてモデル化され、タプル $M = \langle N, S, A, P, R, G, D, T \rangle$ によって定義される。

• 意志あるエージェント（Willed Agents）： 累積的な外的効用（$\sum R_i$）を最大化する合理的エージェントとは異なり、意志あるエージェントはポテンシャル最小化者として定義される。彼らは擬似距離を用いて、目標状態集合 $G_i$ までの距離 $D_i(s)$ を最小化する。その方策 $\pi_{will}$ は、目標への期待距離を貪欲に最小化し、実質的にスカラー報酬信号 $R$ を無視する。
• ポテンシャルアトラクタ： 意志あるエージェントが環境の境界や相互作用のダイナミクスによって「固定」される状態であり、位相空間における固定境界条件として機能する。
• 集団ダイナミクス： 著者らは、2 つのモードからなる無限集団（$N \to \infty$）を分析する。
  • 意志モード： 協力（$G_1$）または裏切り（$G_2$）に厳密にコミットし、固定された割合 $n_1$ と $n_2$ を持つエージェント。
  • 合理的モード： 利得差 $\Delta f(x)$ に基づいて累積報酬を最大化するように戦略を適応させるエージェント（$m = 1 - n_1 - n_2$）。
  • システムの進化は、社会的ノイズにさらされたランジュバン方程式を介してモデル化され、意志あるエージェントは実行可能な状態空間 $\Omega = [n_1, 1-n_2]$ を制約する。

2. 標準ゲームの理論的分析

この枠組みは、意志あるエージェントが集合的な結果をどのように再形成するかを観察するために、3 つのゲームパラダイムに適用される。

• ** Stag Hunt：** 意志ある協力者（$n_1$）は、臨界点を超えれば調整の罠を排除するか、集団の開始床を引き上げることで収束を確率的に加速させることができる。
• スノードリフトゲーム： 意志あるエージェントは窓として機能し、固定された割合が最適な内部均衡を超えているかどうかによって、システムを過剰協力または過少協力へと強制する可能性がある。
• 囚人のジレンマ： 意志あるエージェントは安定性の床（$x^* = n_1$）を提供し、完全な功利主義的崩壊を防ぐが、彼らは合理的な裏切り者によって搾取され続ける。

3. 時空間シミュレーション

有限の集団と時間的制約に対処するため、著者らはグリッド世界（$H \times W$）上でマルコフ Stag Hunt ゲームをシミュレートする。

• エージェント：
  • 合理的モード： ベイズ的マインド・セオリーを用いて軌跡から他者の目標を推論し、モンテカルロシミュレーションを用いて最大報酬を計画する。
  • 意志モード： 目標となる獲物までのマンハッタン距離の最小化を使用する。
• 意思の強さ（$\alpha$）： コミットメントの持続時間を制御するパラメータ。エージェントは最初の $|\alpha|T$ ステップを意志モードに従い、その後、合理的モードに切り替える。
• 実験： 本研究は、意志あるエージェントの割合、意思の強さ（$\alpha$）、および調整閾値（$\theta$）を変化させる。また、エージェントが自律的に計画からコミットメントへの切り替えタイミングを決定する内生的意思選択（断続的対段階的戦略）もテストする。

主要な結果

1. 協力の触媒としての意志あるエージェント

Stag Hunt ゲームにおいて、意志あるエージェントは「協力の触媒」として機能する。実行可能な状態空間を制限することで、彼らは収束を加速させる境界制約として作用する。

• 文脈依存性： その有効性は単調ではなく、調整の難易度（$\theta$）に依存する。
  • 難易度が低い場合（$\theta=2$）、持続性は欠点となり、合理的エージェントの方がよく調整する。
  • 中程度の難易度（$3 \le \theta \le 7$）では、中程度の意思レベル（$\alpha \approx 0.5$）がエージェントを協力的均衡に最適に固定する。
  • 極端な難易度（$\theta \ge 8$）では、成功確率が低すぎるため、この戦略は失敗する。
• 臨界質量： 高い調整要件または厳しい時間制約の下では、エピソード終了前に集団を協力的均衡へと「高速化」するために、意志あるエージェントの臨界質量が必要となる。

2. 異質性と利他主義

• 最適な異質性： 異質な集団において、意思の強さの最適な分布は難易度とともに変化する。高い $\alpha$ を持つエージェントは目標を固定し、低い $\alpha$ を持つエージェントは柔軟性を維持する。
• 個人の費用： 高い意思を持つエージェントは、しばしば低い意思を持つ同僚よりも低い個人利得を得る。彼らは調整のためのエネルギー障壁を低下させるが、その硬直性のために適応度のコストを支払う。これは、「鹿への意思（Will to Stag）」が一種の利他的コミットメントとして機能することを示唆している。

3. 内生的选择と断固とした選択

• 段階的対断続的： 高いリスクの不確実性下では、早期に目標にコミットし（段階的戦略）、再評価を停止するエージェントは、頻繁に再評価するエージェント（断続的）よりも優れたパフォーマンスを発揮する。
• 停止の優位性： 高いインセンティブ下では、「瞬間的」戦略（$t=0$ で一度計画し、揺るぎなく実行する）は、継続的な合理的最適化者よりも著しく優れている。継続的な再評価は、エージェントを確率的ノイズに対して過剰敏感にし、共同目標の早期放棄につながる。

意義と主張

本論文は、マルチエージェント意思決定における「意思」の最初の数学的定式化を提供すると主張する。その主な貢献は以下の通りである。

1. 問題の再定義： 協力の失敗が不十分な最適化に起因するという前提に挑戦し、代わりに継続的合理的計算への依存が不安定化要因であると提案する。
2. 作用メカニズム： 「意思」は効用最大化を置き換える新しい決定則ではなく、計算を戦略的に制約することによってその上に作用する補完的メカニズムであることを実証する。
3. 協力の安定化： 社会的ジレンマにおける成功した協力は、局所的な費用対効果の再評価を停止する認知能力に依存しているという知見。目標に「意思を縛る」ことで、エージェントは信頼できる焦点へと変容し、他者に対して予測可能性をシグナルし、純粋な合理的エージェントでは越えられない高リスクの閾値を集団が超えることを可能にする。

著者らは、「意志ある」行動が局所的な適応度コストを伴う一方で、対立するインセンティブと戦略的不確実性下で協力を安定化させる上で、決定的な進化的および社会的機能を果たすと結論づける。今後の研究として、これらのエージェントの進化的ダイナミクスと、メタ政策規制のためのマルチエージェント強化学習との統合を探求することが提案される。