技術要約：ゲーム理論におけるハイブリッド・コーリションのためのエントロピーに基づくフレームワーク。パート I：人間による調停

1. 問題提起

フォン・ノイマンとモルゲンシュテルンの枠組みに端を発する古典的ゲーム理論は、エージェントが固定された決定権限を持ち、完備性、推移性、およびアルキメデス公理を満たす標準的な選好構造を持つことを前提としている。しかし、ハイブリッドな人間–AIシステムは、根本的な課題を提示している。すなわち、デジタル環境内において、実行権限が人間とAIのコンポーネント間で内生的に交互に入れ替わる可能性があることである。このような設定では、コーリション（提携）の行動を、単一の滑らかな選好順序や標準的な効用関数で表現することはできない。既存のハイブリッド・アプローチの多くは、効用を混合するか、あるいは権限を静的なものとして扱っており、政策の乖離に基づいて各ステップで実行エージェントが選択されるという、制御が交互に入れ替わるダイナミクスを捉えきれていない。本論文は、ハイブリッド・コーリションが「仮想的な自然（Virtual Nature）」（古典的な「自然」のアルゴリズム的類似物）の下で動作する場合における、古典的な均衡概念の不十分さに対処し、委任が動的かつレジーム依存的であるフレームワークの定式化を目的とする。

2. メソドロジー：ネオ・ゲーム理論

著者らは、人間–AIハイブリッド・コーリションのために設計された、ゲーム理論の拡張である**ネオ・ゲーム理論（Neo-Game Theory）**を導入する。このフレームワークは、以下の柱に基づいている。

2.1. 仮想的な自然とハイブリッド・ゲーム

環境は、アルゴリズム的な確率性、ハードな閾値、および不連続性を捉える遷移関数 $V: S \times A \to \Delta(S)$ を持つ**仮想的な自然（Virtual Nature, $V$）**としてモデル化される。ハイブリッド・ゲームは、タプル $N(V) = (S, A, U, \lambda, P_V)$ として定義される：

• $S$ は状態空間。
• $A$ は共通の実行アクション空間（人間とAIの提案セットの和集合）。
• $U = \{U_H, U_{AI}\}$ は個別の効用関数。
• $\lambda_T \in \{0, 1\}$ は、時刻 $T$ においてどのアージェントがアクションを実行するかを決定するバイナリの委任因子。
• $P_V$ は、仮想的な自然によって生成される遷移カーネル。

2.2. 公理からの逸脱

本フレームワークは、コーリション・レベルにおいて古典的な公理を緩和する：

• 推移性の崩壊： 制御の交互交代は、個々のエージェントが推移的であっても、非推移的な顕示選好（例：$A \succ B, B \succ C, C \succ A$）を誘発し得る。
• アルキメデス公理の崩壊： コーリションは滑らかなトレードオフを示さない。人間の調整は漸進的であるが、AIによる最適化は離散的であり得る。
• 辞書式効用： コーリションの成果は辞書式に比較される。実行レジーム（人間かAIか）は効用評価の前に選択されるため、レジーム間の補償的なトレードオフは存在しない。

2.3. エントロピーに基づく委任メカニズム

委任は、経験的な人間の政策（$p_H$）とAIの政策（$p_{AI}$）の間のイェンセン・シャノン（JS）ダイバージェンス（$D_{JS}$）によって決定される。本フレームワークは、2つの固定された閾値 $\alpha_{agree}$ と $\alpha_{disagree}$ を利用して、政策空間を以下の3つのレジームに分割する：

1. 合意（Agreement, $D_{JS} \le \alpha_{agree}$）： AIが実行する（$\lambda = 0$）。
2. 不一致（Disagreement, $D_{JS} \ge \alpha_{disagree}$）： 人間が実行する（$\lambda = 1$）。
3. コンテクスト的（Contextual, $\alpha_{agree} < D_{JS} < \alpha_{disagree}$）： 実行は確率的なルールによって決定される。ここで、人間による実行の確率は $D_{JS}$ に等しい。

2.4. 学習ダイナミクスと均衡

本論文は、人間が最終的な実行権限を保持する**シナリオ1：人間による調停（Human Arbitration）**に焦点を当てる。

• 政策更新： AIはすべてのレジームにおいて、実行されたアクションに向かって自身の政策を更新する。人間は、合意レジーム（$D_{JS} \le \alpha_{agree}$）においてのみ、自身の政策を更新する。
• 効用トレース： 効用は、実行されたアクションに基づき、指数加重移動平均（EWMA）トレースを用いてオンラインで更新される。
• 均衡概念： 本論文では、**頻度収束均衡（Frequency-Convergence Equilibrium）**を定義する。これは、古典的なナッシュ均衡（最善応答の不動点）とは異なり、確率的な政策適応プロセスの動的な安定化である。これは、経験的なレジーム頻度（$f_{agree}, f_{ctx}, f_{disagree}$）の漸近的な安定化によって特徴付けられる。

3. 主な貢献

1. ネオ・ゲーム理論の定式化： 本論文は、ハイブリッド・コーリションのための公理的基礎を確立し、交互に変わる権限がいかにして辞書式効用構造と潜在的な古典的推移性の崩壊をもたらすかを実証する。
2. エントロピーによる委任： イェンセン・シャノン・ダイバージェンスを利用した、実行レジーム（合意、コンテクスト、不一致）を生成する新しい委任ルールを提案する。
3. 人間による調停レジーム： 著者らは、AIが観察と頻度マッチングによって学習し、人間が最終的な調停者として機能する、この理論の最初のレジームを開発し、シミュレーションを行った。
4. 理論的特性付け： ロビンズ–モンローのステップサイズ、または一定のゲインの下で、システムが安定した政策頻度の分布に収束することを証明する。また、特定の条件下で、ダイバージェンス・プロセスが漸近的に定常かつエルゴード的であることを確立する。

4. 結果

著者らは、様々なホライゾン（$H \in \{200, \dots, 50,000\}$）およびパラメータ・グリッド（閾値、学習率、ステップサイズ・スケジュール、状態生成モード）にわたるシミュレーションを実施した。主な知見は以下の通りである：

• 収束： すべてのホライゾンにおいて、人間とAIの政策は次第に一致し、イェンセン・シャノン・ダイバージェンス（$D_{JS}$）はゼロに近づく。
• パラメータの役割：
  • 学習率（$\eta$）： 一定のステップサイズは初期の整合を加速させるが、小さな振動を誘発する。減衰するステップサイズ（ロビンズ–モンロー）は、より滑らかで安定した収束軌道を生み出す。
  • 閾値： 閾値はレジームの切り替え頻度を決定するが、長期的な整合の結果を変えることはない。
  • 状態生成： 状態が外生的（ランダム）に生成されるか内生的（アクション依存）に生成されるかは、短期的な揮発性に影響を与えるが、漸近的な均衡には影響しない。
• 過渡期 vs 漸近期： パラメータは主に、存在そのものよりも、学習の過渡的な経路（速度とノイズ）に影響を与える。十分に大きなホライゾン（$H \ge 30,000$）において、システムは、特定の学習スケジュールや環境仕様に関わらず、政策が一致し $D_{JS} \approx 0$ となる飽和レジームに達する。
• 安定性： システムは、古典的な最善応答最適化に依存することなく、堅牢な政策の整合を示す。安定性は、繰り返される実行、経験的な適応、および委任ルールの統計的構造から創発する。

5. 意義と主張

本論文は、より広範なネオ・ゲーム理論フレームワークの最初のレジーム（人間による調停）を提供していると主張している。その意義は以下の点にある：

• 理論的基礎： 効用を単に集計するモデルを超えて、権限が交互に入れ替わるハイブリッド・システムのための公理的基礎を提供する。
• 行動的均衡： 均衡を、静的な戦略的不動点としてではなく、経験的頻度と政策ダイバージェンスの動的な安定化として再定義する。
• 実用的実装： シミュレーション結果は、エントロピーに基づく委任がハイブリッド・システムにおいて堅牢に政策の整合を駆動できることを検証しており、人間が介在するトレーニングや信頼に敏感なAIシステムへの実行可能なメカニズムを示唆している。

著者らは、本研究が、デジタルに媒介された環境におけるナッシュ均衡やスタッケルバーグ均衡といった確立された解概念との体系的な比較を可能にする、将来的な拡張（具体的にはAI制御および交渉レジーム）のための基礎を築くものであると明言している。本論文は、すべてのハイブリッドな相互作用の問題を解決すると主張しているのではなく、実行権限が内生的かつ政策駆動型であるという、特定のクラスの相互作用を定式化することを目的としている。