技術要約：$\alpha$-fair ヘテロジニアス・エージェント強化学習

問題提起

マルチエージェント強化学習（MARL）において、協力関係は伝統的に、全エージェントの効用の総和を最大化する功利主義的な目的関数を通じて最適化されてきた。この手法は効率的ではあるものの、報酬の分配を軽視しがちであり、一部のエージェントが疎外される不平等な「リーダー・フォロワー」型のダイナミクスを生み出す。公平性をMARLに統合しようとする既存の試みは、一般に以下の3つのカテゴリーに分類される：報酬シェーピング（例：不等価回避）、公平性制約、および社会的厚生目標。しかし、これらの手法には以下の決定的な限界がある：

1. 定常性の問題： 報酬シェーピング手法は履歴依存型の報酬に依存することが多く、マルコフ・ゲームの定常性を損なう。
2. 理論的保証の欠如： Independent PPO (IPPO) や Multi-Agent PPO (MAPPO) といった一般的なアルゴリズムは、たとえ公平性を組み込んだとしても、単一エージェントの信頼領域学習（TRL）に見られるような厳密な理論的収束保証を欠いている。
3. 汎用性と解釈性： 制約ベースの手法はドメイン固有であることが多く、一方で社会的厚生目標（$\alpha$-fairnessなど）は、理論的な安全策や（凹性などの）理想的な仮定に依存した、外挿されたPPO目的関数に依存していることが多い。

公平な目的関数と、理論的に安全な学習フレームワークの間には乖離が存在する。本論文は、単調改善とナッシュ均衡への収束を保証しつつ、$\alpha$-fairnessを最適化するフレームワークを導入することで、このギャップを埋めることを目的としている。

手法

理論的枠組み：$\alpha$-fair HATRL

著者らは、$\alpha$-fairnessと**ヘテロジニアス・エージェント信頼領域学習（HATRL）**を組み合わせた新しいフレームワークを提案している。

1. グローバルな公平目的関数：
   本フレームワークは、完全協力設定におけるグローバルな目的関数 $J(\vec{\pi})$ を以下のように定義する：
   $$J(\vec{\pi}) = \mathbb{E}_{s_0 \sim \rho_0} \left[ \sum_{i=1}^n U_\alpha(\nu + V_i^{\vec{\pi}}(s_0)) \right]$$
   ここで、$U_\alpha$ は $\alpha$-fair 効用関数であり、$\nu$ は正の値を保証する正の定数、$V_i^{\vec{\pi}}$ はエージェント $i$ の価値関数である。

   • $\alpha \to 0$ のとき、目的関数は功利主義的な総和に近づく。
   • $\alpha \to +\infty$ のとき、それはロールズ的厚生（max-min）関数に近づく。
   • $\alpha = 1$ のとき、それは比例的公平性（proportional fairness）に対応する。

2. 公平アドバンテージ関数：
   HATRLを適応させるため、著者らは公平アドバンテージ関数 $A_F^{\vec{\pi}}(s, \vec{a})$ を導入している。標準的なマルチエージェントのアドバンテージ関数とは異なり、これは各エージェントの期待リターン（$1/V_j^{\vec{\pi}}(s)$）によって動的に決定される重みを用いた、個々のエージェントのアドバンテージ関数の加重和である。この重み付けにより、期待リターンが高いエージェントの勾配更新への寄与を抑え、パフォーマンスの低いエージェントが改善するための余地を生み出す。

3. 逐次更新と代理関数：
   HATRLに基づき、著者らはグローバルな公平目的関数の改善の下界として機能する代理関数 $L_{\vec{\pi}}(\vec{\pi}')$ を導出している。彼らは、$J(\vec{\pi}') - J(\vec{\pi})$ が、この代理関数からKLダイバージェンス・ペナルティ項を引いたものによって抑えられることを証明している。
   極めて重要な点として、彼らは代理関数が $n$ 個の順序付けられた総和に分解できることを示している。これにより、信頼領域制約を遵守しながら、グローバルな公平目的に対する局所的な寄与を最大化するように、エージェントが一つずつ（ランダムな置換に従って）ポリシーを更新する逐次更新スキームが可能となる。

4. 理論的保証：
   本論文は以下の証明を提供している：

   • 単調改善： グローバルな公平目的関数 $J(\vec{\pi})$ は、各イテレーションにおいて増加（または等しい状態を維持）することが保証される。
   • 収束： 結合ポリシーの列は極限点に収束する。
   • ナッシュ均衡： 極限点の集合は空ではなく、各極限点は完全協力ゲームにおけるナッシュ均衡を構成する。

実践的アルゴリズム

高次元空間においてこのフレームワークを実装するため、著者らは2つの深層強化学習アルゴリズムを開発した：

1. $\alpha$-fair HATRPO： ヘテロジニアス・エージェント信頼領域方策最適化（HATRPO）の拡張である。標準的なマルチエージェント・アドバンテージを公平アドバンテージ関数に置き換え、KL制約と共役勾配更新を用いて制約付き最適化問題を解決する。
2. $\alpha$-fair HAPPO： ヘテロジニアス・エージェントPPO（HAPPO）の拡張である。ヘシアンの計算を回避するためにクリッピング機構を用いた一次近似を使用しており、計算効率を高めつつ、逐次更新構造を維持している。

主な貢献

1. 理論的架け橋： 本論文は、$\alpha$-fairnessをヘテロジニアス・エージェント信頼領域学習に統合した理論的に根拠のあるフレームワークを導入し、プロソーシャル（親社会的）な行動を学習するための数学的安全（単調改善と収束の保証）を提供した。
2. 新規な代理関数： 期待リターンに基づいてエージェントの効用を動的に重み付けする公平アドバンテージ関数の定義により、功利主義的な効率性から $\alpha$-fairness な厚生への移行を可能にした。
3. アルゴリズムの開発： 実践的なアルゴリズムである $\alpha$-fair HATRPO および $\alpha$-fair HAPPO を提案し、パラメトリックな方策設定における理論的枠組みを拡張した。
4. 実証的検証： 提案手法が、逐次的社会ジレンマ（SSD）環境において、ベースラインと比較して功利主義的な効率性を維持または上回りつつ、より高い社会的成果（低いジニ係数）を達成することを実証した。

実験結果

アルゴリズムは、SocialJaxスイートの2つの逐的社会ジレンマ（SSD）環境、CleanUp および CommonHarvest で評価された。

• ベースライン： 提案手法は、標準的なHATRPO/HAPPO（功利主義的）および FMAPPO（理論的保証のない比例的公平性を用いたPPOベースの手法）と比較された。
• 指標： パフォーマンスは、効率性のための総リンゴ消費量（TAC）と、公平性のためのジニ係数で測定された。
• 知見：
  • 公平性： パラメータ $\alpha$ を大きくすると、一般に結果はより公平になり（ジニ係数が低下）、$\alpha$-fair アルゴリズムは功利主義的なベースラインよりも大幅に低いジニ係数を達成した。
  • 効率性： CommonHarvest 環境では、$\alpha$-fair HATRPO および HAPPO は、より良い公平性を達成しつつ、TAC の観点で功利主義的なベースラインよりもわずかに優れた性能を示した。CleanUp では、効率性の優位性は最小限であり、FMAPPO が純粋な効率性において提案手法を上回ることもあったが、提案手法は依然として社会的に優れた結果（より低いジニ係数）を達成した。
  • FMAPPO との比較： FMAPPO も良好な性能を示したが、提案手法は、同等またはより優れた公平性を実現しつつ、理論的に安全な代替案を提供した。

意義と限界

意義：
本論文は、エージェントが持続可能でプロソーシャルな行動を採用するように訓練するための「数学的に安全な基礎」を確立したと主張している。単調改善とナッシュ均衡への収束を保証することで、本フレームワークは既存の公平なMARLアプローチにおける理論的保証の欠如に対処している。また、公平な目的関数と安全な学習フレームワークの間のギャップを埋めることに成功している。

限界：
著者らはいくつかの制約を認めている：

1. ハイパーパラメータへの敏感さ： 高い $\alpha$ 値（$\alpha > 1$）は、性能の低下と学習の不安定化を招く可能性がある。これは、公平アドバンテージ関数が高パフォーマンスのエージェントの重みを減少させることで、グローバルな目的関数が「最悪の学習者」に対して過度に敏感になるためである。
2. 理論的制約： 本フレームワークは正で有界な報酬の仮定に依存しており、これは特定の環境への適用を制限する。
3. 観測可能性： アルゴリズムは完全観測可能な状態を必要とする。実世界の部分観測シナリオでは、RNNなどの近似が必要となるが、それらには現在の理論的保証は伴わない。

結論として、著者らは、探索を強化するメカニズム（例：エントロピー正規化）や、$\alpha$ が高い場合に学習を安定させるための適応的制約に関する今後の研究を示唆している。