技術的概要：マルチエージェント強化学習におけるシフトする最適値への追従のための非最適行動の保持

問題定義

協調マルチエージェント強化学習（MARL）において、中央集権的学習と分散実行（CTDE）パラダイムに基づく価値分解手法（QMIX など）は大きな成功を収めています。しかし、これらの手法は単調性制約を通じて強制される個別 - 全局最大（IGM）条件に依存しており、これにより結合行動価値関数の表現力が制限されています。本作業で特定された決定的な限界は、既存の手法がトレーニング中に基盤となる価値関数が動的にシフトする際に適応できない点です。

従来のアプローチは通常、単一の最適結合行動の学習に焦点を当てています。環境や報酬構造が変化し、最適行動がシフトする場合（例：行動 $A$ から行動 $C$ へ）、単一の最適軌跡に依存する手法は、新しい最適値を回復できずに失敗することが多いです。これは、大規模な結合行動空間における $\epsilon$-greedy 方策への過度な依存によって悪化します。そこでは、エージェント数が増えるにつれて、代替となる高価値行動を同時に探索する確率が指数関数的に減少します。その結果、エージェントはしばしば非最適の方策に早期に収束し、移動する最適値を追跡することに苦労します。

手法：逐次副価値 Q 学習（S2Q）

これらの限界に対処するため、著者は代替となる高価値行動を保持し、シフトする最適値への迅速な適応を可能にするフレームワークである**逐次副価値 Q 学習（S2Q）**を提案します。

中核メカニズム

S2Q は、単一価値アプローチから離れ、$k = 0, \dots, K$ に対して $Q^{sub}_k$ と表記される $K+1$ の副価値関数の系列を学習します。

• $Q^{sub}_0$: 全局結合価値関数 $Q_{tot}$ として定義され、IGM 条件の下で真の最適行動を特定するように訓練されます。
• $Q^{sub}_k$ ($k > 0$): $k$ 番目の非最適結合行動を捉えるように設計されます。

学習プロセスは逐次抑制戦略を採用します。$Q^{sub}_0$ が全局最適を学習する間、その後の副価値関数は、以前の副価値関数によって特定された行動を除く行動の結合価値を最大化するように訓練されます。これは、時間的差分（TD）学習の目的関数を抑制項で修正することで達成されます。特定の副価値関数 $Q^{sub}_k$ に対して、ターゲット値は $Q^{sub}_0, \dots, Q^{sub}_{k-1}$ によって最適または非最適として既に特定された行動を抑制するように調整されます。

$Q^{sub}_k$ の目的関数は以下のように定義されます：
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
ここで、$A_{k-1,t}$ は以前の副ネットワークによって特定された行動の集合、$\alpha$ は抑制係数、$y_t$ は制約のない価値関数 $Q^*$ から導出されたターゲットです。理論的解析（定理 4.1）は、十分に大きな $\alpha$ を用いることで、各 $Q^{sub}_k$ が $k$ 番目の非最適行動を正常に特定することを保証します。

通信による協調実行

これらの副価値関数を効果的に利用するため、S2Q は標準的な $\epsilon$-greedy 方策をSoftmax ベースの行動方策に置き換えます。

1. サンプリング: 訓練中、エージェントは追跡された非最適行動の値（$Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$）に基づき、Softmax 分布 $P_t$ からインデックス $k$ をサンプリングします。
2. 実行: $k$ がサンプリングされると、エージェントは対応する副価値関数 $Q^{sub}_k$ の $\epsilon$-greedy 方策に従って行動を実行します。
3. 協調: 分散型エージェントはグローバル分布 $P_t$ を直接観察できないため、S2Q は訓練中にエンコーダ - デコーダアーキテクチャを採用します。エンコーダは局所履歴を潜在表現 $z_t$ にマッピングし、デコーダはグローバル状態と近似分布 $\hat{P}_t$ を再構成します。エージェントは $\hat{P}_t$ に基づいて $k$ の選択を同期します。
4. 分散実行: 重要なのは、テスト時には通信が不要である点です。$Q^{sub}_0$（$Q_{tot}$ に相当）が貪欲な最適行動を生成するのに十分であるため、評価は完全に分散化され、通信不要のまま維持されます。通信が厳密に必要となる環境向けに、実行中に潜在変数 $z_t$ を提供するS2Q-Commという変種も提案されています。

主要な貢献

1. 動的な最適性のシフトの特定: 既存の価値分解手法は、単一の最適値が見つかった時点で非最適行動に関する情報を破棄するため、移動する最適値を追跡できないことを論文は浮き彫りにしています。
2. 逐次副価値学習: 複数の非最適行動を明示的に学習・保持するフレームワークの導入により、最適行動が変化した際にシステムが迅速に転換することを可能にします。
3. Softmax ベースの探索: 推定値に基づいて有望な非最適行動への訪問を優先する新しい探索戦略であり、$\epsilon$-greedy 方策における結合探索確率の指数関数的な減衰を克服します。
4. 通信効率の高い設計: 副価値の選択を同期するために訓練中のみ通信を使用し、実行中は完全な分散化を維持するメカニズムです。

実験結果

著者は S2Q を2つの主要なベンチマーク、**StarCraft マルチエージェントチャレンジ（SMAC）とGoogle Research Football（GRF）**で評価しました。

• SMAC-Hard+ および GRF: S2Q は、様々なマップ（例：6h vs 8z、MMM2、Corridor）において、QMIX、WQMIX、DOP、FOP、PAC、RiskQ、MARR などの最先端のベースラインを一貫して上回りました。性能差は、トレーニング中に最適戦略がシフトする探索集約的なシナリオで最も顕著でした。S2Q はより速い収束と高い漸近勝率を実証しました。
• SMAC-Comm: 明示的な通信を必要とするタスク（例：5z vs 1ul、bane vs hM）において、S2Q-Comm 変種は、MASIA、NDQ、CAMA などの通信に焦点を当てたベースラインに対して、特に複雑な協調タスクにおいて大幅な改善を示しました。
• 確率的環境: S2Q は、ランダム化されたチーム編成を持つ SMACv2 や混合対戦相手の SMAC-Hard において優れた性能を維持し、確率的なダイナミクスに対する堅牢性を示しました。
• 一般性: この手法は VDN や QPLEX などの他の CTDE ベースラインにも成功裡に拡張され、一貫した性能向上をもたらしました。
• アブレーション研究: 実験により、逐次副価値学習と Softmax 誘導実行が重要な構成要素であることが確認されました。抑制メカニズムや Softmax 方策を除去すると、性能は著しく低下しました。最適な副ネットワークの数（$K$）は、多様性と安定性のバランスから 2 であることが判明しました。

意義と主張

この論文は、S2Q が協調 MARL の根本的な限界、すなわち単一の最適方策に収束する手法の硬直性を克服していると主張しています。非最適行動を保持することで、S2Q はエージェントが早期収束することなく、変化する価値景観に迅速に適応することを可能にします。

著者は、S2Q を、困難な MARL 環境における適応性と全体的な性能を向上させる実用的かつ一般的なフレームワークとして位置付けています。彼らは、この手法が実行中に通信を必要とせずにこれらの利益を達成することを強調しており、通信帯域幅が制限される可能性のある実世界での展開に適しているとしています。この作業は、非最適な代替案を明示的に追跡することが、マルチエージェントシステムにおける探索と堅牢性を強化するための実用的かつ効果的な戦略であることを示唆しています。