技術的サマリー：状態ブロックによるゼロショット協調の形成

問題定義

ゼロショット協調（ZSC）は、事前に共同での相互作用を行わずに、独立して訓練されたパートナー（人間を含む）と協調するマルチエージェントシステムの実現を目指しています。既存の手法であるセルフプレイ（SP）は、一緒に訓練されたエージェントに対しては効果的ですが、単一の協調慣習に収束する傾向があり、異なるランダムシードや手法で訓練されたパートナー（クロスプレイ、XP）と組み合わせた場合、性能が著しく低下します。

先行研究では、人口、ランダム化された方策、または環境の修正を通じてパートナーの多様性を高めることでこれを緩和しようと試みています。しかし、これらの戦略は、しばしば構造化された非最適協調モードの多様なセットを捉え損ねています。それらは最適慣習と類似しすぎた行動を生み出すか、あるいは一般化性の低い非構造的な変動を導入してしまいます。さらに、環境多様性アプローチは、多くの場合、環境への明示的なアクセスや修正を必要とし、その適用範囲を制限しています。核心的な課題は、基盤となる環境を変更したり外部の人間データを必要としたりすることなく、どのようにしてエゴエージェントを多様な構造化された非最適パートナー行動に体系的に曝露させるかです。

手法：状態ブロック協調（SBC）

著者らは、状態ブロックを通じて仮想的な環境変動を創出することで、パートナー行動に構造化された多様性を誘発するフレームワーク、**状態ブロック協調（SBC）**を提案します。

1. 状態ブロック MDP（SB-MDP）

SBC は、特定の状態を「ペナルティ状態」として指定する修正マルコフ決定過程を定義します。

• メカニズム: リプレイバッファからペナルティ状態の集合 $\tilde{S}$ が選択されます。報酬関数は、これらの状態への遷移を罰するよう修正されます：
  $$\tilde{R}(s_t, a_t, s_{t+1}; \tilde{S}) = R(s_t, a_t, s_{t+1}) - \alpha \sum_{\tilde{s} \in \tilde{S}} \frac{1}{\|s_{t+1} - \tilde{s}\|^2 + \epsilon}$$
  ここで、$\alpha$ はペナルティ係数です。
• 効果: パートナーに特定の状態を回避させつつタスクを完了させることで、SB-MDP は明確で局所最適な協調戦略を誘発します。これらの戦略は、大域的最適解とは異なりますがタスクとして有効でありながら、構造化された非最適行動を表します。

2. 訓練手順

SBC は、ブロック認識方策と通常のエゴ方策を含む 2 段階の訓練プロセスを採用します。

• ブロック認識方策（$\tilde{\pi}$）: この方策は SB-MDP 内で訓練されます。入力として特定のブロック状態の集合 $\tilde{S}$ に条件付けます。訓練中に多様なペナルティ状態の集合をサンプリングすることで、システムはそれぞれが特定のブロック状態によって規定された異なる協調慣習に従う、ブロック認識パートナーのファミリーを生成します。
• 通常のエゴ方策（$\pi_e$）: 最終的にテスト時に使用される方策は、元の MDP（ペナルティ状態入力なし）で訓練されます。これは以下の混合に曝露されます：
  1. 標準的なセルフプレイパートナー（自身のコピー）。
  2. ブロック認識パートナー（SB-MDP で訓練されたが、エゴの訓練中は元の MDP で行動する）。
     この曝露により、エゴエージェントは単一の慣習に過剰適合することなく、多様な構造化された行動と協調することを学習できます。

3. 値に基づくペナルティ状態スケジューリング

タスク完了に不可欠なペナルティ状態の選択（これによりパートナーの性能が過度に低下する）を防ぐため、SBC はスケジューリングメカニズムを導入します。

• クリティカリティ指標: 値のギャップ $\Delta V(\tilde{s}) = V^{\pi}(s_0) - \tilde{V}^{\tilde{\pi}}(s_0, \tilde{s})$ は、状態のブロックがリターンをどの程度低下させるかを定量化します。
• サンプリング戦略: ペナルティ状態は、確率 $P(\tilde{s}) \propto \exp(-\beta \Delta V(\tilde{s}))$ でサンプリングされます。
• アニーリング: 温度 $\beta$ は 0 から 1 へアニーリングされます。訓練の初期段階では、多様性を最大化するためにサンプリングはほぼ一様に行われます。後期には、スケジューラーは極めてクリティカルな状態の重みを段階的に低下させ、意味のあるが壊滅的ではない非最適行動を誘発するブロック構成に焦点を当てます。

4. 追加コンポーネント

堅牢性をさらに向上させるため、SBC は以下の要素を取り入れます。

• パートナー行動予測: 補助モデルがパートナーの行動を予測し、それが適応を支援するためにエゴ方策に供給されます。
• ランダム行動注入: パートナーは、逸脱に対する堅牢性を向上させるため、時折ランダムな行動を実行します。

主要な貢献

1. フレームワーク: 環境の遷移ダイナミクスを変更したり外部データを必要としたりすることなく、状態ブロックを通じて構造化されたパートナー多様性を生成する手法、SBC の導入。
2. メカニズム: 多様性とタスクの実現可能性のバランスを取るための状態ブロック MDP の定式化と、値に基づくスケジューリング戦略。
3. 性能: 複数のベンチマークにおいて、SBC が優れたゼロショット協調性能を達成し、セルフプレイとクロスプレイのスコア間のギャップを大幅に縮小したことの証明。
4. 人間-AI 協調: SBC が人間の代理と実際の人間参加者の両方と効果的に協調し、タスクリターン、衝突の減少、および知覚される協調の流暢さにおいて既存のベースラインを上回ることを検証。

実験結果

著者らは、Multi-Destination Spread および Overcooked v1（5 つのレイアウト）において SBC を評価し、IPPO、FCP、MEP、E3T、GAMMA、CEC などのベースラインと比較しました。

• Multi-Destination Spread: SBC は XP スコア 957.2（IPPO は 77.4）を達成し、ギャップは 24.8（IPPO は 912.6）でした。SP と XP の両方で高い性能を維持したのは SBC だけでした。
• Overcooked v1: SBC はすべてのレイアウトにおいてクロスプレイでベースラインを一貫して上回りました。例えば、Coordination Ring レイアウトでは、SBC は XP 316（ギャップ 17）を達成したのに対し、IPPO は 41（ギャップ 246）でした。SBC はまた、他の手法と比較してセルフプレイ性能を維持または向上させました。
• ホールドアウト XP: SBC は、異なるシードだけでなく、異なる ZSC 手法で訓練されたパートナーに対しても堅牢な一般化を示しました。
• 人間-AI 評価: 40 人の実際の人間参加者による実験において、SBC はすべての 5 つのレイアウトで最高スコアを達成しました。配送あたりの衝突回数が最も少なく、7 点リッカート尺度での協調の流暢さに関する参加者の評価が最も高かったです。

意義と主張

本論文は、SBC が既存の ZSC 手法の根本的な限界、すなわち多様でありながら構造化された非最適パートナー行動を構築できないという問題に対処していると主張しています。「ブロック認識」パートナーを誘発することで、SBC はエゴエージェントを多様な協調慣習に曝露し、未見のパートナーに対する堅牢な一般化を可能にします。

著者らは以下を強調しています。

• SBC は、CEC のような明示的な環境修正や大規模な人間データ収集を必要としません。
• この手法は人間パートナーとの協調を改善し、多様な局所最適戦略への曝露がエージェントの人間特有の癖への適応を助けることを示唆しています。
• SBC はハイパーパラメータ（$\alpha$ と $K$）を導入しますが、値に基づくスケジューリングにより中程度のばらつきに対して堅牢であり、計算オーバーヘッドは、性能向上や GAMMA や CEC などの重たいベースラインと比較して modest（適度）です。

この研究は、SBC を、実世界のシナリオにおいて独立して訓練されたシステムや人間の協力者とシームレスに統合できる協調型 AI エージェントの展開に向けた実用的な一歩として位置付けています。