💻 computer science

Expected Return Symmetries

本論文では、従来の環境対称性を包含するより広範なクラスである「期待収益の対称性」を導入しており、これにより、エージェントは真の対称性に関する事前知識を必要とすることなく、分散型マルチエージェント設定において優れたゼロショット協調を実現できる。

原著者： Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「Expected Return Symmetries（期待リターン対称性）」の解説

大きな問題：「左手」対「右手」のジレンマ

2台のロボットが、協力型のゲーム（例えば、自分のカードが見えない高度なルールを持つ『Hanabi』や、混沌とした料理シミュレーター『Overcooked』のようなもの）をプレイするために、それぞれ別々に訓練されている場面を想像してください。彼らは自分自身とプレイしている間は、そのゲームにおいて非常に優秀です。

しかし、ロボットAとロボットBを初めてペアにして対戦させると、彼らは無残に失敗します。なぜでしょうか？

それは、単独訓練の間に、彼らが偶然にも独自の「秘密の言語」を作り上げてしまったからです。

ロボットAは、「相手がカードを置いたら、それは『私は嬉しい』という意味だ」と学習しました。
ロボットBは、「同じ行動は『私は怒っている』という意味だ」と学習しました。

論文の用語では、これは**相互に不適合な対称性の破れ（mutually incompatible symmetry breaking）**と呼ばれます。ロボットたちは、個々の視点では正しい解決策を見つけましたが、どのバージョンの解決策を使うかについて合意できていないため、まるで一方が左手を差し出し、もう一方が右手を差し出している状態で握手をしようとしているような状態なのです。両者とも自分の中では「正しい」のですが、うまく連携できません。

旧来の解決策：「Other-Play」（ルールブックによるアプローチ）

以前の研究者は、ロボットに**環境の対称性（environment's symmetries）**を尊重するように教えることで、この問題を解決しようとしました。

ゲーム環境を、4つの同一なドアがある部屋だと考えてください。北のドアを通れば報酬が得られ、南のドアを通っても全く同じ報酬が得られます。この部屋は「対称的」です。

旧来の方法： 研究者はロボットにこう伝えました。「おい、北と南は同じだ。『北が良い』とだけ覚えるのではなく、『北のように見えるドアならどれでも良い』ということを覚えなさい」。
限界： この方法は、色や方向といった明らかなものにはうまく機能します。しかし、「同じであること」が部屋のレイアウトではなく、戦略そのものに関わる場合には機能しません。それは、ロボットに「赤い帽子を被るか青い帽子を被るかは重要ではない」と教えながら、「特定の種類の帽子を被ることが、パートナーに『準備完了』と伝える唯一の方法である」という事実を見落としているようなものです。

新しい解決策：「Expected Return Symmetries」（「何が機能するか」によるアプローチ）

論文の著者たちは、これらの隠れたつながりを見つけ出すための、よりスマートな方法を提案しています。環境の「ルール」を見るのではなく、結果（報酬）を見るのです。

彼らは**「Expected Return Symmetries（期待リターン対称性）」**という概念を導入しています。

比喩：「魔法の鏡」
目の前に魔法の鏡があると想像してください。もしあなたが特定のダンスの動きをしたら、金メダルがもらえます。

旧来の視点： 鏡は、見た目が全く同じもの（例：左手を上げたら反射も右手を上げる）だけを映し出します。
新しい視点（Expected Return）： 鏡はもっと賢いです。鏡はこう問いかけます。「もしあなたのダンスの動きを全く別のものに変えたとしても、それでも金メダルはもらえますか？」

もし答えが「イエス」であれば、その2つの異なるダンスの動きは、この論文における「対称的」なものとなります。見た目は全く違っても、それらは同じ成功へと導くのです。

論文は、ロボットがこれらの「結果に基づいた対称性」を認識するように訓練することで、より柔軟になれると主張しています。ロボットは、「アクションX」と「アクションY」が、たとえゲームのルールが明示的に同じだと言っていなくても、どちらも幸福な結果をもたらすからこそ、互換性があるのだと学習します。

どのように行ったのか（「試行錯誤」のマシン）

この論文は、単にこれらの対称性を推測するのではなく、自動的に見つけ出す手法を構築しました。

専門家の集団： まず、Self-Play（自己対戦）という手法を用いて、ゲームのエキスパートとなる多くのロボットを訓練しました。
シャッフル・ゲーム： 次に、これらのエキスパート・ロボットを取り出し、彼らの行動を「シャッフル」し始めました。行動を入れ替えたり、観測内容を変えたり、戦略を混ぜ合わせたりしました。
スコアキーパー： 彼らはこう問いかけました。「もしロボットAの戦略をロボットBの戦略と入れ替えたら、依然として高いスコアを得られるだろうか？」
- もしスコアが高止まりしていれば、その入れ替えは有効な「Expected Return Symmetry」です。
- もしスコアが崩壊してしまえば、その入れ替えは不適切です。
結果： 彼らは、成功を維持できる「魔法の入れ替え（magic swaps）」のセットを見つけ出しました。そして、新しいロボットが訓練中にこれらの入れ替えを使用できるように教え込みました。

結果：なぜこれが重要なのか

論文では、以下の3つのシナリオでテストを行いました。

シンプルなレバー・ゲーム： 基本的な協調タスク。
Overcooked V2： タイミングとコミュニケーションが鍵となる複雑な料理ゲーム。
Hanabi： 隠された情報が存在する、非常に難しいカードゲーム。

判明したこと：

「Expected Return」を用いた手法で訓練されたロボットは、従来の「環境の対称性」を用いた手法よりも、見知らぬ相手との協調において有意に優れた成績を収めました。
Overcooked ゲームにおいて、新しい手法は「自分自身とプレイする場合」と「見知らぬ相手とプレイする場合」の間のギャップを大幅に縮小させました。
Hanabi においては、新しい手法は、ゲームのルール（赤と青が単なる色の入れ替えであることなど）に関する「カンニングペーパー」を持っていなかったにもかかわらず、従来の最先端の手法を上回る成果を出しました。

結論

この論文は、AIエージェントが事前の調整なしにうまく協力できるようにするためには、単にゲームのルールを教えるべきではないと主張しています。代わりに、**「どのような異なる振る舞いが、同じ成功につながるのか」**を認識させるべきなのです。

入力（環境のレイアウト）ではなく、**結果（期待されるリターン）**に焦点を当てることで、ロボットはより広く、より柔軟な「秘密の握手（secret handshakes）」を学習します。これにより、彼らは新しいパートナーに対してより迅速かつ効果的に適応できるようになり、長年マルチエージェントAIを悩ませてきた「左手 vs 右手」の問題を解決することができるのです。

技術要約：期待リターン対称性（Expected Return Symmetries）

問題提起
協調型マルチエージェント強化学習（MARL）において、根本的な課題は**ゼロショット協調（ZSC）**である。これは、個別に訓練されたエージェントが、テスト時に事前の通信なしに、新しいパートナーと効果的に協調できる能力を指す。ZSCにおける主要な失敗モードの一つは、**相互に不整合な対称性の破れ（mutually incompatible symmetry breaking）**である。エージェントが孤立して訓練を行うと、等価ではあるが互いに互換性のない方策に収束してしまうことがある（例：あるチームは「プレイ」の合図として青色を用いることに合意したが、別のチームは赤色を使用する場合など）。

Other-Play (OP) などの既存手法は、Dec-POMDPの対称性（遷移関数および報酬関数を不変に保つ状態、行動、観測のリラベル操作）の下で等価な方策間の互換性を強制することで、この問題に対処している。しかし、これらの手法には2つの限界がある：

協調の失敗モード： 環境の対称性の破れは、協調失敗の一種に過ぎない。エージェ方面は、非自明なDec-POMDP対称性が存在しない場合でも、過度に特定の慣習を形成してしまう「過剰協調（over-coordination）」を起こす可能性がある。
対称性のアクセシビリティ： 現在の手法は、環境の対称性を事前に知っている必要がある。大規模なDec-POMDPにおいてこれらの対称性を自動的に発見することは計算量的に困難な場合が多く、多くの手法は、現実世界の環境では利用不可能な特権情報（例：真のダイナミクスや対称性群）に依存している。

手法
本論文では、Dec-POMDPの対称性を部分群として含む、より広範なクラスである期待リターン（ER）対称性を導入する。

定義： 変形 $\phi$ がER対称性であるとは、自己対戦による最適ボルツマン探索方策（ $\Pi^*_\alpha$ ）の集合を保存することを指す。具体的には、 $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ である。Dec-POMDPの対称性が遷移関数と報酬関数の不変性を要求するのに対し、ER対称性は、変形が最適方策を他の最適方策へと写すこと（期待リターンの保存）のみを要求する。
理論的特性： 著者らは、 $\Phi_{ER}$ が関数合成の下で群を形成することを証明している。決定的なのは、 $\Phi_{ER}$ は多くの場合においてDec-POMDPの対称性の厳密な超集合であり、単なるラベルの置換ではなく、戦略に基づいた協調の違いを捉える点である。
学習アルゴリズム： $\Phi_{ER}$ $Φ_{E R}$ は事前に既知ではないため、本論文では、グラウンドトゥルースの対称性や環境のダイナミクスにアクセスすることなく、勾配ベースの最適化を用いて近似的なER対称性をスケーラブルに学習する手法を提案している。
- 目的関数1（リターン保存）： 変形された方策の期待リターンを最大化する： $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ 。ここで $\Pi'$ は自己対戦による最適方策のプールである。
- 目的関数2（結合性と可逆性）： 学習された変形が群を形成することを保証するため（閉包と可逆性を強制するため）、二重適用後に恒等写像からの偏差をペナルティ化し、合成された変形の下でのリターンを最大化する、正則化された目的関数が導入される。
- 目的関数3（クロスプレイ最大化）： 代替アプローチとして、方策のペア間のクロスプレイ性能を直接最適化する。
- 本手法は最小限の構造を仮定している。すなわち、状態の変形を恒等写像に固定し、観測および行動の変形を学習する（多くの場合、行動の置換の探索とニューラルネットワークを介して行う）。

主な貢献

ER対称性の定義： 期待リターンの保存に基づく新しい対称性群を定義し、これは従来のDec-POMDPの対称性を包含するものである。
モデルフリーの発見： エージェントと環境の相互作用のみから、環境の構造やダイナミクスに関する特権情報を必要とせずに、これらの対称性を学習するアルゴリズムを導入した。
改善されたZSC性能： 学習されたER対称性をOP学習規則と組み合わせることで、過剰協調を防ぎ、標準的な自己対戦やDec-POMDP対称性を用いたOPを大幅に上回る性能を示すことを実証した。
困難な設定における堅牢性： 本手法は、Off-Belief Learning (OBL) や認知階層（Cognitive Hierarchies）といった最先端の手法が失敗する環境（特定のレバーゲームやOvercooked V2など）においても成功することを示した。

実験結果
著者らは4つの環境で手法を評価している：

反復3レバーゲーム（Iterated Three-Lever Game）： この設定では、ER対称性はDec-POMDPの対称性と一致しており、手法は最適なZSC方策を正常に回収した。
トイ協調ゲーム（Toy Coordination Game）： 本手法は、Dec-POMDPの対称性ではない非自明なER対称性（行動の入れ替え）を正常に回収し、従来のグループの外にある対称性を発見できる能力を示した。
Overcooked V2： この非対称かつ確率的なベンチマークにおいて、学習されたER対称性を用いたエージェントは、平均クロスプレイ（XP）スコアで15.8を達成し、自己対戦のベースライン（6.74）を大幅に上回り、協調結果の分散を減少させた。
Hanabi： この複雑なカードゲームにおいて、11個の学習されたER対称性を用いたエージェントは、平均XPスコア21.64を達成し、標準的なIPPOベースライン（4.02）および全120個の既知のDec-POMDP対称性に制約されたIPPOベースライン（8.61）の両方を上回った。この結果は、ER対称性が最適性をより良く保持しながら、互換性を強制できることを示している。

意義と主張
本論文は、期待リターン対称性が以下の点でZSCにおける重要な進歩であることを主張している：

対称性の一般化： 硬直した環境の不変性を超え、最適戦略の多様性をより適切に扱う、より柔軟で方策中心の対称性の定義へと移行した。
特権情報の除去： 環境の対称性やダイナミクスに関する事前知識を必要とせずにZSCを改善する最初の対称性ベースの手法であり、そのような情報が利用不可能な設定にも適用可能である。
協調の失敗の解決： 従来の対称性ベースまたは多様性ベースの手法（OBLなど）が失敗する環境においても効果的な、過剰協調に対する解決策を提供する。

著者らは、探索空間の表現力（行動・観測空間上の全単射に制限されていること）がすべての環境（例：2レバーゲームのバリアント）に対して十分ではない可能性があり、手法の成功は対称性を学習するために使用される方策の質に依存することを認め、限界についても言及している。