あるグループの友人たちが、一緒に巨大なパズルを解こうとしている世界を想像してみてください。人工知能の世界では、これはマルチエージェント強化学習（MARL）と呼ばれます。ロボットの群れにサッカーを教えたり、デジタルキャラクターのチームにドラゴンとの戦い方を教えたりするようなものです。難しいのは、彼らにどのように「フィードバック」を与えるかを見極めることです。昔は、チームが勝てば、たとえ実際にボールを蹴ったのか、ただ立っていただけなのかに関わらず、全員に金メダルを与えていました。これは「共有報酬（shared reward）」と呼ばれます。しかし、もし実際にゴールを決めたロボットだけに金メダルを与えたらどうでしょう？ それが「個別報酬（individual reward）」です。

科学者たちは長い間、疑問を抱いてきました。金メダルの「渡し方」は重要なのでしょうか？ 全員に同じ報酬を与えることは、ロボットの脳（彼らの内部的な「表現」）を、全員が同じように考える退屈で同一的な塊にしてしまうのでしょうか？ それとも、個別のクレジットを与えることで、彼らの脳を明確かつ専門化された状態に保つことができるのでしょうか？ この論文はこの問いを掘り下げ、報酬の与え方がAIの脳の構造に目に見える指紋を残すのか、それとも単に彼らの「振る舞い」を変えるだけなのかを問うています。

偉大なる報酬実験

研究者たちは、SMACv2というビデオゲームの中で、AIの戦士チームを使って探偵役を務めることにしました。5体の友好的なユニット（ここでは「プロトス」と呼びます）が5体の敵と戦う戦場を想像してください。各ユニットには特定の役割があります。素早い偵察兵もいれば、重火器を持つアタッカーや、巨大なタンクもいます。ゲーム中、AIは自分がどのようなユニットであるかを正確に把握できます。

チームは、MAPPOと呼ばれるスマートな学習アルゴリズムを使用して、これらのAIエージェントを訓練しました。彼らは主に2つの実験を行いました。

1. 「チームプレーヤー」モード： 各エージェントが何をしようとも、チームが勝ったか負けたかに基づいて、すべてのエージェントに全く同じ報酬を与えます。
2. 「スタープレイヤー」モード： 各エージェントが、自分自身が個人的に与えたダメージ量に基づいて報酬を受け取ります。

大きな疑問はこうです。もし「スタープレイヤー」から「チームプレーヤー」に切り替えた場合、AIの内部的な脳マップは崩壊してしまうのでしょうか？ 全員が同じ報酬をもらうことで、偵察兵の脳がタンクの脳と全く同じようになってしまうのでしょうか？

驚きの結果：脳マップは変わらなかった

ここで、論文が見つけたひねりがあります。研究者たちは、「チームプレーヤー」モードがAIの脳をドロドロの同一的なものにしてしまうと考えていました。しかし、彼らは間違っていました。

彼らは、EffRank/n（これは基本的に、脳がどれほど多様な方向で思考しているかをチェックするツールです）という高度な数学的ツールと、プローブ（脳の活動を見るだけでユニットの役割を推測できるかを確認する単純なテスト）を使用して、AIの脳の「形」を測定しました。

結果は驚くべきものでした。

• 個別報酬の場合： AIの脳は明確に分かれていました。偵察兵、タンク、ヘビーヒッターは、脳マップ上の異なる「近隣地域」に住んでいました。プローブによるユニットの役割の推測精度は約**73%**であり、（ランダムに推測する確率である33%よりも遥かに高い数値です）
• 共有報酬の場合： AIの脳はほぼ全く同じに見えました。それでも、プローブは役割を**75%**の確率で正しく当てました。「脳の形」は全く崩れていなかったのです。

つまり、金メダルの渡し方は、AIの脳の「構造」を変えませんでした。幾何学的な形状は維持されたのです。

真の犯人：彼らが見ていたもの

もし報酬が変わらなかったのであれば、何が変わったのでしょうか？ 研究者たちは、答えが目の前に隠されていることに気づきました。それは**「観測（observation）」**です。

ゲーム内では、すべてのAIエージェントに対して、最初から「あなたは偵察兵です」あるいは「あなたはタンクです」と伝えられていました。それはまるで、自分の仕事が書かれたユニフォームを着ているようなものです。AIは自分の役割を「見る」ことができたため、たとえ全員が同じ報酬を得ていたとしても、その特定の仕事に対処するように脳が自然に組織化されたのです。

これを証明するために、研究者たちはトリックを使いました。彼らは観測を「マスク（隠蔽）」しました。つまり、AIに対して「あなたは偵察兵です」と伝えつつも、AIが自分のユニットタイプを確認できる画面の部分を覆い隠したのです。AIに自分の役割を教えず、戦場の混沌の中から自力で判断させるようにしました。

その結果は劇的でした。

• ユニットタイプを隠すと、プローブの精度は約74%から49%（ランダムな推測とほとんど変わらないレベル）まで低下しました。
• 脳マップにおける明確な「近隣地域」は崩壊し、一つの乱雑な塊となりました。
• これは、「チームプレーヤー」と「スタープレイヤー」の両方のグループで起こりました。

このことは、明確で整理された脳の構造は、報酬システムによって作られたのではないことを証明しました。その構造は、AIが自分の役割を「見ていた」ことによって生じたのです。視覚的な手がかりを取り除くと、報酬システムが魔法のように専門化された脳を作り出すことはできませんでした。

行動 vs 脳の構造

では、報酬システムは「何もしていない」のでしょうか？ 決してそうではありません。脳の構造は変わりませんでしたが、行動は変化しました。

エージェントが個別の報酬を得たとき（「スタープレイヤー」モード）、彼らの行動はより多様になりました。研究者はこれを、エージェントの動きの多様性をチェックするDactという指標で測定しました。

• 個別報酬： エージェントの行動はより多様でした（Dactスケールで1.23）。
• 共有報酬： エージェントの行動はやや似通っていました（Dactスケールで1.07）。

要するに、個別報酬を与えることは、エージェントにより創造的で多様な動きをさせましたが、彼らの脳を新しい形へと再編成させる強制力にはなりませんでした。形はすでにそこにありました。彼らが自分が何者であるかを見ることができたからです。

まとめ

この論文は、もしAIチームが真に専門化しているかどうかを知りたいのであれば、彼らが「ユニフォーム（自分の役割）」を着ている限り、脳の組織化を見るだけでは不十分であると結論付けています。その組織化は、報酬によるものではなく、彼らが見ている情報の反映に過ぎない可能性があるからです。

報酬システムが専門的な役割を生み出すかどうかを本当にテストするには、視覚的な手がかりを取り除かなければなりません。この特定のゲームにおいては、報酬システムはチームの「プレイの仕方（行動）」を変えましたが、彼らの精神の「構造」は、与えられた情報によって決定されていました。研究者たちは、報酬がゼロから専門化された脳を構築できるかを真に検証するためには、「隠された役割（AIが自分の仕事を知らない状態）」を用いたテストが必要であると示唆しています。

彼らはまた、48体のエージェントが登場する「Tribal Village」という別のより大規模なゲームでもテストを行い、同様の結果を得ました。指標はエージェントの能力を測定できましたが、報酬のタイプが脳の幾何学的な構造に明確な違いを生むことはありませんでした。彼らが開発したツール（EffRank/nとDact）は、追加の負荷が5%未満と非常に高速かつ容易であり、AIチームが本当に協力することを学んでいるのか、それとも単にユニフォームを暗記しているだけなのかをチェックするための優れた手段となります。