Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models

この論文は、解釈性の低い深層強化学習に代わり大規模言語モデルを用いて可読なコードとして方策を生成する「コード空間反応オラクル（CSRO）」という新たなマルチエージェント学習フレームワークを提案し、競合する性能を維持しつつ説明可能な多様な戦略の発見を実現することを示しています。

要約

透明な将棋盤：AI が「黒箱」から「説明できるコード」へ進化する話

こんにちは。今日は、Google DeepMind の研究者たちが発表した、とても面白い新しいアイデアについてお話しします。

タイトルは**「Code-Space Response Oracles（コード・スペース・レスポンス・オラクル）」、略してCSRO**です。

少し難しそうな名前ですが、実はとてもシンプルで、私たちの日常生活にも通じる「魔法の箱」の話です。

1. 従来の AI は「魔法の黒箱」だった

まず、これまでの AI（特にゲームや戦略を学ぶ AI）がどうだったか想像してみてください。

AI が将棋やポーカーで強い戦略を学ぶとき、私たちは**「黒箱（ブラックボックス）」**という箱に AI を入れているようなものです。

• 入力： 相手の動きやゲームの状況を入れる。
• 中身： 箱の中で AI が「ニューラルネットワーク」という複雑な計算を何億回も行って、答えを導き出す。
• 出力： 「石を打て」「Fold（降りろ）」という答えが出てくる。

問題点：
箱の中がどうなっているか、誰にも分かりません。
「なぜその手を打ったのか？」と聞いても、AI は「計算結果だから」としか答えられません。

• 「この戦略は正しいのか？」と確認できない。
• 「どこに弱点があるのか」を人間が理解して修正できない。
• 医療や自動運転など、失敗が許されない現場では、この「理由が分からない」状態は非常に危険です。

2. CSRO のアイデア：「黒箱」を「レシピ本」に変える

そこで登場するのが、今回の新しい方法CSROです。

彼らは、AI に「答え」を直接出す代わりに、「人間が読めるプログラム（コード）」を書くことをさせました。

• 従来の AI： 箱の中で計算して、答えを出す（理由不明）。
• CSRO の AI： 将棋のルールや相手の動きを見て、**「勝つための戦略を説明したレシピ本（コード）」**を書き出す。

これにより、AI が考えた戦略は、人間が読める文章やコードとして残ります。
「あ、この AI は『相手がこう来たら、こう返す』というルールをこう書いていたんだ！」と、戦略の理由が丸見えになるのです。

3. 具体的な仕組み：「天才的な料理人」と「試行錯誤」

このシステムは、**「大規模言語モデル（LLM）」**という、非常に賢い AI（私たちが使っているチャットボットの上位版のようなもの）を使っています。

ステップ 1：レシピの依頼

研究者は、LLM に「将棋のルール」と「相手の戦略（レシピ）」を渡します。そして、「この相手に対抗して勝つための、新しい戦略のレシピ（コード）を書いてください」と頼みます。

ステップ 2：試行錯誤（進化）

ただ一度書くだけではありません。

1. ゼロショット： 最初に、LLM が即座にレシピを書きます。
2. フィードバック： そのレシピで実際にゲームをさせてみます。「あ、このレシピだと負けるな」という結果が出たら、LLM に「ここを直して」と伝えます。
3. 進化的改良（AlphaEvolve）： 複数のレシピを同時に作って、良いものだけを残し、悪いものを改良していく「進化」のプロセスを繰り返します。

まるで、**「料理のコンテスト」**をしているようなものです。

• 料理人（LLM）がレシピ（コード）を作る。
• 審査員（ゲームの結果）が「味が薄い」「辛すぎる」と評価する。
• 料理人が評価を聞いてレシピを修正し、より美味しい料理（強い戦略）を作る。

これを繰り返すことで、**「人間が読めて、かつ非常に強い」**戦略が完成します。

4. なぜこれがすごいのか？（石とポーカーの例）

論文では、2 つのゲームで実験しました。

① じゃんけん（Repeated Rock-Paper-Scissors）

• 従来の AI： 勝つことはできるが、なぜ勝てたか分からない。
• CSRO の AI： 生成されたコードを見ると、**「相手の過去の動きを分析して、パターンを見つけている」**というロジックが書かれていました。
  • 「相手が『グー』を出しやすい傾向があるなら、『パー』を出そう」という、人間にも理解できる論理がコードの中に明記されていました。
  • さらに、「相手が私の動きを予測しているなら、私はあえて逆の動きをしよう」という**「相手の思考を読む（トイ・オブ・マインド）」**ような高度な戦略までコードに書かれていました。

② ポーカー（Repeated Leduc Hold'em）

• ポーカーは「隠し情報」があるゲームです。
• CSRO が作った AI は、**「相手の性格（臆病か、攻撃的か）を推測し、それに応じて『ブラフ（嘘）』を使うか『本気』で勝負するかを計算する」**という、非常に人間らしい戦略をコードに書いていました。
• 従来の AI は「確率計算で勝つ」だけでしたが、CSRO の AI は**「相手の心理を操作する」**という、より高度で説明可能な戦略を身につけました。

5. まとめ：AI との信頼関係の構築

この研究の最大の功績は、**「AI の思考を透明化（可視化）した」**ことです。

• 昔： 「AI が勝った。理由は分からない。でも、信じて使おう。」（黒箱）
• 今： 「AI が勝った。理由はここにある。この戦略は理にかなっている。だから、安心して使おう。」（透明なレシピ）

これにより、AI を医療、金融、自動運転などの**「失敗が許されない重要な現場」で使う際、人間がその判断を「納得して」**受け入れることができるようになります。

一言で言うと：

「AI に『答え』を渡すのではなく、**『答えに至るまでの思考プロセス（レシピ）』**を書かせて、人間と AI が一緒に戦略を改良していく新しい時代が始まった」

これが、Code-Space Response Oracles（CSRO）が私たちに教えてくれた、未来の AI の姿です。

技術概要

論文要約：Code-Space Response Oracles (CSRO)

タイトル: Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
著者: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot (Google DeepMind)
日付: 2026 年 3 月 12 日

1. 背景と課題 (Problem)

マルチエージェント強化学習（MARL）の分野では、Policy-Space Response Oracles (PSRO) などの手法が、複雑なゲームにおける近似ゲーム理論的均衡（ナッシュ均衡など）の計算を可能にしています。しかし、従来の PSRO には以下の重大な課題がありました。

• ブラックボックス化: 最適応答（Best Response）を計算する「オラクル」として、深層強化学習（Deep RL）が使用されています。これにより生成される方策はニューラルネットワークであり、その内部論理が不透明（ブラックボックス）です。
• 解釈性の欠如: 生成された戦略が「なぜ」その行動をとるのかを人間が理解、検証、デバッグすることが困難です。このため、説明可能性が求められる高リスクな実世界応用への展開が妨げられています。
• サンプル非効率性: 深層 RL オラクルの学習には、数百万〜数十億回のゲームシミュレーションが必要となる場合が多く、計算コストが膨大です。

2. 提案手法 (Methodology)

本論文は、これらの課題を解決するためにCode-Space Response Oracles (CSRO) という新しいフレームワークを提案します。CSRO は、深層 RL オラクルに代わって大規模言語モデル（LLM） を用い、最適応答の計算を「コード生成タスク」として再定義します。

2.1 基本的なアプローチ

• コード生成による方策: LLM にゲームのルール、環境との API、対戦相手の戦略（ソースコードまたは要約）を提示し、最適応答となる実行可能なソースコード（Python 関数など） を生成させます。
• 解釈性の確保: 生成された方策は人間が読み解けるコードであり、コメントやドキュメントストリングを通じて戦略の意図を直接説明できます。
• 事前知識の活用: LLM が持つ論理、計画、戦略に関する事前知識を活用することで、高価な探索（Exploration）を大幅に削減し、人間のような複雑な戦略を素早く発見します。

2.2 アルゴリズムの拡張と改良

CSRO は、単なるゼロショット（Zero-shot）生成を超え、以下の 3 つのオラクル改良メカニズムを導入しています。

1. ゼロショット (Zero-shot): 対戦相手の情報をプロンプトに含め、LLM に直接コードを生成させる。
2. 線形改良 (LinearRefinement): 生成されたコードを評価し、負の利得（負け）の場合、そのフィードバックに基づいて LLM にコードの修正を要求するループを実行する。
3. AlphaEvolve: 分散型進化アルゴリズムを採用。複数のスレッドでプログラムを突然変異させ、スコア関数（メタゲームでの性能）に基づいて高スコアな変種を選択・進化させる。これにより、多様性のある高品質な戦略を探索する。

2.3 コンテキスト管理

複雑なゲームでは、すべての対戦相手のソースコードをプロンプトに含めることが不可能な場合があります。CSRO は、LLM 自身に相手の戦略を自然言語で要約させたり、メタゲーム均衡における重みの高い上位 k 個の相手のみを選択したりする「コンテキスト抽象化」を行い、スケーラビリティを確保しています。

3. 実験と結果 (Results)

CSRO の有効性を検証するため、以下の 2 つの環境で実験を行いました。

3.1 環境

• 反復じゃんけん (Repeated Rock-Paper-Scissors, RRPS): 1000 ラウンドのじゃんけん。多様なヒューリスティックなボット（ランダム、パターン認識、マルコフ連鎖など）との対戦で評価。
• 反復 Leduc ポーカー (Repeated Leduc Hold'em): 不完全情報ゲームのベンチマーク。CFR+（Counterfactual Regret Minimization）で計算された最適戦略や、単純なヒューリスティックボットとの対戦で評価。

3.2 主要な結果

• 性能: CSRO（特に AlphaEvolve を使用した場合）は、深層 RL ベースの PSRO-IMPALA や、従来の RL アルゴリズム（Q-learning など）と比較して、人口内エクスプロイタビリティ（PopExpl）が低く、集団からのリターン（PopReturn）が高い 均衡に収束しました。
  • RRPS では、CSRO の LinearRefinement 変種は、27B パラメータの Gemma 3 モデルをベースとした LLM エージェントと同等以上の総合スコア（AggScore）を達成しました。
  • Leduc ポーカーでは、CFR+ と同等の堅牢性を持ちつつ、特定のヒューリスティックな相手（AlwaysCall など）に対しては、CFR+ を凌駕する搾取能力（Super-Nash 性能）を発揮しました。
• 解釈性の検証: 生成されたコードを分析したところ、LLM は以下のような高度な戦略的要素を明示的に実装していることが確認できました。
  • じゃんけん: 32 種類の予測専門家（エキスパート）のアンサンブル、5 乗の重み付けによる適応、そして「心の理論（Theory of Mind）」に基づく 2 次メタ予測（相手の予測モデルを推測して対抗する）。
  • ポーカー: 相手の行動履歴に基づいた確率モデルの構築、期待値（EV）の明示的な計算、相手の「Fold」確率に応じたブラフと価値ベットの動的な切り替え。
• 計算効率: 従来の LLM エージェントが各ターンごとにモデルを呼び出すのに対し、CSRO は一度生成されたコードを再利用するため、ゲームごとの LLM 呼び出し回数が劇的に減少し、実用的な効率性を示しました。

4. 主な貢献 (Key Contributions)

1. CSRO フレームワークの提案: 深層 RL オラクルを LLM によるコード生成オラクルに置き換え、解釈可能なマルチエージェント方策を合成する新しいアプローチ。
2. 進化アルゴリズムの統合: AlphaEvolve を用いた反復的コード改良により、ゼロショット生成よりも遥かに高性能で堅牢な戦略を生成可能にすること。
3. 厳密なベンチマーク: 内部評価だけでなく、標準化された外部ボット集団やゲーム理論ソルバー（CFR+）との比較を通じて、コード生成オラクルが成熟した RL ベースラインと競合できることを実証。
4. 透明性の高い戦略: 生成されたコードが、高度な相手モデリングや適応的戦略を人間が理解・検証可能な形で提供すること。

5. 意義と結論 (Significance)

本論文は、マルチエージェント学習のパラダイムを「不透明なパラメータの最適化」から「解釈可能なアルゴリズム的行動の合成」へとシフトさせる重要な一歩です。

• 実用性: 金融、サイバーセキュリティ、自律運転など、説明責任が求められる分野での AI 導入を促進します。
• 効率性: 深層 RL に必要な膨大なサンプル数を削減し、LLM の推論能力を活用することで、戦略発見の効率を向上させます。
• 科学的発見: 生成されたコードは、人間が設計したヒューリスティックを超えた、あるいは人間が直感的に理解できる形で複雑な戦略を提示しており、ゲーム理論や認知科学への新たな洞察を提供します。

限界として、LLM の能力やプロンプトの質に依存すること、および非常に高次元の状態空間を持つゲーム（StarCraft など）へのスケーラビリティには課題が残っていますが、CSRO は解釈性と性能を両立する有望な方向性を示しています。