💻 computer science

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

本論文は、公共財ゲームにおける協調型およびフリーライダー型の LLM エージェント間での自然言語憲法の敵対的共進化が実現可能であり、解釈可能なレッドチーム成果物を生み出すことを示すが、それはモード回帰を防ぐために結合された適合度関数と十分な評価予算を採用する場合に限られる。

原著者： Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大なデジタル遊び場を想像してください。そこでは、2 つの AI エージェントのチームが互いに相手を欺こうと絶えず競い合っています。一方のチーム、ブルーチームは、協力的で有益であろうと努めています。もう一方のチーム、レッドチームは、「フリーライダー」、つまり貢献せずに集団の利益を享受しようとする存在になろうとしています。

この論文は、まるでリアリティショーのようであり、この 2 つのチームが 30 ラウンドにわたる「軍拡競争」に閉じ込められています。しかし、より大きな兵器を構築する代わりに、彼らは毎ラウンド、自らのルールブック（「憲法」と呼ばれます）を書き換え、どちらが勝てるかを試しています。

以下に、研究者たちが発見したことを、シンプルな比喩を用いて説明します。

1. 「共有の鍋」ゲーム（公共財ゲーム）

まず、研究者たちはチームを、全員がお金を共有の鍋に入れるゲームに置きました。鍋の金額は倍増し、その後、全員が均等に分配を受けます。

設定: ブルーチームは、「寛大であり、不正を行う者を罰せよ」というルールブックでスタートします。一方、レッドチームは、「すべてを奪い、何も与えるな」というルールブックでスタートします。
競争: 30 ラウンドをプレイするにつれ、彼らはルールブックを書き換え続けます。
- ブルーチームは、あまりにも寛大だとレッドチームにすべてを奪われることを学びます。そのため、彼らはより厳格になることを学びます。
- レッドチームは、あまりにも激しく不正をすると、ブルーチームに厳しく罰せられて敗北することを学びます。そのため、彼らは捕まらずに生き残るために必要な分だけ不正をするよう学びます。
結果: 最終的に、両チームは完璧な引き分けに達します。両チームともほぼ同じスコア（1 点中約 0.78 点）で終わります。まるで長年戦い続けた 2 人のボクサーが互いの動きを完璧に理解し合い、どちらが勝つことも負けることもできなくなったような状態です。これは「鍋」の倍率がどれだけ変わっても起こりました。

2. 「別々のスコアボード」の問題（グリッドワールド）

次に、彼らはチームを異なるゲーム、すなわちシェルターを建設し資源を収集するグリッドワールドに移しました。

過ち: 当初、研究者たちは各チームに独自の別々のスコアボードを与えました。ブルーチームは自らのスコアを最大化しようとし、レッドチームも自らのスコアを最大化しようとしました。
不具合: 彼らが直接互いに戦っていたわけではないため、レッドチームはブルーチームを傷つけようとしませんでした。その代わり、レッドチームは自らのシェルターを建設することに非常に長けるようになりました。彼らは敵対者ではなく、2 つの独立した幸せなチームになりました。「軍拡競争」は決して始まりませんでした。
修正: 研究者たちはルールを変更しました。これで、チームのスコアは「私がどれだけうまくやったか？」ではなく、**「私は相手よりもどれだけうまくやったか？」**という基準になりました。
結果: 「相対スコア」方式に切り替わると、本格的な戦いが始まりました。レッドチームはブルーチームを積極的に妨害しようとし、ブルーチームは生き残るために適応せざるを得なくなりました。

3. システム内の「ノイズ」（シード数）

研究者たちは、これらの新しいルールブックを作成するために特別な AI ツールを使用しました。彼らは奇妙な欠陥を発見しました。

問題: 新しいルールブックの良し悪しを判断するために、わずか2 つの例（「シード」と呼ばれます）のみでテストした場合、AI は「ノイズ」（偶然の幸運）に混乱し、時間経過とともに次第に劣悪なルールブックを書き始めるようになりました。まるで、料理人が料理をわずか 2 回だけ試食し、たまたま悪い日だったという理由だけでレシピを台無しにすると決めたようなものです。
解決策: テストサンプルを5 つの例に増やすと、AI は誤りを犯さなくなりました。どのルールブックが実際に優れているかを明確に認識できるようになり、レッドチームの攻撃能力を向上させ続けました。
教訓: 賢い「攻撃者」AI を訓練するには、結果が単なる偶然の幸運ではないことを確認するために、より多くの回数でテストする必要があります。

4. 「スパイ」の優位性

ある実験において、研究者たちはレッドチームにスーパーパワーを与えました。彼らはブルーチームが何をしているかをすべて見ることができ、ブルーチームは自らの動きしか見ることができないというものです。

結果: レッドチームはブルーチームを打ち負かしました。まるで相手のカードが見える状態でチェスをプレイしているようなものです。ブルーチームはレッドチームの動きを予測できなかったため、繰り返しミスを犯しました。

5. これが重要な理由（「レッドチーム」のアーティファクト）

最も重要な教訓は、レッドチームが勝ったことではありません。重要なのは、レッドチームが作成したルールブックが有用なツールであるという点です。

これらの進化させたルールブックを**「レッドチーム・アーティファクト」**と考えることができます。これらは、「資源を見たら、すぐにそれを奪う」といった明確な書き記された規則のリストであり、AI がどのように協力システムを破壊しようとするかを正確に示しています。
将来の開発者は、これらの特定のルールブックを使用して、自らの新しい AI システムをテストできます。もし新しい AI がこれらの「レッドチーム」ルールブックからの攻撃を生き延びることができれば、それは実際に安全であるとわかります。

まとめ

この論文が示していることは以下の通りです。

協力と対立は、ゲームが共通の資源を共有することを強制すれば、バランスに達する可能性があります。
ゲームを慎重に設計する必要があります。チームのスコアが互いに依存するように設計しなければ、彼らは実際に戦いません。
テストが重要です。ランダムな偶然による混乱を避けるために、AI 戦略を複数回テストする必要があります。
「悪役」は、より優れた「善人」を構築する方法を教えてくれます。攻撃者のルールブックを進化させることで、システムを破壊する方法の明確で読みやすいリストが得られ、それがより強力な防御を構築する助けとなります。

技術的サマリー：公共財ゲームにおける憲法軍拡競争

問題定義
現在の憲法 AI（CAI）アライメント手法は、「有益かつ無害であること」などの人間が記述した原則に依存しており、単一エージェントまたは協調的多エージェント環境向けに最適化されています。しかし、最近の経験的証拠は、目標の対立があるエージェント環境に置かれた際、最先端の大規模言語モデル（LLM）エージェントが、恐喝、破壊工作、データ漏洩などの意図的な有害行為に従事し得ることを示しています。既存の研究は、LLM 支援の進化探索が効果的な「協調的」憲法を発見し得ることを実証しましたが、適応的な敵対的圧力下においてこれらの手法が有効かどうかは未解明です。具体的には、標準的な適合度関数が独立してスコアリングされる環境で真の敵対的選択圧を誘発するかどうか、また LLM 突然変異演算子が生産的行為への回帰なしに敵対的専門家の目的を確実に維持できるかどうかは不明です。

手法
著者らは、2 つの派閥（青：協力者、赤：フリーライダー）が 30 世代にわたり現在の対戦相手に対して自然言語で記述され、優先順位付けされた憲法を交互に更新する「敵対的憲法共進化」のフレームワークを導入しました。このフレームワークは、MAP-Elites 上の OpenEvolve を用いた LLM 支援の進化探索を活用し、憲法を突然変異させます。

本研究は、構造的に異なる 2 つの環境においてこのフレームワークを評価しました：

公共財ゲーム（PGG）： エージェントが共有プールに貢献する非空間的な社会的ジレンマです。共有プールのメカニズムは、派閥ごとのスコアリング関数を変更することなく、両派閥の利得を本質的に結合させ、ゼロサム的な戦略的圧力を生み出します。
空間グリッドワールド： 資源収集環境であり、派閥のアイデンティティは隠されています。当初、派閥は（生産性、生存率、味方への攻撃率に基づいて）独立してスコアリングされましたが、著者らはこれを敵対的ダイナミクスにおける手法上の失敗モードとして特定しました。

主要な貢献と結果

PGG 共進化と均衡：
PGG において、30 世代の交互共進化は両派閥を安定したほぼ同程度の均衡へと導きました。青の協力者の安定性スコア（ $S$ ）は 0.370 から 0.777 に向上し、赤のフリーライダーは 0.177 から 0.782 に向上しました。この $S \approx 0.78$ への収束は、乗数 $m \in \{1.2, 1.5, 2.0, 3.0\}$ 全体で堅牢でした。共有プールの構造的結合により、赤は罰則を回避するために必要な貢献レベルを発見する必要があり、青は協力を維持するために罰則を調整する必要がありました。
適合度結合の前提条件：
独立してスコアリングされたグリッドワールドでは、派閥ごとのスコアリングは統計的に結合されていない結果（ $corr(S_B, S_R) = +0.088$ ）をもたらし、敵対的圧力を生み出せませんでした。赤は敵対的行動ではなく、生産的な自己構築を進化させました。著者らは、必要な修正として「スコア優位性適合度目標（ $S_{own} - S_{opp}$ ）」を提案します。これを適用すると、敵対的ダイナミクスが回復し、測定可能な軍拡競争行動が可能になりました。
修正プロトコル下でのグリッドワールドダイナミクス：
- 協調的ベースラインの脆弱性： 青を以前の協調的憲法（ $C^*$ ）に固定した場合、赤はそれを上回ることができませんでした（平均優位性 $-0.27$）が、差を縮めることはできました。
- 防御メカニズム： 攻撃に対する調整要件（高い成功確率のために隣接する味方を必要とする）を導入すると、赤の優位性は $-0.66$ まで大幅に減少し、憲法を変更することなくメカニズム設計が防御レバーとして機能し得ることが示されました。
- 情報の非対称性： 赤が全エージェントを観察し、青が自らのみを観察する場合、赤は最終的な優位性 $+0.415$ で支配しました。完全情報下では、システムはほぼ同程度に収束しました。
評価シード数とモード回帰：
純粋な敵対的探索（赤に生産性の目標はなく、 $1 - S_{Blue}$ のみがある場合）において、評価シード数（ $K$ ）は「モード回帰」を制御します。 $K=2$ の場合、探索は回帰しました。赤の適合度は時間とともに低下し、それらを禁止するシードにもかかわらず、生産的なルールを再獲得しました。 $K=5$ の場合、探索は安定し、30 世代全体にわたり強力な敵対的専門家を維持しました。これは、適合度推定のノイズが LLM 支援の敵対的進化における不安定性の主要な駆動力であることを特定します。

意義と主張
本論文は、敵対的に進化させた協調的憲法が、協調的に進化させたものよりも本質的に堅牢であると主張するものではありません。そのような主張には、本研究で実施されていない転移実験が必要となります。代わりに、本論文の意義は以下の点にあります：

手法上の診断： 憲法軍拡競争を構築・診断するフレームワークを提供し、敵対的共進化が成功する時（結合された適合度）と、静かに失敗する時（独立したスコアリング、低い評価予算）を特定すること。
レッドチームアーティファクト： 進化させた赤の憲法は、解釈可能な自然言語のレッドチームテストケースとして機能します。ニューラルポリシーとは異なり、これらは検査可能なルールセットであり、特定の敵対的戦略（例：情報の非対称性の悪用）に対する将来の協調的デザインをストレステストするために使用できます。
メカニズム設計の洞察： ゲームの利得構造（例：共有プール対独立スコアリング）が進化的圧力を決定し、単純なメカニズムの変更（調整要件など）が敵対的戦略を効果的に防ぎ得ることを示すこと。

著者らは、敵対的憲法共進化は可能であるが、モード回帰を防ぐために結合された適合度関数と十分な評価予算（ $K \geq 5$ ）に厳密に依存すると結論付けています。