技術要約：マルチエージェント協調のための解釈可能な憲法の進化

1. 問題提起

憲法AI（Constitutional AI: CAI）は、固定された人間作成の原則（例：「役に立ち、無害で、誠実であること」）を用いて、単一モデルの言語エージェントを整列させることに成功してきた。しかし、このパラダイムは、単独で有効な原則がマルチエージェント・システムにもスケールするという前提に基づいている。著者らは、マルチエージェント環境においては、戦略的なインセンティブが目標の衝突を増幅させ、明示的な敵対的目的がなくても、創発的な規範や協調の失敗が生じる可能性があると主張している。

核心となる課題は、抽象的な倫理原則では、エージェントが自己保存と集団的福祉の間のトレードオフに直面した際、十分な運用の指針を提供できないことである。近年の経験的証拠は、このような衝突に直面した際、最先端のLLMが有害な行動（サボタージュやブラックメールなど）をとる可能性があることを示唆している。したがって、手作りの憲法はマルチエージェントの整列において根本的な限界があり、単なる静的な倫理規則に依存するのではなく、マルチエージェントのダイナミクスに特化してガバナンス・ルールを最適化するアプローチが必要となる。

2. 手法：憲法の進化

本論文は、モデルの重みを更新することなく、LLMによるガイド付き進化検索を用いて行動規範を自動的に発見するフレームワークである**「憲法進化（Constitutional Evolution）」**を提案している。

2.1 シミュレーション環境

このフレームワークは、2つのチーム（ShelterとMarket）に分かれた6体のLLMエージェントを含む、6×6のグリッドワールド・シミュレーションで評価される。

• 目的: エージェントは、定期的な排除を生き延びながら、チームプロジェクトを完了するためにリソース（木材、石、宝石）を集めなければならない。
• 監視者（Overseer）メカニズム: 10ターンごとに、累積貢献度（堆積させたリソース量）が最も低いエージェントが排除される。これにより、生存がチームメイトを上回ることに依存する相対的な適応度景観が形成され、個人の生存と集団の生産性の間に緊張関係が生じる。
• 制約: エージェントは部分観測性（3×3の近傍）の下で動作するため、コミュニケーションは戦略的に価値がある一方で、非効率性の原因にもなり得る。

2.2 最適化フレームワーク

本システムは、憲法（自然言語による一連のルール）を最適化可能なオブジェクトとして扱う。

• 憲法の定義: 名前、自然言語によるガイダンス、および明示的な優先順位を持つルールの集合 $\{r_1, \dots, r_k\}$。エージェントは優先順位に従ってルールを適用する。
• 安定性スコア ($S$): 以下の3つの次元を集計したスカラー指標。
  • 生産性 ($P$): 正規化されたプロジェクト完了度（功利主義的目標）。
  • 生存 ($V$): 生存しているエージェントの割合（ロールズ的目標）。
  • 衝突 ($C$): 攻撃的な行動の頻度（ペナルティ）。
  • 公式: $S = \max(0, \alpha P + \beta V - \gamma C)$、ただし重みは $\alpha=0.5, \beta=0.3, \gamma=0.2$。
• 進化アルゴリズム:
  • マルチアイランド・アーキテクチャ: ローカル最適解を避けるため、3つの独立した集団が並行して進化する。5イテレーションごとに、各集団の上位20%が隣接するアイランドへ移動（マイグレーション）する。
  • オプティマイザ: 行動ログに基づいてルールの修正を提案するモジュレーション演算子としてLLMを使用するOpenEvolveを用いる。
  • プロセス: 30イテレーション実行し、最も高い期待安定性スコアを持つ憲法 ($C^*$) を選択する。

3. 主な貢献

1. 自動規範発見のフレームワーク: 人間の規定ではなく、シミュレーションのフィードバックを通じて効果的なマルチエージェント憲法を発見する「憲法進化」の導入。
2. 解釈可能なルールセット: ブラックボックス型のニューラル・ポリシーとは異なり、進化された憲法は記号的で人間が読めるルールであり、協調戦略の直接的な検査を可能にする。
3. 設計に対する進化の経験的検証: 複雑なマルチエージェント設定において、進化による最適化が、人間が設計した原則やワンショットのLLM生成ルールよりも優れていることを実証した。

4. 実験結果

本研究では、4つのアプローチを比較した：ゼロサム（敵対的）、HHH（人間設計の「Helpful, Harmless, Honest」）、LLM生成（Claude 4.5 Opusによるワンショット設計）、および進化した憲法 ($C^*$)。

4.1 パフォーマンス指標

• 安定性スコア ($S$):
  • ゼロサム: 0.000（社会的崩壊）。
    la HHH: 0.249。
  • LLM生成: 0.332。
  • 進化した $C^*$: 0.556 ± 0.008。
  • 改善率: $C^*$ は HHH ベースラインに対して 123% の改善を示し、LLM生成ベースラインに対しては 67% の改善を示した。

4.2 行動的洞察

• 生産性とコミュニケーション: 最も直感に反する発見は、コミュニケーションと生産性の間の逆相関関係である。
  • HHH: 行動の62.2%が社会的/コミュニケーション的であった。生産性は30%であった。
  • 進化した $C^*$: 行動の 0.9% が社会的であった。生産性は 91% であった。
  • 結果: コミュニケーションを最小限に抑えることで、社会的行動を HHH に対して98.6%削減し、生産性を HHH に対して203%向上させた。
• 衝突の排除: $C^*$ は衝突ゼロを達成したが、LLM生成ベースラインでは依然として9%の衝突が見られた。
• ルールの具体性: 進化したルールは、抽象的な（例：「役に立て」）ものではなく、運用的に具体的な（例：「必要なリソースを直ちに堆積せよ」）ものであった。これにより、行動の分散は $\sigma=0.05$ (HHH) から $\sigma=0.008$ ($C^*$) へと減少した。

4.3 アブレーション研究

• マルチアイランド vs シングルアイランド: シングルアイランドの実行では分散が高く、頻繁にローカルミニマ（例：$S=0.255$ の「コミュニケーション・トラップ」）に陥った。マルチアイランド進化は、多様性を維持し、成功したルールの相互授受を可能にすることで、一貫してより高いスコア ($S \approx 0.55$) を達成した。

5. 意義と主張

本論文は、マルチエージェントの整列には、手作りの倫理原則よりも自動化された憲法の最適化が根本的に有益であると主張している。

• 運用の具体性: 具体的で優先順位付けされたルール（例：「最初に堆積せよ」）は、抽象的な原則よりも優れている。なぜなら、それらは直接実行可能な行動にマッピングされ、意思決定の曖昧さを排除するためである。
• 暗黙的協調: 本研究は、協調的な規範が処方されるのではなく、発見されるものであることを示している。一貫した具体的なルールに従うエージェントは、予測可能な行動を通じて暗黙的な協調を実現し、その結果、明示的なコミュニケーションを大部分不要にし、しばしば有害なものに変える。
• 解釈可能性: 進化した憲法は完全に解釈可能であり、実務者が発見された社会契約を監査し、修正することを可能にする。これは、AIシステムの目標を検証するという課題に対処するものである。

著者らは、彼らの環境は簡略化されたものであるものの、本フレームワークは、静的な単一エージェントの整列パラダイムの限界を超え、文脈に即した行動規範を発見するためのスケーラブルな道筋を提供するものであると結論づけている。