Can AI Agents Agree?

この論文は、敵対的な合意設定における大規模言語モデル（LLM）ベースのエージェント群の協調を評価した結果、敵意がない環境であっても合意の達成が不安定であり、特にグループ規模の拡大や悪意あるエージェントの存在により失敗（主にライブネスの喪失）が支配的となることを示し、現在の LLM エージェント群による信頼性の高い協調への依存に警告を発しています。

要約

AI たちは本当に「合意」できるのか？

～「バカな AI たち」が会議で決着をつけられない理由～

この論文は、**「複数の AI が一緒に働いて、一つの結論にたどり着けるのか？」**という非常に重要な質問に答える研究です。

想像してみてください。10 人の AI が集まって会議を開き、「明日の天気予報を 1 つの数字（0〜50 の間）に決めよう」というゲームをしているとしましょう。しかし、その中に「悪意のある AI（バイザンチン）」が 1 人混じっていたり、人数が多すぎたりすると、どうなるでしょうか？

この研究は、そのシミュレーションを行い、**「現在の AI は、まだ信頼できる合意ができるほど賢くはない」**という意外な結論を出しました。

---

🎭 1. 実験の舞台：AI たちの「数字当て会議」

この研究では、以下のような設定で実験を行いました。

• 参加者: 4 人、8 人、16 人などのグループ。
• タスク: 全員が「0 から 50 の間の数字」を提案し、最終的に全員が同じ数字に合意すること。
• ルール:
  • 全員が「正直な AI」の場合（平和な会議）。
  • 一部に「悪意のある AI（バイザンチン）」が混じっている場合（裏切り者がいる会議）。
  • 悪意のある AI は、会議を混乱させたり、合意を阻止したりするために、嘘をついたり、数字を勝手に変えたりします。
• 勝利条件: 全員が同じ数字で「合意した」と投票すること。

🔍 2. 驚きの発見：3 つの大きな問題

実験結果は、AI 開発者にとって少しショッキングなものでした。

① 悪意者がいなくても、合意できない！

「悪意者がいない平和な会議」でも、AI たちは4 割しか合意できませんでした。

• アナロジー: 10 人の友人が「どこで昼食を食べるか」を決めようとしていますが、誰も「ここ！」と強く主張できず、結局「時間切れ」で何も決まらず解散してしまうような状態です。
• 原因: AI たちは「いつ止めていいか（投票するタイミング）」を判断できず、会議が永遠に延びてしまう（タイムアウト）ことが多かったです。

② 人数が増えると、さらにダメになる

グループの人数が増えるほど、合意の成功率は下がりました。

• アナロジー: 4 人の小さなチームならまだしも、16 人もの大人数になると、お互いの発言がごちゃごちゃになり、「誰の話を聞いていいかわからない」状態に陥ります。AI たちは大人数の会議に慣れていないようです。

③ 「裏切り者」が 1 人いるだけで、会議は崩壊する

悪意のある AI が 1 人でも混じると、合意の成功率はほぼゼロに近づきました。

• 重要なお知らせ: 悪意のある AI が「間違った数字」を無理やり押し付けたわけではありません。彼らがやったのは、**「会議を永遠に続けさせて、決着をつけさせない」**ことでした。
• アナロジー: 会議中に「でも、でも、でも…」と延々と議論をふりまわす人が 1 人いるだけで、真面目な人たちは疲れてしまい、何も決められずに解散してしまいます。

💡 3. なぜこんなことが起きるの？

この研究でわかった最大のポイントは、**「AI が間違った答えを出す」のではなく、「決着をつけられない（会議が止まらない）」**という点です。

• 価値の破損（Value Corruption）: 「10 になるべきところを、悪意者が 20 にした」というような、数字が書き換えられることはあまり起きませんでした。
• 活性の喪失（Loss of Liveness）: 問題なのは「いつ終わりにすればいいかわからない」ことです。AI たちは「もう合意したかな？」「まだ議論が必要かな？」という判断が苦手で、「止める勇気」を持てません。

また、AI に「もしかしたら裏切り者がいるかも」と教えると、逆に余計に慎重になりすぎて、合意が遅くなってしまうこともわかりました。

🏁 4. この研究が教えてくれること

この論文は、現在の AI 技術に対して**「慎重になろう」**というメッセージを送っています。

• 現状: 現在の AI は、単独でタスクをこなすのは得意ですが、**「複数の AI が協力して、強制的に合意する」**ようなタスクはまだ不安定です。
• 将来への懸念: もし、自動運転カーの群れや、金融取引のシステムなどで、AI たちが「合意」を頼りに動く場合、今のままでは**「会議が永遠に終わらない」あるいは「裏切り者に簡単に操られて決着がつかない」**リスクがあります。

🌟 まとめ：AI たちはまだ「大人」になっていない

この研究を一言で言えば、**「AI たちはまだ、大人数の会議で『決着』をつけるという社会性を身につけていない」**ということです。

悪意者がいなくても、ただの「会議の進め方」が下手くそで、時間切れになることが多いのです。これから AI を社会に導入する際には、単に「AI が賢いから大丈夫」と考えるのではなく、「AI 同士がどうやって合意するか」という仕組みを、人間がしっかり設計して守る必要があると警告しています。

AI たちが「合意」できる日は来るかもしれませんが、今のところは、まだ「信頼できる合意」にはほど遠い、というのがこの研究の結論です。

技術概要

論文「CAN AI AGENTS AGREE?」の技術的サマリー

本論文は、大規模言語モデル（LLM）を協調エージェントとして運用する際、敵対的（ビザンチン）な環境下での合意形成（コンセンサス）がどの程度信頼性を持つかを体系的に評価した研究です。ETH チューリッヒの研究者らによって執筆され、LLM エージェントが単なるタスク実行だけでなく、分散システムにおける合意形成の基盤となる能力を持っているかどうかを検証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

近年、LLM は計画、コーディング、推論などのタスクにおいて複数のエージェントが協調する形で展開されつつあります。しかし、一部のエージェントが故障したり、戦略的に悪意を持って振る舞ったり（ビザンチン故障）した場合に、グループ全体がどのように合意に達するかが明確に研究されていません。

従来の分散システムでは、決定論的なアルゴリズムを用いたビザンチン耐性コンセンサス（例：PBFT など）が確立されていますが、確率的でプロンプト駆動型の LLM において、これらの保証がどのように機能するかは不明です。特に、最終的な値に対するエージェントの利害関係がない（No-stake）状況下でも、LLM エージェント群が「合意」そのものを達成できるかどうかが焦点となります。

2. 手法 (Methodology)

研究者らは、スカラー値（0〜50 の整数）に関する合意ゲームを設計し、同期型オール・ツー・オール（all-to-all）ネットワーク上でシミュレーションを行いました。

• 環境設定:

  • エージェント: $N$ 個のエージェント（$N \in \{4, 8, 16\}$）。
  • モデル: Qwen3-8B と Qwen3-14B の 2 種類のモデルを使用。
  • ビザンチンエージェント: 全体の $f$ 分（$0 \le f \le 1/3$）を占める悪意のあるエージェント。これらは任意の値や正当化を提案し、合意を妨害しますが、同一メッセージを全宛先に送信する（ equivocating はしない）という制限付きの脅威モデルを採用しました。
  • プロトコル: 各ラウンドでエージェントは提案値と正当化理由を广播し、履歴に基づいて次の提案や終了投票（Stop/Continue）を行います。
  • 終了条件: 全エージェントの 2/3 以上が「Stop」を投票した場合に終了。それ以外で最大ラウンド数（$T_{max}=50$）に達するとタイムアウト（合意なし）となります。

• 評価指標:

  • 有効な合意 (Valid Consensus): 誠実なエージェント全員が、初期の誠実な提案値のいずれかに一致して合意すること。
  • 無効な合意 (Invalid Consensus): 終了したが値が一致していない、または初期値ではない値で合意したこと。
  • 合意なし (No Consensus): タイムアウトによる終了。
  • 主要な焦点: 値の最適性ではなく、「合意に至るかどうか（Liveness）」と「合意の正当性（Validity）」です。

3. 主要な貢献 (Key Contributions)

1. 敵対的でない環境における能力評価: 複数のモデルとグループサイズにおいて、LLM エージェントが単純なスカラー合意タスクを解決できるかを調査しました。
2. 堅牢性の限界の示唆: ビザンチンエージェントが 1 人いるだけで、合意成功率が劇的に低下することを示しました。
3. 失敗原因の分析: 失敗の大半は「値の改ざん（Validity の欠如）」ではなく、「ライブネスの喪失（タイムアウトや収束の停止）」によって引き起こされていることを明らかにしました。

4. 実験結果 (Results)

4.1 ビザンチンエージェント不在の場合 (Benign Settings)

• 合意の不安定性: 敵対者がいない場合でも、有効な合意に至る割合は 41.6% にとどまりました。
• モデルサイズの影響: Qwen3-14B は Qwen3-8B よりも大幅に優れていましたが（67.4% vs 15.8%）、それでも高いタイムアウト率を示しました。
• グループサイズの悪影響: エージェント数が増えるほど（$N=4 \to 16$）、有効な合意の確率は低下しました（46.6% $\to$ 33.3%）。
• プロンプトの影響: プロンプトに「ビザンチンエージェントが存在する可能性がある」と明記すると、実際には存在しない場合でも、Qwen3-14B の性能が低下し、収束時間が倍増しました。これは、エージェントが不必要に警戒することでライブネスが損なわれることを示唆しています。

4.2 ビザンチンエージェント存在の場合 (Adversarial Settings)

• 合意の崩壊: 誠実なエージェント 8 名に対し、ビザンチンエージェントが 1 名（$B=1$）いるだけで、有効な合意の確率はほぼ 0% にまで急落しました。
• 失敗の性質: 失敗の多くは「無効な合意（値がバラバラ）」ではなく、「合意に至らない（タイムアウト）」という形でした。ビザンチンエージェントは値を操作して合意を歪めるよりも、プロセスを停滞させることで合意を阻止する傾向が見られました。
• 提案軌跡: 図 4 に示されるように、ビザンチンエージェントの存在や脅威を認識したプロンプトは、誠実なエージェントの提案値の収束を阻害し、収束が停止する（Stalled）現象を引き起こしました。

5. 意義と結論 (Significance & Conclusion)

本研究は、現在の LLM エージェント群が、協調、委任、安全クリティカルな調整に不可欠な「信頼性のある合意形成」を、自律的な創発能力として備えていないことを示しています。

• 実用への警告: 敵対者がいない環境（No-stake）であっても、グループサイズが増大したり、わずかな悪意あるエージェントが存在したりするだけで、合意は不安定になります。
• 今後の課題: 現在の LLM は社会的な意思決定者として信頼できず、特に「ライブネス（プロセスの進行）」の保証が脆弱です。将来的には、より多様な敵対行動、異質なエージェント群、大規模展開における堅牢な調整メカニズムの研究が必要であるとしています。

結論として、「AI エージェントは合意できるか？」という問いに対し、現状の技術では「信頼性のある合意は保証されていない」という慎重な回答が得られました。