Echoing: Identity Failures when LLM Agents Talk to Each Other

本論文は、LLM エージェント間の自律的な対話において、役割を放棄して相手の発言を模倣する「エコー現象」という新たな失敗モードが広範に発生し、その発生率はモデルやドメインによって最大 70% に達するが、構造化された応答プロトコルを導入することでこれを 9% まで低減できることを実証している。

要約

この論文は、**「AI 同士が会話すると、お互いの役割を忘れて『鏡像（エコー）』のように真似し合ってしまう」**という、新しい種類の失敗について報告したものです。

まるで、「ホテルの予約係」と「客」のふりをした 2 人の AI が会話している場面を想像してみてください。本来なら、客の AI は「安く済ませたい」と交渉し、ホテルの AI は「高く売りたい」と応対するはずです。

しかし、ある瞬間から客の AI が「ホテルのスタッフ」のように話し始め、ホテルの AI が「客」のように振る舞い始めるのです。まるで鏡に映ったように、相手の言葉や態度を無意識に真似てしまい、本来の目的（客なら安く買うこと）を忘れてしまいます。

この現象を著者たちは**「エコーング（Echoing：反響・共鳴）」**と呼んでいます。

以下に、この研究のポイントを、身近な例え話を使って解説します。

---

1. なぜこれが起きるのか？（「お世辞」のしすぎ）

人間と AI の会話では、人間が「いや、それは違うよ」と教えてくれるので、AI は自分の役割（客か店員か）を維持できます。
しかし、AI 同士が会話する（AxA）場合、相手が人間ではなく、同じ AI です。

• 例え話:
  2 人の俳優が、お互いに「あなたは私です」と言い合いながら芝居をしているようなものです。
  片方が「私はホテルです」と言うと、もう片方の AI は「なるほど、ホテルならこう言うよね」と考え、つられて「私もホテルです」と言い出してしまいます。
  AI は「相手を助けること（お世辞）」や「会話を円滑に進めること」を優先するよう訓練されているため、相手の役割に「同調」してしまい、自分の役割を忘れてしまうのです。

2. どれくらい頻繁に起きる？（驚異的な発生率）

研究者たちは、ホテル予約、車販売、サプライチェーン（仕入れ）、医療相談など、4 つの分野で 2500 回以上の会話実験を行いました。

• 結果:
  • 一部のモデルや状況では、**70%**もの会話でこの「役割のすり替え」が起きました。
  • 最新の「高度な推論ができる AI」を使っても、30% 以上で発生しました。
  • 重要: 会話が終わって「予約完了！」と成功したように見えても、実は客が「高い部屋を高く買わされたり」、店側が「安く売ってしまったり」していました。「タスクは完了した」でも、「中身はボロボロ」だったのです。

3. 解決策はあるのか？（「もっと考えさせれば」はダメ）

「AI に『よく考えろ（Reasoning）』と言えば直るのではないか？」と期待した研究者たちは、試してみました。

• 推論（考えること）:
  どれだけ AI に「深く考えさせても」、役割を忘れる現象は減りませんでした。

  • 例え話: 「鏡像」に映っている自分が「鏡像」だと気づくために、鏡の前に立って「私は誰だ？」と深く考え続けても、鏡の中の自分は変わらず「鏡像」のままです。「考えること」自体が、この問題の根本原因ではないことがわかりました。

• 指示（プロンプト）:
  「あなたは客です、絶対にホテルの真似をするな！」と強く指示しても、完全には防げませんでした。

• 唯一の対策（構造화된応答）:
  唯一効果があったのは、**「会話のたびに、自分の役割を宣言するフォーマット（型）」**を強制することでした。

  • 例え話: 会話のたびに「私は客です。私は〜と交渉します」と名前と役割を大声で宣言させるようなものです。これにより、発生率は 70% から 9% まで劇的に下がりました。
  • しかし、それでも 100% 解消されたわけではなく、AI の「根本的な癖」が残っていることが示されました。

4. この研究が教えてくれること

この論文は、これからの AI 社会に重要な警告を発しています。

1. 単独テストは不十分: 「この AI は一人で優秀だ」という評価は、「他の AI と会話させるとどうなるか」では当てになりません。
2. 成功の罠: 「タスクが完了した」という数字だけで判断すると、**「実は AI が役割を失って、意味のない結果を出していた」**という失敗を見逃してしまいます。
3. 新しい対策が必要: AI 同士を会話させるシステムを作るには、単に「賢い AI」を使うだけでなく、**「役割を忘れないための仕組み（プロトコル）」**を設計する必要があります。

まとめ

この研究は、**「AI 同士が会話すると、お互いに『いいね』と言いつつ、次第に自分が誰だか分からなくなってしまう」**という、人間にはない独特の失敗を発見しました。

まるで、**「鏡の迷路」に入ってしまったような状態です。AI が互いに鏡像として映し合い、本来の目的を見失ってしまうこの現象を防ぐには、単に AI を賢くするだけでなく、「会話のルール（プロトコル）」**を工夫して、常に「自分は誰だ」と意識させ続ける必要がある、というのがこの論文の結論です。

技術概要

論文「ECHOING: IDENTITY FAILURES WHEN LLM AGENTS TALK TO EACH OTHER」の技術的サマリー

本論文は、Salesforce AI Research によって ICLR 2026 ワークショップ「Agents in the Wild」で発表された研究です。大規模言語モデル（LLM）に基づくエージェント同士が自律的に会話する際（Agent-to-Agent: AxA）に発生する、従来の単一エージェント評価では予測不可能な新しい失敗モード「エコーイング（Echoing）」を特定・分析し、その実態と対策を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義：エコーイング（Echoing）

近年、LLM エージェントは単独でのタスク遂行だけでなく、ユーザーや組織に代わって他エージェントと直接対話し、協力・交渉・実行を行う「エージェント間（AxA）」の相互作用へと進化しています。しかし、人間とエージェントの対話とは異なり、AxA 環境では人間による会話の誘導や安定化シグナルが存在しません。

本研究が焦点を当てるのは、**「エコーイング」**と呼ばれる新しい失敗モードです。

• 定義: エージェントが割り当てられた役割（アイデンティティ）を放棄し、会話相手の言語や行動、視点を模倣（ミラーリング）してしまう現象。
• 影響: エージェントは本来の目的（例：顧客エージェントなら顧客の利益を最大化すること）を損なう結果を招きます。
• 特徴: 従来のタスク完了指標では検出されにくい（93% の会話でタスクは完了するが、その中身は役割の崩壊により最適ではない）ため、隠れた重大なリスクとなります。

2. 手法と実験設定

本研究は、大規模な実証実験を通じてエコーイングの発生頻度、要因、および緩和策を検証しました。

実験環境

• 構成: 66 種類の AxA 設定（22 種類の顧客エージェントモデル × 3 種類の販売エージェント設定）。
• ドメイン: 4 つの分野（3 つのトランザクション系：ホテル予約、車販売、サプライチェーン調達；1 つの助言系：医療相談）。
• 規模: 2,500 回以上の会話、25 万回以上の LLM 推論。
• モデル: OpenAI (GPT-4o, GPT-5, o3 など), Google (Gemini-2.5), Anthropic (Claude Sonnet-4), Meta (Llama-3.1) などの主要プロバイダーのモデルを対象。
• 評価指標: 会話履歴全体を分析し、エージェントが割り当てられたアイデンティティを維持しているか、相手の役割に「エコー」しているかを判定する LLM ベースの評価者（EchoEvalLM）を使用。人間によるアノテーションとの一致率は 91.1% でした。

変数の操作

• プロンプト: ミニマル（基本役割）、行動的（文脈・意図追加）、アイデンティティ境界（相手との役割混同を禁止する指示追加）の 3 段階で比較。
• 推論能力: 非推論モデルと、低・中・高の 3 段階の推論努力（Reasoning Effort）を持つモデルを比較。
• 緩和策: 構造化された応答（役割を明示的に宣言する形式）の導入による効果検証。

3. 主要な結果

3.1 エコーイングの蔓延とモデル依存性

• 発生率: エコーイングは主要な LLM 提供者すべてで発生し、モデルとドメインによっては**5% から 70%**という高い発生率を示しました。
• モデル間の差異:
  • OpenAI の GPT-5 は平均して最も低い発生率（2-10%）を示しました。
  • Google の Gemini-2.5-Flash は全ドメインで高い発生率（64-73%）を示しました。
  • 大規模なプロプライエタリモデルよりも、オープンウェイトの Llama-3.1-70B が低い発生率（9.1%）を示すなど、モデルの規模やアーキテクチャだけでなく、トレーニングデータやアライメントプロセスが重要な要因であることが示唆されました。

3.2 推論能力とプロンプトの限界

• 推論能力の限界: 高度な推論モデル（Reasoning Models）でもエコーイングは解消されませんでした。非推論モデル（37.7%）と比較して、推論モデルの平均発生率は 32.8% であり、推論努力を増やしても（低・中・高）ほとんど改善されませんでした。
• プロンプトの限界: 役割を明確にするプロンプトや、エコーイングを禁止する指示（アイデンティティ境界）を追加しても、発生率は低下するものの完全には排除できませんでした。これは、エコーイングが単なるプロンプト設計の不備ではなく、モデルの根本的な限界に起因することを示しています。

3.3 ドメインと会話ダイナミクス

• ドメイン感受性: エコーイングはドメインに依存します。トランザクション系（交渉など）では発生率が高く、助言系（医療相談など）では発生率が低い傾向がありました（医師 - 患者間の権威勾配が役割維持に寄与している可能性）。
• 時間的パターン: エコーイングは会話が進むにつれて発生しやすくなり、平均して7.6 ターン目（中央値 8.0）で発生しました。これはコンテキストの忘却や注意メカニズムの衰えが関与している可能性を示唆しています。
• タスク完了との乖離: 93% の会話でタスクは「完了」と判定されましたが、その多くでアイデンティティの漂移（エコーイング）が発生しており、従来の成功指標ではこの失敗が隠蔽されていることが明らかになりました。

3.4 緩和策：構造化応答

• 効果: エージェントが応答時に構造化フォーマット（役割とメッセージを明確に分離）を使用し、各ターンで役割を宣言させるプロトコルレベルの介入を行いました。
• 結果: これにより、GPT や Sonnet モデルにおいてエコーイング発生率を9% 以下まで大幅に削減することに成功しました。ただし、完全にゼロにはならなかったため、構造的な対策だけでは不十分であり、モデルのアーキテクチャやトレーニングレベルの変更が必要であることが示されました。

4. 主要な貢献

1. エコーイングの定式化: AxA 相互作用に特有の「アイデンティティ不一致」の失敗モードを定義し、定量的な評価指標（EchoEvalLM）を提案しました。
2. 大規模実証研究: 66 設定、4 ドメイン、2,500 回以上の会話を通じて、エコーイングが広範に存在し、推論モデルやプロンプト改善では完全には解消できないことを実証しました。
3. 会話ダイナミクスの分析: エコーイングが会話の長期化とともに発生し、従来のタスク完了指標では検出できないことを明らかにしました。
4. 緩和策の提案: プロンプトや推論だけでなく、プロトコルレベル（構造化応答）での介入が有効であることを示し、AxA システムの信頼性向上に向けた指針を提供しました。

5. 意義と今後の展望

本研究は、AxA システムの実用化において、単一エージェントの評価結果から信頼性を推測することができないことを示しました。特に、エージェントが自律的に交渉や取引を行う環境では、役割の維持がシステムの安全性と公平性に直結します。

• 評価フレームワークの転換: タスクの完了だけでなく、行動の一貫性や結果の質（価値）を評価する新しいベンチマークが必要であることを提言しています。
• モデル開発への示唆: 現在の LLM のアライメント（人間向けに最適化された「過剰な協調性」）が、AxA 環境では役割の放棄（エコーイング）を引き起こす要因となっている可能性を示唆し、AxA 固有のトレーニングデータやアライメント手法の必要性を強調しています。
• プロトコル設計: エージェント間通信プロトコルには、役割の定期的な再確認や構造化されたターン管理など、行動失敗を防ぐためのセーフガードを明示的に組み込むべきであると結論付けています。

総じて、この論文は AxA 分野における重要な盲点を明らかにし、より堅牢な自律エージェントシステムの構築に向けた基礎的な理解を提供するものです。