技術要約：すべての「反転」が同調とは限らない：マルチエージェントLLMディベートにおけるスタンス収束の分解

問題提起

マルチエージェント・ディベート（MAD）は、複数のエージェントが互いの回答に異議を唱え、洗練させることで、大規模言語モデル（LLM）の推論能力を高めるために広く利用されている。しかし、決定的な曖昧さが残っている。エージェントが共通の回答に収束したとき、その収束は真の熟考と推論の向上を反映しているのか、それとも単なる社会的順応（同調）に過ぎないのだろうか。

既存の文献では、ピア（仲間）への露出後の回答の変化は、しばしば説得の証拠として解釈される。本論文は、このような解釈は不備がある、と主張する。なぜなら、スタンスの変化を駆動する3つの異なるメカニズムを区別できていないからである。

1. 自発的不安定性（Spontaneous Instability）: 新しい情報がないにもかかわらず、再検討時に回答を修正してしまうモデルの傾向。
2. スタンス誘発型同調（Stance-Induced Conformity）: ピアの立場（規範的影響）のみによって引き起こされる変化。
3. 推論誘発型説得（Reasoning-Induced Persuasion）: ピアの推論の論理的内容（情報的影響）への露出によって引き起こされる変化。

これらの要因を分離しない限り、「反転率」（エージェントが回答を変更した割合）は、ベースラインとなるモデルの不安定性と真の社会的影響を混同してしまい、同調の過大評価とMADの有効性に対する誤解を招くことになる。

手法

著者らは、カウンターファクチュアル（反事実的）な条件下での制御された実験設計を通じて運用される、3ソース分解フレームワークを提案する。

実験設定

• エージェント: 5つのエージェント（主にGPT-4oを用い、DeepSeek-V4-FlashおよびQwen-Plusで堅牢性を検証）が、ラウンド0において複数の多肢選択問題に独立して回答する。
• 不一致のフィルタリング: エージェント間で当初の回答が一致しなかった問題のみが、ラウンド1へと進む。
• カウンターファクチュアル条件: ラウンド1において、各エージェントと問題のペアは、以下の3つの並行かつ独立した条件下で観察される：
  1. 自己リフレクション ($a^{(sr)}$): エージェントがピア情報を一切持たずに、自身の初期回答を再評価する。
  2. スタンスのみ ($a^{(so)}$): エージェントはピアの回答は見ることができるが、その推論は見ることができない。
  3. 完全な推論 ($a^{(r)}$): エージェントはピアの回答とその推論プロセス（reasoning traces）の両方を見ることができる。

分解のロジック

観測された回答の変化は、これら3つの条件下におけるエージェントの挙動に基づき、特定のソースに帰属される：

• 自発的変化: $a^{(sr)}_i \neq a^{(0)}_i$。ピアの入力なしにエージェントが変化する場合。
• 厳密な同調（スタンス誘発型）: $a^{(sr)}_i = a^{(0)}_i$（単独では安定） かつ $a^{(so)}_i \neq a^{(0)}_i$ かつ $a^{(so)}_i \in \{a^{(0)}_j\}_{j \neq i}$。エージェントはピアのスタンスにさらされた時のみ変化する。
• 推論誘発型変化: $a^{(sr)}_i = a^{(0)}_i$ かつ $a^{(so)}_i = a^{(0)}_i$ かつ $a^{(r)}_i \neq a^{(0)}_i$。エージェントは自己リフレクションとスタンスへの露出には抵抗するが、ピアの推論を見ることで変化する場合。

情報グラディエント実験

推論の「形式」から「内容」への説得力を切り分けるため、著者らは高リスクなサブセット（当初正解であり、かつ安定していたエージェント）に対して制御された実験を行った。ここでは以下の条件を導入した：

1. 無効な推論（Invalid Reasoning）: 推論の構造はあるが、ドメインの内容を持たない空虚なテキスト。
2. 誤った推論（Wrong Reasoning）: 誤った回答へと導く、もっともらしい議論。
   これにより、推論の論理的妥当性ではなく、推論の「構造的な外見」に起因するエラー採用率を測定することが可能となった。

予測と介入

本研究はまた、ラウンド0の特徴量（ピアの不一致構造、自信度など）に基づいて、有害な同調（正解 $\to$ 不正解）のリスクがあるエージェントを特定する予測モデルを開発した。このモデルは、診断的設定（正解ラベルあり）とデプロイメント設定（正解ラベルなし）の両方において、ターゲットを絞った介入（独立性を促すプロンプト）をテストするために使用された。

主な結果

1. スタンス収束の分解

• 自発的不安定性が支配的: 主要なMMLU-Proの設定において、37% のエージェント・問題の観察が自己リフレクションのみで変化した。これは、「ピアの影響」とされるもののかなりの部分が、実際にはベースラインのモデルの不安定性であることを示している。
• 厳密な同調は低いが有害である: 不安定性を制御した後、厳密な同調率は 29% である。極めて重要なことに、この同調は主に有害である。すなわち、これらの変化の 63.6% は、正解していたエージェントが不正解へと切り替わるケースであった。
• 純粋な精度への影響: 個々の精度はピアの情報によってわずかに向上するものの、集計レベル（多数決）では、ピアの影響は自己リフレクションを超えて測定可能な利得をもたらさない。これは、有害な同調と有益な同調がおよそ相殺し合うためである。

2. 推論の役割

• 推論はしばしばエラーを増加させる: 自己リフレクションやスタンスのみの露出に対して抵抗力を持つエージェントの間でも、完全なピアの推論への露出はさらなる変化を引き起こした。しかし、これらの変化のうち精度を向上させたものはわずか 30% であり、大多数（70%）は精度を低下させたか、あるいは改善に至らなかった。
• 内容よりも形式: 情報グラディエント実験により、推論のような提示形式（たとえそれが空虚であっても）は、抵抗力のあるエージェントの 29.7% に正解を放棄させることを明らかにした。実体のある誤った推論を加えると、この割合は 54.5% に上昇した。これは、LLMが論理的な妥当性ではなく、推論の「構造的な外見」に対して脆弱であることを示唆している。

3. 予測と緩和

• 予測可能性: 有害な同調は、ラウンド0の特徴量（特にピアの不一致構造）から AUC 0.79 で予測可能である。
• 診断的介入: 正解ラベルが存在する設定において、リスクの高い上位20%のエージェントに対し、独立性を促すプロンプトによるターゲット介入を行うと、有害な同調が 13.6パーセントポイント 減少し、精度が 14.6 pp 向上した。
• デプロイメントにおける限界: 正解ラベルがない現実的なデプロイメント設定においては、同じ介入を行うとピアの採用（adoption）は減少したが、全体の精度は向上しなかった。これは、介入が有害な採用（正解 $\to$ 不正解）と有益な採用（不正解 $\to$ 正解）の両方をブロックしてしまうためであり、正解信号がない状況では両者を区別することが困難であるためである。

意義と主張

本論文は、マルチエージェント・システムの信頼性の理解を、純粋な社会的影響の問題から、個人の推論の不安定性と社会的同調という二重の問題へとシフトさせることを主張している。

• MADの再評価: 著者らは、スタンスの収束を反転率のみに基づいて成功のシグナルとして解釈することはできないと主張する。収束の相当部分は自発的な劣化であり、残りの厳密な同調も多くの場合、精度を低下させるものである。
• コンテキストに起因する順応: これらの知見は、LLMがピアの推論の存在自体を証拠として扱うことが、人間における権威バイアスに類似していることを示唆している。これは、マルチエージェント・システムにおけるコンテキスト設計が、安全性に関わる重要な選択であることを意味する。
• プロンプトによる緩和の限界: 本研究は、プロンプトによる介入の限界を浮き彫りにした。ターゲットを絞ったプロンプトは、正解信号が利用可能な場合には有害な同調を減らすことができるが、盲目的なデプロイメント・シナリオでは精度を向上させることはできない。なぜなら、それは有害な影響と有益な影響を区別なく抑制してしまうからである。したがって、信頼できるデプロイメントには、リスク・スコアリングに加えて、実行時の検証メカニズムや正解信号が必要となる。

結論として、将来のMAD設計は、ピアの回答への一律な露出を超え、自発的不安定性と有害な同調のリスクを軽減するために、検証、自信度のキャリブレーション、または不一致を考慮したゲーティング（遮断）を組み込むべきであるとしている。