🤖 AI

When Agents Disagree With Themselves: Behavioral Consistency as an Uncertainty Signal for LLM Agents

本論文は、LLMエージェントのアクションシーケンスにおける行動の分散が、学習を必要としない不確実性のシグナルとして機能し、保持された較正データ（held-out calibration data）を必要とすることなく、選択的分類および分布に依存しない較正を可能にし、精度とモデルのランキング信頼性を大幅に向上させることを実証するものである。

原著者： Aman Mehta

公開日 2026-07-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aman Mehta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

デジタル・ダブルチェック：なぜAIに一度ではなく二度聞くことがより良いのか

難しいパズル、例えば複雑な謎解きや数学の問題に取り組んでいるところを想像してみてください。もし友人に答えを聞いたとして、その友人が正解を教えてくれることもあれば、勘で答えて間違えることもあるでしょう。しかし、もし同じ友人に全く同じ質問を10回連続で投げかけられたとしたらどうでしょうか？もし彼が毎回同じ答えを返すなら、あなたは彼が正しいことにかなり自信を持てるはずです。しかし、もし彼が10通りの異なる答えを返してきたら、何かがおかしいと感じるでしょう。彼は混乱しているか、適当に答えているか、あるいはその質問が彼にとって難しすぎるのです。

これは、今日のAIエージェントを動かしている超スマートなコンピュータプログラムである**大規模言語モデル（LLM）**の核心となる考え方です。これらのエージェントは、ツール（ウェブ検索やコード作成など）を使って多段階の問題を解決できるデジタル探偵のようなものです。しかし、人間と同様に、彼らも完璧ではありません。時には「幻覚（ハルシネーション）」を起こしてデタラメを言ったり、ループに陥ったりすることもあります。科学者たちは長い間、こう疑問を抱いてきました。「AIに対して『自信はありますか？』と直接聞かずに（なぜならAIは自信があるふりをして嘘をつくことがあるからです）、AIが自分自身に確信が持てていないことをどうやって判断できるのか？」と。この論文では、巧妙なトリックを紹介しています。単一の答えを信頼するのではなく、AIが同じタスクを何度も試行する際に、その「振る舞い」を観察するという方法です。もしAIの振る舞いがバラバラであれば、それは答えが間違っている可能性を示す巨大なレッドフラッグ（警告信号）となります。

AIエージェントが自ら決断できないとき

この研究の背後にいる研究者たちは、シンプルかつ強力なアイデアである**「行動の一貫性（Behavioral Consistency）」**をテストすることに決めました。彼らはAIエージェントを、テストを受けている学生のように扱いました。最終的な答えの採点だけでなく、学生がどのように問題を解いたかを観察したのです。彼らは、同じAIエージェントに対して、異なる「ランダムシード」（AIが意思決定を行う際に引くカードの束をシャッフルするようなもの）を使用して、全く同じ質問をそれぞれ10回ずつ実行しました。

以下に彼らの発見を記します。これは少し驚くべき内容です。

1. AIは気まぐれな思考家である
たとえAIに全く同じ指示と全く同じ開始点を与えたとしても、常に同じ考え方をするわけではありません。彼らのテストでは、同じエージェントを10回実行した際、解決策に至るまでの経路が2.3から4.2通り存在しました。時にはAIは近道を選び、時には長く混乱した路地へと迷い込みます。この「彷徨い」は単なるグリッチ（不具合）ではなく、一つの信号です。AIが問題の解き方について意見を変えれば変えるほど、正しい答えを得られる可能性は低くなります。

2. 一貫性は正確さを見通す水晶玉である
チームは、AIの一貫性と正確さの間に強い結びつきがあることを発見しました。

「安定」グループ： AIが同じ経路を維持していた場合（ユニークな経路が2つ以下）、正解率は**82%から87%**でした。
「彷徨い」グループ： AIが多くの異なる方向へ進んでしまった場合（ユニークな経路が4つ以上）、その正確さは**41%から65%**にまで低下しました。

この差は非常に大きいです。つまり、AIに質問するたびに全く異なるルートを通っているのを目にしたなら、その答えへの信頼度は下げるべきだということです。

3. 「ステップ2」の驚き
研究者たちは、AIがいつ混乱し始めたのかを詳しく調べました。その結果、一部のモデル（Llamaなど）では、問題はほぼ即座に始まっていることがわかりました。約**50.5%**の確率で、AIは他の試行と比較して、最初のステップまたは2番目のステップで異なる動きを見せました。まるでAIが分かれ道に立っており、最初からどちらに進むべきか決められずにいるかのようです。一方、他のモデル（Claudeなど）は、分岐する前により長く同じ経路を維持していました。

4. 「フィルター」対「投票」
最も興味深い発見の一つは、この情報をどのように活用するかについてでした。

「投票（Voter）」アプローチ： 「AIに3回聞いて、多数決を取ればより良い答えが得られるのではないか」と考えるかもしれません。論文によれば、これは機能しますが、わずかな改善（**0〜2%**程度）にとどまります。なぜなら、AIは自信満々に間違えることがあるからです。もし早い段階でミスを犯した場合、それは毎回同じミスを繰り返す可能性があるため、「投票」は単にそのエラーを確定させてしまうだけになります。
「フィルター（Filter）」アプローチ： 投票する代わりに、研究者たちは別の戦略を試しました。それは、**「AIが自分自身と同意した場合のみ回答する」**という方法です。彼らは、「もしAIがタスクを3回実行し、その3回の実行結果が全く同じ答えを示したならば、それを採用する。もし意見が食い違った場合は、『分かりません』としてその質問をスキップする」と定めました。
- この「フィルター」は驚くほど効果的でした。不確実な質問をスキップすることで、AIが回答した質問に対する正確さは**87〜88%**へと跳ね上がりました。これは、単に一度の推測に頼る場合に比べて、6〜14パーセントポイントの向上となります。

5. 「問いかける」よりも優れている
チームはこの「行動の一貫性」というトリックを、AIに「あなたの自信はどのくらいですか？」（これは「言語化された自信」と呼ばれます）と尋ねる方法と比較しました。結果は明白でした。AIの「行動」は、その「言葉」よりも優れた嘘発見器でした。AIは、自分が迷走している時でさえ、自信があると口にすることがよくありました。行動による信号（意見が変わるかどうかを観察すること）の方が、間違いを見つけるためのはるかに信頼できる方法でした。

6. どこでも通用する
これが特定の種類の質問に限られた偶然ではないことを確認するため、彼らは全く異なる種類のタスク、すなわちコンピュータコードのバグ修正（SWE-benchと呼ばれるベンチマークを使用）でAIをテストしました。コーディングはトリビアに答えることとは大きく異なりますが、同じルールが適用されました。最も一貫した行動を見せたAIが、最も正確でした。「一貫性の階層（どのモデルが安定し、どのモデルが不安定か）」は、両方のテストを通じて全く同じまま維持されました。

なぜこれが重要なのか

この論文は、AIをより信頼できるものにするために、AIの脳を作り変えたり新しいことを教えたりする必要はないと示唆しています。ただ、AIを「観察」すればよいのです。タスクを数回実行し、AIの「ストーリー」が一定かどうかを確認することで、私たちは賢い編集者のように振る舞うことができます。一貫した答えを信頼し、AIが混乱しているように見えるものは無視することができるのです。

これは「トレーニングフリー（学習不要）」の手法であり、あらゆるAIモデルに対して、そのままの状態で適用可能です。これは、AIの不確実性を有用な信号へと変えるものです。単一の答えを盲信する代わりに、この「一貫性チェック」を用いることで、「これについては分かりません」と言うべきタイミングを知ることができます。これは、AIエージェントを現実世界でより安全かつ信頼できるものにするための、大きな一歩となります。

要するに、もしAIが自分自身のプランを決められないのであれば、その答えを信じるには適切な時ではないということです。しかし、もしAIが毎回同じプランを堅持しているのであれば、それは正しい軌道に乗っていると考えてよいでしょう。

技術要約：LLMエージェントにおける不確実性シグナルとしての行動的一貫性

問題提起

LLM（大規模言語モデル）エージェントがプロトタイプからプロダクションシステムへと移行するにつれ、その信頼性を理解することが極めて重要になっている。基本的でありながら研究が進んでいない重要な問いは、エージェントの「行動的一貫性」である。すなわち、同一の入力に対して、エージェントは同じ推論経路を辿り、同じ答えに到達するのかという点である。不一致（インコンシステンシー）は、デバッグを困難にし、不確実性の検出を阻害し、標準的なベンチマーク評価手法に課題を突きつける。既存の研究（ $\tau$ -benchなど）はエージェントの不一致を定量化しているが、「どこで」「なぜ」分岐が発生するのか、また、この分散が選択的予測や失敗検出のための、学習を必要としない（training-free）不確実性シグナルとして活用できるのかについての体系的な分析は不足している。

メソドロジー

著者らは、ReActスタイルのエージェントにおける行動的一貫性について、4つのモデル（Llama 3.1 70B, GPT-5, Claude Sonnet 4.5, Gemini 3 Pro）と2つのベンチマーク（HotpotQAおよびSWE-bench）を用いて体系的な実証研究を行っている。

実験設定: 本研究では、合計8,000回の実行（HotpotQA 200問 $\times$ 4モデル $\times$ 各10回の独立試行）と、SWE-benchにおける1,000回の実行（50タスク $\times$ 5回の試行）を実施した。決定論的なサンプリングではなく、確率的なサンプリングを確保するため、温度パラメータは0.7（Geminiについては特定の調整を含む）に設定された。
指標: コアとなる指標は、 $k$ 回の実行を通じて生成された一意のアクションシーケンス（軌跡）の数によって定義される行動的一貫性である。追加の指標には、ステップの分散比、最初の分岐点、および回答の正解性（ファジー文字列マッチングおよびトークンF1による）が含まれる。
統計的枠組み: 著者らは、クロスラン（実行間）の合意を単一のブラックボックス信号として用いる3つの統計的枠組みを実装している：
1. 選択的分類 (Selective Classification): 合意スコアを用いて、不確実な入力をフィルタリングする。
2. 分布フリー較正 (Distribution-Free Calibration): ホールドアウト校正セットを用いずに、リスク・カバレッジ曲線を検証する。
3. 逐次モニタリング (Sequential Monitoring): ステップレベルの合意を分析し、分岐を早期に検出する。
理論的基礎: 著者らは、合意スコア $s(x)$ を、多数決による回答を生成した実行の割合として定式化している。また、独立かつ同一分布（i.i.d.）に従う実行を前提として、経験的な合意スコアが真の多数決確率に収束することを示す、ヘフディング型の集中不等式（命題1）を証明している。

主要な貢献

1. フィルター＞集約の非対称性

本論文は、マルチステップのエージェントと、シングルターンのChain-of-Thought（CoT）との間にある決定的な非対称性を指摘している。多数決（集約）は、シングルターンのCoTにおいては精度を5〜17パーセントポイント（pp）向上させるが、マルチステップのエージェントではわずか+0〜2ppの向上にとどまる。これは、エージェントのエラーはしばしば系統的であるためである。初期段階の誤ったアクションは、エージェントを誤った軌跡へとコミットさせてしまい、結果として投票によっても修正できない「一貫した間違い（consistent-wrong）」を生み出す。対照的に、不一致に基づいて（実行間で合意が得られない場合に棄権する）フィルタリングを行うことは、4つのモデルのうち3つにおいて、6〜14ppという大幅な精度向上をもたらす。

2. 分布フリー検証を伴う選択的予測

著者らは、行動的一貫性が、Geifman–El-Yanivの選択的分類フレームワーク内において、有効な選択関数として機能することを実証している。 $k=3$ 回の実行が一致する場合にのみ回答することで、システムはカバー率54〜62%において87〜88%の精度を達成する。このアプローチは、別途の校正データ（calibration data）を必要としない分割コンフォーマル（split-conformal）のベースラインと同等の性能を実現する。なぜなら、予測に使用される $k$ 回の実行自体が、信号を内在的に提供しているからである。

3. 行動的一貫性＞言語化された自信

共通の100問の分割データを用いた直接比較において、行動的一貫性（AUROC 0.65–0.74）は、失敗検出器としての言語化された自己信頼度（AUROC 0.48–0.55）を、Claude、GPT-5、Llamaにおいて大幅に上回った。これら2つの信号を組み合わせても、行動的一貫性単独の性能を超える改善は見られなかった。決定的なのは、行動的一貫性がプロンプトエンジニアリングやログ確率へのアクセス、あるいはモデルの修正を一切必要としない点である。

4. クロスベンチマークの安定性とランキングの不安定性

一貫性の階層構造（分散の大きさにおいて Claude < GPT-5 < Gemini < Llama）は、HotpotQA（QAタスク）とSWE-bench（コーディングタスク）の両方で正確に維持されており、一貫性がベンチマークに依存しない安定したモデル特性であることを示唆している。さらに、本論文は、単一実行による評価が分散のためにモデルの順位付けを29.3%の割合で誤ってしまうことを明らかにしており、これは標準的なベンチマーク手法を根底から覆すものである。

5. 分岐メカニズム

分岐は推論プロセスの初期段階に集中する。Llamaでは、50.5%のタスクがステップ2までに分岐するのに対し、ClaudeやGPT-5ではわずか4〜6%であった。最初の検索クエリが、その後の軌跡をほぼ決定づける。また、パスの長さは行動的分散と強く相関しており、長いパスはバックトラッキング（後戻り）を示し、エラーの機会が増加することを示している。

結果

一貫性と正解性: 一致するタスク（一意のシーケンス数が2以下）は82〜87%の精度を達成する一方、不一致のタスク（シーケンス数が4以上）では41〜65%に低下する。この差はタスクの難易度を制御した後でも持続するが、「一貫した間違い（エージェントが自信を持って誤った回答を生成するケース）」が、フィルタリングによる利得のハードキャップ（5.5〜10%のタスク）となっている。
失敗検出: 一貫性指標（例：一意のシーケンス数が4より大きい場合）は、失敗を検出するためのAUROCスコアとして0.62〜0.78を達成し、ランダムなベースラインを大幅に上回る。
較正 (Calibration): 行動的一貫性は有用な不確実性シグナルではあるが、完全に較正されているわけではない（期待較正誤差（ECE）は0.09から0.17の範囲）。これは、合意レベルが正解確率と完全に一致しているわけではないことを示している。
SWE-benchによる検証: 一貫性の階層構造は、制約のないbashコーディングタスクにおいても保持されており、Llamaが最も高い分散（CV 68.9%）を示し、Claudeが最も低い（CV 17.7%）ことを示した。

意義と主張

本論文は、行動的一貫性が、繰り返し実行から自然に創発する学習不要かつブラックボックスな不確実性シグナルであることを主張している。その主要な意義は、モデルの修正や内部状態へのアクセスを必要とせずに、選択的予測（不確実な入力に対する棄権）や実行時の失敗検出を可能にする点にある。

著者らは、このシグナルがエージェントの信頼性におけるギャップを埋めるものであると論じている。言語化された自信や学習された較正とは異なり、これは堅牢であり、微調整を必要としない。各独立した実行を暗黙的なアンサンブルメンバーとして扱うことで、本研究はエージェントの挙動を確立された統計的枠組みへと結びつけている。これらの知見は、高リスクなデプロイメントにおいて、単一実行による評価は不十分であり、代わりにクロスランの合意を監視することが、スループット（カバレッジ）を犠牲にするものの、システムをより安全で予測可能なものにし、信頼性を向上させるための信頼できるメカニズムを提供することを示唆している。本論文は、一貫性は単なる信頼性指標ではなく、エージェント・システムをより安全かつ予測可能にするために活用できる根本的な特性であると結論付けている。