Consistency Amplifies: How Behavioral Variance Shapes Agent Accuracy

SWE-bench における大規模言語モデルエージェントの研究は、一貫性が必ずしも正確性を保証するものではなく、誤った解釈を一貫して繰り返すことで失敗を増幅する可能性を示し、実運用においては実行の一貫性よりも解釈の正確性が重要であることを明らかにしています。

要約

この論文は、AI（特に大規模言語モデル）が「同じ仕事」を何度もやらせると、毎回同じように動くのか、それともバラバラになるのかを調査したものです。

結論を一言で言うと、**「AI が毎回同じ行動をとる（一貫性がある）ことは、必ずしも『正しい』という意味ではない」**という、少し意外な発見がありました。

これをわかりやすく、日常の例え話を使って解説します。

---

🕵️‍♂️ 物語：3 人の探偵と 10 の事件

この研究では、**「SWE-bench」**という、複雑なプログラミングのバグ（不具合）を直すという「事件」を 10 件用意しました。そして、その事件を解決するために、3 人の異なる探偵（AI モデル）に調査を依頼しました。

1. クラウデ（Claude）：慎重で、徹底的に調べる「名探偵」。
2. GPT-5：スピード重視で、さっと動く「俊足探偵」。
3. ラマ（Llama）：まだ修行中の「新人探偵」。

それぞれに 5 回ずつ同じ事件を解決してもらい、その結果を分析しました。

🔍 発見 1：「一貫性」と「正解」の関係

まず、驚くべき事実がわかりました。

• クラウデは、5 回ともほぼ同じ手順で事件を解決しました（一貫性が高い）。そして、**正解率も 58%**と最も高かったです。
• ラマは、5 回とも全く違う手順で動きました（一貫性が低い）。そして、**正解率は 4%**と最悪でした。
• GPT-5は、その中間でした。

**「一貫性が高い＝優秀」**というイメージは、この時点では正しそうですよね？でも、ここからが本題です。

⚠️ 発見 2：「一貫性」は「間違い」も増幅する

ここで、クラウデの「失敗した 5 回」を詳しく見てみると、ある恐ろしいパターンが見つかりました。

「同じ間違いを、5 回とも同じように繰り返していた」

例えば、「犯人は A だ」という間違った仮説を立てた場合、クラウデは「A だ！」と確信して、5 回とも A を追いかけるために同じ道を進み、同じ場所でつまずいて失敗しました。

• 正解の場合：一貫性があるおかげで、正解を確実に繰り返せる。
• 間違いの場合：一貫性があるおかげで、間違いを確実に繰り返す。

つまり、「一貫性」は、AI が「正しい方向」に向かっているか「間違った方向」に向かっているかに関わらず、その結果を「増幅（アンプ）」するのです。
もし AI が「間違った解釈」をしていれば、一貫性が高いほど、**「自信満々に間違ったことをやり続ける」**ことになります。

🏃‍♂️ 発見 3：「速さ」と「正確さ」のトレードオフ

GPT-5 という探偵は、クラウデに比べて約 5 倍も速く行動しました。しかし、その代償として：

• 正解率は半分以下。
• 行動の一貫性も悪かった（5 回やって、5 回とも違う動きをする）。

これは、**「速く動くためには、慎重さや一貫性を犠牲にしなければならない」**というジレンマを示しています。

• クラウデ：「ゆっくり、慎重に、同じようにやる」→ 高品質だが時間がかかる。
• GPT-5：「速く、テキトーにやる」→ 時間は短いが、結果はバラバラ。

🎯 重要な教訓：「解釈」がすべて

この研究で最も重要な発見は、**「AI が失敗する原因の 7 割以上は、最初の問題の『解釈（理解）』が間違っていたから」**だったことです。

• 例え話：
  • クラウデは、料理のレシピを「塩を 10g 入れる」と間違って理解しました。でも、彼は「塩 10g」を完璧に、一貫して守り続けました。結果、料理は塩辛くて失敗しました。
  • もし彼が「塩 10g」を「砂糖 10g」に間違って理解していたら、一貫して砂糖を入れ続け、さらに失敗します。

逆に、**「新人探偵（ラマ）」**は、5 回やって 5 回とも違う動きをしました。ある時は「塩 10g」を入れ、ある時は「砂糖」を入れ、ある時は「何も入れませんでした」。
そのおかげで、たまたま「正しい量（0g）」を入れた回が 1 回だけあり、それが正解になりました。

つまり、「一貫して同じ動きをする」こと自体は、成功を保証しないのです。大切なのは、**「最初に問題を正しく理解しているか」**です。

💡 私たちへのメッセージ

この論文は、AI を仕事で使う際に以下のことを教えてくれます。

1. 「いつも同じ答えを出す AI」は信頼できる？
   • 答えは「YES でも NO でもある」。もし AI が間違った前提で動いていれば、一貫性が高いほど「自信を持って間違った答え」を出し続ける危険性があります。
2. 評価の仕方を変えよう
   • 「1 回やって成功したから OK」ではなく、「10 回やって、何回成功したか」「失敗した時、同じ間違いを繰り返しているか」をチェックする必要があります。
3. AI の「理解力」を鍛えるのが一番重要
   • 実行速度を上げたり、ツールを上手に使ったりする前に、「本当に何をすべきか」を正しく理解させることが、AI を信頼できる存在にする最大の鍵です。

まとめ

AI の「一貫性」は、「良い方向へのエンジン」にも、「悪い方向へのエンジン」にもなり得るという両刃の剣です。
私たちが目指すべきは、AI に「同じ動きをさせること」ではなく、**「最初に正しい方向を指し示すこと」**なのです。

技術概要

以下は、提示された論文「Consistency Amplifies: How Behavioral Variance Shapes Agent Accuracy（一貫性の増幅：行動のばらつきがエージェントの精度に与える影響）」の技術的な要約です。

1. 研究の背景と問題提起

大規模言語モデル（LLM）に基づくエージェントが本番環境（コードアシスタントや自律型研究ツールなど）に導入される中で、**「同じタスクを与えた際に、エージェントが同じような行動シーケンスを生成するか（行動の一貫性）」**という課題が重要視されています。

従来の研究では、単純な推論タスクにおける LLM のばらつき（Variance）は指摘されていましたが、複雑な多段階推論を要するタスクにおける一貫性と精度の関係は未解明でした。特に、本番環境では以下の理由から一貫性が不可欠です。

• 信頼性: 一貫性のないエージェントは予測不能であり、高リスクな用途で信頼を得られない。
• デバッグの難易度: 同じ入力に対して成功したり失敗したりする場合、原因の特定が困難になる。
• ベンチマークの妥当性: 単回の実行結果のみで評価することは、結果が大幅に変動する場合に誤解を招く恐れがある。

本研究は、複雑なソフトウェアエンジニアリングタスク（SWE-bench）において、モデルの能力レベルと行動の一貫性、そして最終的な精度（Accuracy）の間にどのような関係があるかを解明することを目的としています。

2. 研究方法

• ベンチマーク: SWE-bench Verified（人間が検証した GitHub の課題を解決するタスク）から、Astropy リポジトリの 10 タスクを選択。
• 対象モデル: 3 つの異なる能力レベルのモデルを比較。
  • Claude 4.5 Sonnet: 最先端のコーディング能力を持つモデル。
  • GPT-5: 強力な推論能力を持つ OpenAI のモデル。
  • Llama-3.1-70B: オープンウェイトで広く展開されているモデル。
• 実験プロトコル:
  • 各モデル・タスクペアに対して 5 回独立した実行（合計 150 回の実行）。
  • 温度パラメータ（Temperature）は 0.5（中程度の確率的要素）。
  • 環境：Docker コンテナ内で孤立した実行環境。
  • ツール：Bash コマンド（ファイル操作、コード編集、テスト実行）へのアクセスを統一。
• 評価指標:
  • 一貫性（Consistency）: 実行ステップ数の変動係数（CV: Coefficient of Variation）で測定。値が低いほど一貫性が高い。
  • 精度（Accuracy）: 提出されたパッチがテストスイートをすべてパスしたか（SWE-bench 公式評価ハarness使用）。
  • フェーズ分解: エージェントの行動を「探索 (EXPLORE)」「理解 (UNDERSTAND)」「編集 (EDIT)」「検証 (VERIFY)」に分類し、ばらつきの発生源を特定。

3. 主要な発見と結果

A. モデル間の階層構造とトレードオフ

3 つのモデルは、一貫性と精度において明確な階層構造を示しました。

• Claude 4.5: 最も一貫性が高い（CV: 15.2%）かつ最も精度が高い（58%）。
• GPT-5: 中間（CV: 32.2%、精度 32%）。
• Llama-3.1: 最もばらつきが大きく、精度も低い（CV: 47.0%、精度 4%）。

スピード - 精度 - 一貫性のトレードオフ:
GPT-5 は Claude に比べて4.7 倍高速（平均ステップ数 9.9 vs 46.1）ですが、精度は 1.8 倍低く、一貫性は 2.1 倍悪化しました。これは、徹底的なアプローチ（Claude）と迅速な反復（GPT-5）の間に根本的なトレードオフが存在することを示唆しています。

B. 「一貫性は結果を増幅する」という洞察（Amplification Insight）

本研究の最も重要な発見は、**「一貫性は正解を保証するものではなく、結果（正解または誤解）を増幅する」**という点です。

• Claude の失敗の**71%**は「一貫した誤った解釈（Consistent Wrong Interpretation）」に起因していました。つまり、タスクの意図を誤って理解した場合、その誤った解釈に基づき、5 回すべての実行で同じ間違いを繰り返して失敗しました。
• 逆に、正しい解釈がなされたタスクでは、5 回すべて成功しました。
• タスクレベル（10 タスク内）で見ると、一貫性（CV）と精度の間に有意な相関は見られませんでした。モデルは「一貫して間違える」こともあれば、「ばらつきながら正解する」こともあります。

C. 分岐タイミングと一貫性の非対称性

行動が分岐するタイミング（Divergence Timing）を分析した結果、驚くべき事実が明らかになりました。

• Claude と GPT-5 は、タスク実行の3 歩目付近でほぼ同じタイミングで行動が分岐します（Claude: 3.2 歩、GPT-5: 3.4 歩）。
• しかし、その後の挙動が異なり、Claude は分岐後も戦略的な整合性を保つため一貫性が高く、GPT-5 は軌道が大きく散らばるため一貫性が低くなります。
• これは、「初期の戦略的合意」だけでは一貫性は決定されず、分岐後の行動の整合性が重要であることを示しています。

D. 失敗モードの分析

• Claude と GPT-5: ほぼ 100% の失敗が「誤った修正（Wrong Fix）」であり、放棄（Empty Patch）はほとんどありません。
• Llama: 21% の確率で「放棄（Give up）」する失敗モードが見られました。
• 解釈のボトルネック: 能力の高いモデルほど、実行の質ではなく「タスクの初期解釈」がボトルネックになっていることが判明しました。

4. ケーススタディ

• ケース 1（Astropy-13236）: Claude は「非推奨警告を追加する」と誤って解釈し、徹底的に実装して失敗しました（一貫した失敗）。一方、Llama は偶然正しい解釈（変換コードの削除）を行い、唯一成功しました。これは「徹底的であること」が誤った解釈の場合にはマイナスに働くことを示しています。
• ケース 2（Astropy-14309）: 単純なインポートエラーに対し、GPT-5 は 7 ステップで 5/5 成功し、Claude（53 ステップ）と同等の精度を達成しました。これは、単純なタスクでは「厚みのあるアプローチ」が不要であり、適応的な戦略の重要性を示しています。

5. 意義と結論

本研究は、LLM エージェントの本番環境への展開において、以下の重要な示唆を与えます。

1. 解釈の質がボトルネック: 複雑なタスクにおいて、実行の一貫性やテストの徹底さよりも、**「タスクの初期解釈の正確さ」**が信頼性の決定要因です。
2. 一貫性の両刃の剣: 一貫性は、正しいアプローチを確実に実行する一方で、誤ったアプローチを確実に繰り返すリスクも伴います。したがって、単に「一貫性が高い」ことを評価基準とするだけでは不十分です。
3. 評価手法の転換: 従来の「単回実行の精度」報告は誤解を招く可能性があります。本番環境では、複数回の実行による一貫性の報告を含めた評価が標準化されるべきです。
4. 設計への示唆: エージェントの設計においては、実行の効率化だけでなく、タスク理解（解釈）の精度を高めることに注力すべきであり、タスクの複雑さに応じて「徹底的さ」と「効率性」を動的に調整する適応型戦略の必要性が浮き彫りになりました。

総じて、この論文は「一貫性が高い＝信頼できる」という単純な仮定を覆し、「解釈の正確性が伴う一貫性」こそが真の信頼性であるという新たな視点を提供しています。