Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge

本論文は、RAG 環境における実用的な質問応答ペアを用いた大規模なモデル比較を通じて、LLM を評価者として活用する際、同一入力に対してもモデルや温度設定によってスコアに大きなばらつきが生じることを実証し、生産環境での信頼性確保には監視やハイブリッド評価戦略の必要性を指摘しています。

要約

この論文は、**「AI 先生が採点するテスト」**についての実験報告書です。

最近、企業や研究では「AI に AI の回答を評価させる（LLM-as-a-judge）」というやり方が流行っています。しかし、この論文は**「同じ問題に、同じ AI 先生が採点しても、毎回点数がバラバラになってしまう」**という意外な事実を突き止めました。

まるで、**「同じ料理を、同じシェフが作っても、味見するたびに『美味しい』と『まずい』を繰り返す」**ようなものです。

以下に、この研究の核心をわかりやすく解説します。

---

🍳 実験の舞台：「AI 採点システム」のテスト

研究者たちは、ある企業のチャットボット（AI 助手）から実際の質問と回答を集めました。そして、5 種類の有名な AI（GPT-4o, Gemini, Claude など）に、以下の 3 つの基準で「0 点〜1 点」の採点をさせました。

1. 関連性：質問にちゃんと答えているか？
2. 正確性：情報が事実と合っているか？
3. 網羅性：必要な情報がすべて含まれているか？

さらに、AI の「気分」を変える設定（Temperature：温度設定）を 2 種類（0 と 1）に変えて実験しました。

• 温度 0：AI を「冷静沈着」な状態にする（理論上は毎回同じ答えが出るはず）。
• 温度 1：AI を「少しわくわくさせて」創造的にさせる（答えが変わりやすくなる）。

🔍 発見された 3 つの驚きの事実

1. 「冷静な AI」でも、点数は揺れる（RQ1）

「温度 0」に設定すれば、AI は毎回同じ答えを出すはずだと思われていました。しかし、実際にはそうではありませんでした。

• たとえ話：同じ料理を、同じシェフが「冷静に」作っても、味見するたびに「塩味が少し違う」「少し甘すぎる」と感じ取り、点数がコロコロ変わってしまいます。
• 特に**「網羅性（必要な情報が全部入っているか）」**という基準で、点数のバラつきが最も大きかったです。

2. AI によって「採点の厳しさ」が違う（RQ2）

同じ回答に対して、異なる AI 家族（GPT 社、Google 社、Anthropic 社など）が採点すると、点数が全く違いました。

• たとえ話：ある生徒の作文を、3 人の先生が採点するとします。
  • 先生 A（GPT）：「よく書けているね！80 点！」
  • 先生 B（Claude）：「これは質問の意図とズレている。0 点！」
  • 先生 C（Gemini）：「完璧に説明されている。100 点！」
• 回答は同じなのに、先生（AI）の「ものの見方」や「厳しさ」が違うため、同じ回答が「合格」にも「不合格」にもなり得ます。

3. 「冷静にさせる」設定は万能ではない（RQ3）

「温度を 0 にすれば安定する」と思われがちですが、AI によって効果が全然違いました。

• GPT や Gemini：温度を 0 にすると、点数が安定する傾向がありました（冷静になると、採点が一定になる）。
• Claude：温度を 0 にしても、点数のバラつきはほとんど減りませんでした。むしろ、ある基準では不安定さが残ったままです。
• 結論：「冷静にさせるスイッチ」をオンにしても、AI の「性格（アーキテクチャ）」によっては、まだムラがあるのです。

⚠️ なぜこれが問題なのか？

この研究は、ビジネス現場に大きな警鐘を鳴らしています。

• 不公平な扱い：もし、AI の採点結果で「顧客の問い合わせを優先処理するか」を決めていると、**「同じ問い合わせなのに、AI の気分（ランダム性）によって、対応のスピードが変わってしまう」**可能性があります。
• 信頼性の欠如：「昨日は合格だったのに、今日は不合格」ということが起きれば、システムを信頼できなくなります。

💡 私たちが何をすべきか？

この論文は、**「AI 先生は完璧ではない」**と教えてくれます。

1. 1 回だけの採点を信じるな：重要な判断をするなら、AI に何度も採点させ、その「平均点」や「バラつき（標準偏差）」を見る必要があります。
2. 人間のチェックを入れる：AI だけで全てを決めず、最終的には人間が確認する「ハイブリッドなシステム」が安全です。
3. AI の「性格」を知る：どの AI を使うかによって、採点の癖が違うことを理解し、それに合わせた対策が必要です。

🌟 まとめ

この論文は、**「AI は魔法の箱ではなく、人間と同じように『ムラ』がある存在」**だと教えてくれました。

AI を採点役として使うのは便利ですが、**「同じ入力なのに、結果が毎回違う」**という性質を無視してはいけません。企業や社会が AI を使うときは、その「揺らぎ」を許容し、対策を講じながら慎重に進める必要があるのです。

技術概要

論文要約：同一入力に対する異なるスコア：LLM ジャッジの不一致性に関するマルチモデル研究

この論文は、大規模言語モデル（LLM）を自動評価者（LLM-as-a-judge）として利用する際の**スコア付けの一貫性（安定性）**に焦点を当てた実証研究です。特に、企業環境での RAG（検索拡張生成）システムにおいて、同じ入力に対して異なるモデル、あるいは同一モデルの異なる実行間で、数値スコアがどのように変動するかを調査しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、LLM は生成タスクだけでなく、他の LLM やユーザー生成コンテンツを評価する「LLM-as-a-judge」として広く採用されています。しかし、既存研究の多くは評価の精度やバイアス、人間との整合性に焦点を当てており、**数値スコア付けの「一貫性」や「安定性」**については十分に研究されていません。

• 非決定性の課題: LLM は本質的に確率的であり、同じプロンプトを入力しても温度パラメータ（Temperature）を 0 に設定しても、出力が完全に同一になるとは限りません。
• 実務へのリスク: 企業では、LLM のスコアに基づいて問い合わせのルーティング、トリアージ、ゲートリング、品質チェックなどの自動化された意思決定が行われています。同じ入力に対してスコアが変動すれば、顧客への対応や業務フローに不公平さや不整合が生じるリスクがあります。
• 既存研究の限界: 過去の研究は主に多肢選択問題や選択タスクにおける一貫性を扱っており、0〜10 などの連続値や離散値を付与する「スコアベースの判断」タスクにおける不安定性は未調査でした。

2. 研究方法 (Methodology)

本研究は、実世界の企業チャットボット（RAG アーキテクチャ）から収集した質問と回答のペアを用いて、以下の条件で実験を行いました。

• 評価対象モデル: 主要な 3 つのベンダーから 5 つのモデルを選択。
  • OpenAI: GPT-4o, GPT-4o-mini
  • Google: Gemini-2.5-Flash
  • Anthropic: Claude-Haiku-4.5, Claude-Sonnet-4.5
• 評価指標: 3 つの基準に対して 0〜1 のスコアを付与。
  1. Relevance（関連性）: 質問に直接答えているか。
  2. Accuracy（正確性）: 情報が事実として正しいか。
  3. Completeness（網羅性）: 必要な情報が完全に含まれているか（RAG システムの検索能力を評価する上で重要）。
• 実験条件:
  • 温度設定（Temperature）: 0（理論上の決定論的設定）と 1（ランダム性が高い設定）の 2 段階。
  • 実行回数: 各モデル・条件に対して 10 回繰り返し実行。
• データセット: 機密保持のため公開不可の社内企業データ（ベンチマーク汚染のリスクを回避）。

3. 主要な貢献 (Key Contributions)

1. スコアベース評価における不安定性の体系的な実証: 決定論的設定（Temperature=0）であっても、LLM が同一入力に対して異なる数値スコアを生成することを示しました。
2. モデルファミリー間の構造的な違いの解明: 温度設定の変更に対する反応がモデルファミリー（OpenAI, Google, Anthropic）によって大きく異なることを明らかにしました。
3. 評価指標ごとの変動性の差異: 「網羅性（Completeness）」が「関連性」や「正確性」よりもはるかに高い変動性を示すことを発見しました。
4. 実務への示唆: 単なる平均スコアだけでなく、標準偏差や一貫性を指標としてモデル選定や監視を行う必要性を提唱しました。

4. 実験結果 (Results)

RQ1: モデル内のスコア一貫性（同一質問の繰り返し評価）

• 非決定性の継続: Temperature=0 であっても、すべてのモデルでスコアの変動（標準偏差）が観測されました。特に Anthropic モデル（Claude, Sonnet）では、網羅性（Completeness）のスコア変動が顕著でした。
• 指標による違い: 「関連性」と「正確性」は比較的安定していますが、「網羅性」はすべてのモデルで変動が最も大きかったです。
• モデルごとの傾向:
  • Gemini: Temperature=0 にすると、多くのケースで標準偏差がほぼゼロになり、極めて高い安定性を示しました。
  • GPT 系: Temperature を下げることで安定性が向上しましたが、完全な決定論にはなりませんでした。
  • Anthropic 系: Temperature を 0 にしても変動が減少せず、場合によっては変動が増大することさえありました。

RQ2: モデル間のスコア差異（同一入力に対する異なるモデルの評価）

• 厳格さと解釈の違い: 同じ回答に対して、モデルファミリー間でスコアが大きく異なることが確認されました。
  • 例：ある回答について、Gemini は「完全（1.0）」と評価する一方、GPT は「部分的（0.5）」、Claude は「ほぼゼロ（0.0）」と評価するケースがありました。
  • これは、モデルが「完全さ」や「意図との整合性」を解釈する基準が根本的に異なることを示しています。
• ビジネスへの影響: 1 つの質問がモデルによって異なるスコアを受け、それに基づいて異なるルーティングや対応が行われるリスクがあります。

RQ3: 温度設定の影響

• 不均一な効果: 温度を下げることがスコアの安定化に寄与するかどうかはモデルに依存します。
  • GPT と Gemini は温度低下による安定化効果が明確でした。
  • Anthropic モデルは温度設定による改善がほとんど見られず、非決定性がサンプリングのランダム性だけでなく、アーキテクチャやデコード段階の深層にある可能性を示唆しています。
• フォーマット不一致: スコア自体は似ていても、出力フォーマット（JSON 構造など）が指示と異なる場合があり、パースエラーを引き起こすことが確認されました。

5. 意義と結論 (Significance & Conclusion)

本研究は、LLM を自動評価者として実運用（プロダクション環境）に導入する際の重要な警告と指針を提供しています。

• 信頼性の再定義: 信頼性のあるシステムとは、「常に正しい」ことだけでなく、「常に一貫した出力（たとえそれが誤りであっても）」を出すことを意味します。変動するスコアは、ユーザーがどの判断を信頼すべきか不明確にさせます。
• 実務への提言:
  • 監視の強化: 平均スコアだけでなく、標準偏差や変動性を監視する仕組みの導入が必要。
  • ハイブリッドアプローチ: 重要な意思決定においては、LLM 評価と人間の評価を組み合わせる、あるいは複数のモデルで評価する手法の検討。
  • ロバストなパース: 出力フォーマットの不一致を防ぐため、構造化された出力を強制する、または二次的なパースエージェントを使用するなどの対策。
  • モデル選定: 温度パラメータへの依存度が低い、または安定性が高いモデル（本研究では Gemini が低温で優位）の選定が重要。

結論として、LLM の非決定性は理論的な問題ではなく、実務的な不安定さの源泉です。企業は、LLM-as-a-judge を導入する際、その限界を理解し、公平性、再現性、運用信頼性を確保するための対策を講じる必要があります。