💬 NLP

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

本論文は、LLM ベースの審査者が異なる実行間で著しい自己内不一致を示し、そのスコアの信頼性を損なうことを明らかにし、また、そのような評価を特定のガイドラインを通じて依然として効果的に活用できるかどうかを調査する。

原著者： Rajarshi Haldar, Julia Hockenmaier

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

原著者： Rajarshi Haldar, Julia Hockenmaier

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks（評価ルーレット：LLM 裁判官フレームワークにおける自己不一致）」について、平易な言葉と創造的な比喩を用いて解説します。

大きなアイデア：「ローラーコースター」裁判官

有名な料理評論家に新しいレストランをレビューしてもらうと想像してください。同じテーブルに座り、目の前に同じナプキンを置いたまま、同じ皿を 3 回続けて味わうよう頼みます。

1 回目の試食： 5 つ星の評価を与え、「傑作」と呼びます。
2 回目の試食： 2 つ星の評価を与え、「味が薄く、焼きすぎだ」と言います。
3 回目の試食： 4 つ星の評価を与え、「まあまあだが、塩味が足りない」と言います。

もしこれが起こったら、その評論家を信頼することはできません。その判断はルーレットのようだと気づくでしょう。食べ物（入力）は全く変わっていないのに、回転して毎回異なる数字に止まるのです。

研究者たちが、他の AI が生成したテキストを評価する裁判官として大規模言語モデル（LLM）に依頼した際、まさにこれと同じ現象を発見しました。これらの AI 裁判官は**「評価ルーレット」**に悩まされているのです。

問題点：AI 裁判官は自分自身と合意できない

AI の世界では、ある AI が別の AI の仕事を評価することがよくあります。これを「LLM-as-a-Judge（LLM 裁判官）」と呼びます。人間を雇うよりも速く安いため、人気があります。

しかし、研究者たちは簡単なテストを行いました。

テキスト（ニュース要約やチャット会話など）を用意しました。
同じ AI 裁判官に、全く同じ指示でそのテキストを3 回評価させました。
AI が毎回同じスコアを与えたか確認しました。

結果： AI 裁判官の評価はバラバラでした。

要約が事実と合致しているか確認するタスク「SummaC」では、最良の AI 裁判官でも自分自身と合意したのは約 79% でした。
チャットボットの会話をランク付けするタスク「MT-Bench」では、合意率はさらに低下しました。ある AI 裁判官は、わずか**61%**のケースで、3 回連続して全く同じ答えを出しただけでした。

まるで質問も回答も変わっていないのに、裁判官の気分が毎回変わるかのようです。

裏目に出る「マジック」

「よし、AI にランダムさをやめさせよう。『サイコロを振る』脳の部分をオフにして、常に同じ答えを出させればいい」と考えるかもしれません。

研究者たちはこれを試みました。AI を 100% 決定論的（ランダム性なし）に設定しました。

一貫性が出たか？ はい。
より優れた裁判官になったか？ いいえ。

実際、AI にサイコロを振るのをやめさせると、人間の裁判官と比較して評価は悪化しました。まるで料理人に毎回全く同じレシピを使うよう強制したようなものです。失敗は減るかもしれませんが、創造性や適応性が失われ、結果として料理の味が悪くなるのです。

この論文は、トレードオフがあることを示唆しています。人間の意見に合致する良い評価を得るためには、AI には少しの「ランダム性（変動性）」が必要です。しかし、その同じランダム性が、AI の自己不一致を引き起こすのです。

人間との比較：人間はもっと優れているのか？

研究者たちは、これが AI 固有の問題かどうかを確認するため、人間の裁判官も調査しました。

人間の専門家： 同じテキストを評価した際、専門家同士はそれなりに合意しましたが、完璧ではありませんでした。
クラウドワーカー： 一般の人々（クラウドワーカー）がテキストを評価すると、専門家同士だけでなく、専門家ともよく意見が割れました。
驚き： 場合によっては、AI 裁判官同士の一貫性が、人間同士の一貫性よりも高かったのです。しかし、AI のスコアがあまりにも不安定であるため、AI が実際に「正しい」のか、それとも単に「運が良かっただけ」なのかを判断するのは困難です。

なぜこれが重要なのか？（「壊れた定規」の比喩）

木の背丈を測ろうとしていると想像してください。

古い方法： 少し曲がった定規を使います。完璧ではありませんが、安定しています。
新しい方法（LLM 裁判官）： ゴム製の定規を使います。伸びたり縮んだりします。同じ木を 3 回測っても、3 つの異なる数値が出ます。

ゴム製の定規を使えば、測定結果を信頼できません。この論文は、LLM を裁判官として使うことは、現在ゴム製の定規を使っているようなものだと主張しています。

テストを 1 回実行すると、あるスコアが出ます。
2 回実行すると、異なるスコアが出ます。
3 回実行すると、3 つ目のスコアが出ます。

スコアが毎回変わるため、AI が実際に品質を評価する能力を持っているのか、それとも単に推測しているだけなのかは分かりません。

異なるタスクで何が見つかったか？

研究者たちは、AI が行わなければならなかった 3 種類の異なる「ゲーム」をテストしました。

真か偽か（SummaC）： 要約は事実と合致しているか？（二択）
- 結果： AI 裁判官は一貫性がありませんでしたが、より新しく大きなモデルはわずかに優れていました。
1 から 5 つ星のレビュー（SummEval）： 「一貫性」や「流暢さ」などで要約を評価します。
- 結果： AI は特に「流暢さ（テキストの滑らかさ）」において非常に一貫性がありませんでした。興味深いことに、AI は人間が互いに合意するよりも、流暢さを評価する方が上手な場合がありました。
バトルロイヤル（MT-Bench）： 2 つのチャットボットのどちらがより良い答えを出したか？
- 結果： これが最も難しいタスクでした。AI 裁判官はここで極めて不安定で、どちらのチャットボットが良いかについて頻繁に考えを変えていました。

結論：ルーレットをどう修正するか

この論文は、AI 裁判官を使いたい人々へのいくつかの実用的なヒントを提供しています。

単一の試行を信頼しない： AI に何かを評価させる場合、最初の答えだけを信じてはいけません。3 回評価させ、平均または多数決を取ってください。これにより「ルーレット」効果が平滑化され、人間が言うであろうスコアに近い結果が得られます。
ランダム性をオフにしない： ランダム性が一貫性を損なうとはいえ、完全にオフにすると、AI は人間の意見に合致する能力が低下します。正しい答えを得るためには、少しの混沌が必要です。
自分自身の一貫性を確認する： AI 裁判官を信頼する前に、それが自分自身と合意するかどうかを確認すべきです。自分自身と合意できないなら、あなたとも合意できないでしょう。

まとめ

この論文は、AI 裁判官が現在信頼できないことを明らかにしています。それは、同じ質問に対して毎回異なる答えを出すからです。彼らは安定した秤ではなく、ルーレットのようです。より新しい AI モデルはわずかに一貫性がありますが、それでも信頼性のあるものになるには苦労しています。現時点での最善の解決策は、AI にゲームを複数回プレイさせ、結果を平均化することであり、ルーレットの「1 回転」だけを信頼することではありません。

ハルダールとホッケンマイヤーによる論文「Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks」の詳細な技術的サマリーを以下に示す。

1. 問題提起

自然言語生成（NLG）が普及するにつれ、モデル出力の評価は、BLEU や ROUGE といった従来の指標から、大規模言語モデル（LLM）が生成されたテキストにスコアや順位を割り当てる「LLM-as-a-Judge」フレームワークへと移行している。これらのフレームワークは、n-gram メトリクスよりもスケーラビリティが高く、人間の嗜好との整合性も優れているが、見過ごされがちな重大な欠陥、すなわち**低い評価者内信頼性（自己信頼性）**に悩まされている。

著者らは、LLM ジャッジが顕著な自己不一致を示すことを特定した。同一の LLM に、同一の入力、ハイパーパラメータ、設定を用いて複数の実行を行わせても、頻繁に異なる評価が生成される。このばらつきは個々の判断を恣意的なものにし、LLM の評価能力の真の質を判断することを困難にする。さらに、既存の研究では、LLM と人間を比較するために相関や精度といった指標に依存することが多く、これらは偶然の一致を補正しないため、認識される信頼性を過大評価する可能性がある。

2. 手法

著者らは、自己信頼性とその評価性能への影響を定量化するため、3 つの異なる NLG ベンチマークにわたって包括的な実証研究を行った。

データセットとタスク

SummaC: 要約の事実一貫性に関する二値分類タスク（一貫している vs 一貫していない）。
SummEval: 一貫性、整合性、流暢性、関連性の 4 つの次元において 1〜5 のリッカート尺度を用いた多指標要約評価。
MT-Bench: 2 つのモデル（モデル A、モデル B、または同点）のどちらの応答が優れているかを選択するマルチターン会話の順位付けタスク。

実験設定

モデル: ジャッジとして 3 つの LLM を使用：Llama-3.1-70B-Instruct、DeepSeek-R1-Distill-Qwen、Qwen3-32B。
手順: 各ジャッジを、同一のデータセット、プロンプト、設定で3 回実行し、評価者内分散を測定した。
合意の指標:
- クリッペンドルフのアルファ（ $\alpha$ ）: 合意を測定するために使用された主要な指標。精度や相関ではなくこれが選ばれた理由は、偶然の一致を補正し、欠損データ、異なる数の評価者、異なるデータタイプ（名義、順序、間隔）を処理できるためである。
- 距離関数: 二値タスク（SummaC）には名義距離、リッカート尺度と順位付け（SummEval、MT-Bench）には順序距離を使用。
- バランス精度: クラス不均衡を考慮するために SummaC で使用。
比較: 本研究では以下の比較を行った：
- 自己信頼性: 複数実行における LLM と自身の合意。
- 評価者間信頼性: LLM と人間（専門家およびクラウドワーカー/ターカー）の間の合意。
- 性能への影響: 「多数決」（複数実行の集約）対「サンプリングなし」（温度を 0 に設定）が、人間のゴールドスタンダードとの合意に与える影響。

3. 主要な貢献

自己不一致の定量化: 本論文は、多様なタスク（要約、事実確認、対話）にわたる LLM ジャッジの低い評価者内信頼性を初めて体系的に定量化した。
分散と性能のトレードオフ: 著者らは、直感に反する発見を示した：サンプリングを無効化（温度を 0 に設定）して決定論的出力を強制することは、LLM と人間の判断との合意を低下させる。 これは、LLM 固有の確率的性質が自己不一致を引き起こす一方で、実際には解空間を探索し、人間のコンセンサスに近い答えを見つけるのを助けている可能性を示唆している。
評価指標への批判: 本研究は、精度や相関といった標準的な指標が、偶然を補正しないため、LLM と人間の間の合意を過大評価していることを浮き彫りにした。クリッペンドルフのアルファは、はるかに低く、より現実的な合意レベルを明らかにする。
タスク固有のばらつき: 不一致は均一ではなく、タスク（例：SummaC より MT-Bench で低い）や指標（例：「流暢性」は LLM が一貫して評価することが特に困難）によって大きく変化する。

4. 主要な結果

自己信頼性（評価者内）

SummaC: クリッペンドルフの $\alpha$ は、0.32（Llama 3.1）から0.79（Qwen 3）の範囲であった。最良のモデル（Qwen 3）でさえ、「良好」とされる合意の閾値である 0.8 にわずかに達しただけであった。
SummEval: 自己信頼性は指標によって異なった。一貫性と整合性は中程度の信頼性を示したが、流暢性はすべてのモデルで非常に低い信頼性であった。
MT-Bench: 自己信頼性は最も低く、 $\alpha$ 値は0.26〜0.56の範囲であった。Qwen 3 は 3 回の実行のうち**61.3%**のケースのみで自身と合意した。
結論: LLM ジャッジは非常に不安定であり、しばしば人間ジャッジよりも不安定である。

人間との合意

指標バイアス: 精度を使用すると、LLM は人間と高い率で合意しているように見えた（例：MT-Bench における人間対人間で 0.827）。しかし、クリッペンドルフのアルファを使用すると、人間対人間の合意は0.478に低下し、LLM 対人間の合意はさらに低下した（例：Qwen 3 対人間：0.426）。
専門家対クラウド: 人間専門家は、クラウドワーカー同士よりも互いに高い合意を示した。LLM は専門家とは modest な合意を示したが、クラウドワーカーとは大きく乖離しており、LLM は専門家の推論とはより整合する可能性があるが、それでも「ゴールドスタンダード」には及ばないことを示唆している。

サンプリング戦略の影響

多数決: 複数実行の結果を集約すること（例：3 回の実行の多数決を取る）は、単一実行と比較して、人間のラベルとの合意を向上させた。
決定論モード（Temp=0）: サンプリングなしでモデルを実行（分散を排除）することは、性能を低下させた。例えば、SummaC において、Qwen 3 のバランス精度は、80.6%（多数決）から79.2%（サンプリングなし）に低下した。これは、決定論を強制することが、人間の嗜好との整合性を取るモデルの能力を損なうことを示している。

5. 意義と推奨事項

意義:
本論文は、「単一実行」による LLM 評価という現在のパラダイムに挑戦する。LLM-as-a-Judge の「ゴールドスタンダード」は不安定であることを明らかにしている。もし LLM が自身と合意できないのであれば、信頼できる評価者としての有用性は損なわれる。これらの知見は、LLM の確率的性質は単なるバグではなく、人間と整合するコンセンサスに到達するのを助ける機能であり、それを除去することは有害であることを示唆している。

将来の研究への推奨事項:

自己信頼性の報告: 評価フレームワークは、評価者間合意に加えて、評価者内信頼性（例：クリッペンドルフのアルファ）を報告しなければならない。
偶然補正指標の使用: ジャッジ評価には精度/相関を使用せず、クリッペンドルフのアルファまたはコーホンのカッパを使用する。
複数実行の集約: 単一推論ではなく、多数決または複数実行の集約を使用してスコアを安定させ、人間の判断との整合性を向上させる。
決定論の強制を避ける: 一貫性の問題を修正するために温度をゼロに設定することは避けるべきである。これは性能を低下させるためである。
人間の自己信頼性の測定: 将来のベンチマークでは、LLM の自己信頼性に対する現実的な上限を確立するため、繰り返し人間の注釈を含めるべきである。

結論として、著者らは、LLM-as-a-Judge は人間による評価のスケーラブルな代替手段ではあるが、その現在の実装は重大な「Rating Roulette（ルーレット）」（偶然性）に悩まされていると主張している。堅牢な評価には、このばらつきを認識し、適切な統計指標を使用し、単発の判断に依存するのではなく、複数回の推論実行を活用することが必要である。