💻 computer science

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems

本論文は、LLMを評価者として用いる際のプロンプトの言い換えに対する判定の安定性を測定するベンチマーク「JudgeSense」を提案し、評価タスクの種類やモデルの規模によって判定の整合性が大きく異なることを明らかにしています。

原著者： Rohith Reddy Bellibatlu

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

原著者： Rohith Reddy Bellibatlu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AI審判の「気分屋」度を暴く：JudgeSense

1. どんな問題なの？（「審判の気まぐれ」問題）

想像してみてください。あなたはサッカーの試合を見ていて、ある審判に「今のプレーは反則ですか？」と聞きました。審判は「はい、反則です」と答えました。
ところが、次にあなたが少し言い方を変えて、「今の動き、ルール違反でしたよね？」と聞き直すと、その審判は「いいえ、セーフです」と答えたとしたら……。

これでは、審判の判定を信じることができませんよね？

今、AIの世界では「AIに他のAIの回答を採点させる（AI審判）」という仕組みが流行っています。しかし、この論文は**「AI審判は、聞き方（プロンプト）をちょっと変えただけで、答えをコロコロ変えてしまう『気分屋』ではないか？」**という重大な疑問を投げかけています。

2. 何をしたのか？（「聞き方テスト」の実施）

研究チームは、**「JudgeSense（ジャッジセンス）」**という新しいテストを作りました。

やり方はこうです。
AI審判に対して、**「意味は全く同じだけど、言い回しだけが違う質問」**をセットで投げかけます。

質問A：「この文章は分かりやすいですか？（1〜5点で答えて）」
質問B：「分かりやすさを5段階で評価してください」

もしAIが「賢い審判」なら、AでもBでも同じ点数を出すはずです。もし点数がバラバラなら、そのAIは「言葉の表面的なニュアンスに振り回される、不安定な審判」ということになります。

3. 分かったこと（驚きの結果）

実験の結果、いくつかの面白い事実が判明しました。

① 「問題の種類」によって、AIの安定感が全然違う！
「文章のまとまり（一貫性）」を採点させる時は、AIによって安定感が天国と地獄のように分かれました。超優秀な審判もいれば、めちゃくちゃ気分屋な審判もいました。
一方で、「事実かどうか」を判定させる時は、どのAIも同じくらい「言い回し」に惑わされていました。これはAIの能力というより、**「質問の作り方の罠」**にみんながハマっていただけだと分かりました。
② 「デカければいい」わけじゃない！
普通、AIは「モデルが大きい（頭が良い）ほど正確」と思われがちです。しかし、今回のテストでは、世界最高峰の超巨大AIが、中くらいのサイズのAIよりも「気分屋」で不安定な結果を出すという逆転現象が起きました。
「体が大きいからといって、必ずしも公平な審判とは限らない」ということです。
③ 「AかBか」を選ぶ審判は、実は「先入観」の塊？
「2つの回答のうち、どちらが良いか選べ」というテストをさせると、ほとんどのAIが**「とりあえず先に書いてある方（Aの方）を選んでおこう」**という、極端に偏った癖（ポジション・バイアス）を見せました。これは、審判としての信頼性を大きく損なう問題です。

4. 私たちはどうすべきか？（まとめとアドバイス）

この論文は、AIを使って何かを評価しようとしている人たちに、こうアドバイスしています。

「言い方」に気をつけろ！：質問の仕方を少し変えるだけで結果が変わる可能性があることを忘れないでください。
「大きさ」で選ぶな！：AIのサイズ（パラメータ数）だけで「このAIは優秀な審判だ」と決めつけないでください。ちゃんと「安定性テスト」をしましょう。
「JSS」という指標を使おう！：論文では、AIがどれくらい安定しているかを数値化する**「JSS（Judge Sensitivity Score）」**という新しい物差しを提案しています。これを使えば、「このAI審判は、言い回しが変わっても8割以上の確率で同じ判定を下す、信頼できるやつだ」と客観的に判断できます。

一言でいうと：
「AI審判は、聞き方ひとつで態度を変える『気まぐれな審判』になることがある。だから、そのAIがどれくらい『ブレないか』をちゃんとチェックする物差し（JSS）が必要なんだ！」というお話でした。

論文要約：JudgeSense — LLM-as-a-Judge システムにおけるプロンプト感度のベンチマーク

1. 背景と問題意識 (Problem)

現在、大規模言語モデル（LLM）を他のモデルの評価者として利用する「LLM-as-a-Judge」という手法が広く普及しています。しかし、評価プロンプトの言い回し（パラフレーズ）がわずかに変わるだけで、評価結果（ラベル）が変動してしまう**「プロンプト感度（Prompt Sensitivity）」**の問題が十分に検証されていません。

もし評価者がプロンプトの表現に左右されるのであれば、プロンプトの設計は単なる実装の詳細ではなく、評価結果を歪める「交絡因子（Confounder）」となります。本研究は、評価者が「同じ質問に対して、言い回しが変わっても一貫した判断を下せるか」という**決定の安定性（Decision Stability）**を定量化することを目的としています。

2. 手法 (Methodology)

2.1 指標：Judge Sensitivity Score (JSS)

本論文では、新しい指標として Judge Sensitivity Score (JSS) を提案しています。
$JSS(j, t) = \frac{1}{|P|} \sum_{i=1}^{|P|} \delta(j(p_i), j(p'_i))$
ここで、 $j$ は評価モデル、 $t$ はタスク、 $P$ は意味的に等価なパラフレーズのペア集合です。 $\delta$ は、2つのプロンプトに対する決定が一致すれば1、異なれば0を返します。JSSは $[0, 1]$ の範囲をとり、1.0に近いほどプロンプトの言い回しに対して頑健であることを示します。

2.2 ベンチマークの構築

以下の4つの評価次元をカバーする494組の検証済みパラフレーズペアを構築しました。

Factuality (事実性): TruthfulQAを使用。
Coherence (一貫性/論理的整合性): SummEvalを使用（1〜5のLikert尺度）。
Relevance (関連性): BEIRを使用（二者択一）。
Preference (好みの選好): MT-Benchを使用（二者択一）。

2.3 実験設定

9つのモデル（GPT-4o, Claude 3.5 Sonnet, Gemini 2.5 Flash, Llama 3.1 70B, Qwen 2.5 72B, DeepSeek-R1など）を対象に、温度パラメータ $T=0$ （Greedy decoding）で評価を実施しました。

3. 主な貢献 (Key Contributions)

標準的な指標の提案: 評価者の信頼性を単一の数値で報告できる「JSS」を定義。
検証済みデータセットの公開: 意味的な等価性が検証されたパラフレーズペアのデータセットを提供。
大規模な実証研究: 商業用およびオープンソースの主要な9モデルを網羅的に比較。
実務的なガイドラインの提示: タスクごとにどのモデルが安全に使用できるかを分類。

4. 結果 (Results)

4.1 Coherence（一貫性）における顕著な差

Coherenceタスクは、モデル間で最もJSSの差が出たタスクでした（0.389 〜 0.992）。

最高性能: Claude-3.5-Sonnet (JSS=0.992)
最低性能: Gemini-2.5-Flash (JSS=0.389)
モデルのパラメータ数（規模）と一貫性は必ずしも相関せず、最先端の商用モデルであっても一貫性が低いケースがあることが判明しました。

4.2 Factuality（事実性）における「極性反転」の影響

Factualityタスクでは、全モデルが約37%の確率で判断を翻すという共通の結果が出ました。しかし、これはモデルの欠陥ではなく、**プロンプトの極性（Polarity）**に起因することが判明しました。

特定のテンプレート（例：「間違いはありますか？ YESならエラー、NOなら正確」）が他のテンプレートと回答の向きを反転させていたため、これを補正するとJSSは0.9以上に上昇しました。

4.3 Pairwise（二者択一）タスクの退化現象

PreferenceとRelevanceタスクでは、8つのモデルが常に「選択肢A」を選ぶという**「Always-A」行動**を示しました。これは「位置バイアス（Position Bias）」によるもので、JSSが1.0になっても、それは一貫しているのではなく、単にバイアスによって判断が固定されている（退化している）ことを意味します。

4.4 Negative Kappaの発見

Gemini-2.5-Flash や Mistral-7b は、Coherenceにおいて負のCohen's $\kappa$ を示しました。これは、言い回しを変えると「偶然よりも高い確率で逆の判断を下す」ことを意味し、評価者として極めて不安定であることを示しています。

5. 意義と結論 (Significance)

本研究は、LLMを評価者として利用する際の「信頼性」の定義を拡張しました。

実務への示唆: 評価者を選ぶ際は、モデルの大きさ（パラメータ数）ではなく、使用するタスクにおけるJSSを直接測定すべきである。
プロンプト設計の重要性: 特に事実性の評価において、回答の極性を反転させるようなプロンプト設計は、モデルの性能に関わらず一貫性を著しく損なう。
今後の展望: 二者択一タスクにおける位置バイアスを排除するため、選択肢の順序をランダム化する手法の導入が必要である。

結論として、JudgeSenseは、LLMを用いた自動評価システムが「測定ツール」として機能するためには、単なる正解率だけでなく、プロンプトの変動に対する「決定の安定性」を報告することが不可欠であることを明らかにしました。