技術要約：LLMジャッジには暗電流が存在する

問題提起

本論文は、大規模言語モデル（LLM）の評価インフラにおける決定的な欠落を指摘している。「LLM-as-a-Judge（ジャッジとしてのLLM）」システムは、人間によるアノテーションのコストや再現性の問題から、オープンエンドなモデル出力の比較における実用的なデフォルトとなっているが、これらのジャッジは現在、単なる「スコアリングデバイス」として扱われている。通常、これらは精度、勝率、一致率といったスカラー指標を用いて報告される。

著者らは、あるジャッジが別のシステムを検証するために使用されるとき、それは一つの**測定器（measurement instrument）**として機能すると主張している。あらゆる物理的な測定器と同様に、その読み取り値が信頼されるためには、その特性を事前に特性化する必要がある。具体的には、ジャッジは以下の特性を示す可能性がある：

• 暗電流（Dark Current）： 評価信号が存在しない場合（空の入力や同一の入力など）に発生する偽の選好。
• 位置バイアス（Positional Bias）： コンテンツではなく、提示順序によって引き起こされる選好。
• 交差感受性（Cross-Sensitivity）： 対象となる構成概念ではなく、摂動（表面形式）に対する感受性。
• 基準ドリフト（Criterion Drift）： プロンプトによって誘発される、動作点（タイ判定か選好判定か）の変動。

論文は、スカラーの結果のみを報告することは、これらの異なる失敗モードを隠蔽することになり、潜在的に下流の科学的主張を無効にする可能性があると論じている。

方法論：ジャッジ・データシート・プロトコル

これに対処するため、著者らはジャッジ・データシート・プロトコルを導入する。これは、ジャッジが他のモデルを測定するために使用される前に、ジャッジ自体を測定するために設計された計量学的フレームワークである。このプロトコルは心理物理学と信号検出理論（SDT）に基づいており、構成的に制御された刺激ラダー（stimulus ladder）を利用している。

コア・コンポーネント

1. 真の真空入力 (A0): プロトコルは、評価信号のない入力（空の文字列、空白、同一の非空ペアを含む）を用いてジャッジをテストする。これは、信号が存在しないときに発生する偽の選好として定義される暗電流 (Dark Current: DC) を測定する。
2. 制御された品質ラダー (A1): 高品質な回答が低品質な回答の厳密な超集合となるような、接頭辞チェーン形式のチェックリスト刺激を構築する。これにより、品質の差（$\Delta Q$）を測定するためのパレート優位な品質ラダーを作成する。
3. 方向安定性分解 ($\Delta 0$): 同品質のペアに対して、提示順序（A, B）と（B, A）の両方を評価する。これは、生の偽の選好を以下に分解する：
   • 安定交差感受性 (Stable Cross-Sensitivity: SCS): 順序に関わらず持続する、コンテンツに対して安定した選好（表面形式への感受性を示す）。
   • 位置的偽選好 (Positional False Preference: PFP): 提示スロット（例：常にスロット1を選択する）によって駆動される選好であり、順序反転時に標準的なコンテンツの方向性を逆転させる。
   • 片側コミット (One-Sided Commit: OSC): 片方の順序においてのみ選好が行われるケース。
   • 無選好 (No-Preference): 有効なタイ（引き分け）または棄権。
4. 基準シフト・プロービング: プロンプトを変更すること（例：「厳格なタイ」の基準を強制する）で、基礎となる刺激の解像度を変えることなく、動作点（タイ/選好の基準）がどのようにシフトするかをテストする。

指標

プロトコルは、暗電流、生の $\Delta 0$ 偽選好、安定交差感受性、位置的偽選好、ターゲット感受性（$P_{correct}$）、検出閾値（$\Delta^*_{75}$）、およびミス・バイ・タイ（Miss-by-Tie）率を含む特定の定量を報告する。

主な貢献

本論文には5つの具体的な貢献がある：

1. ジャッジ・データシート・プロトコル: 真の真空テスト、制御された品質ラダー、および基準シフト・プロービングを組み合わせた標準化された測定フレームワーク。
2. 方向安定性分解: 生の同品質偽選好を、安定交差感受性、位置バイアス、および片側コミットに分離する方法。これにより、高い偽選好が必ずしも安定したコンテンツ感受性を意味しないことを明らかにする。
3. 制御された刺激ラダー: パレート優位性と、$\Delta 0$ の同一サブセットおよび異なるサブセットに関する特定の制御を備えた、接頭辞チェーン・チェックリスト設計。
4. 3つのジャッジによるケーススタディ: Llama-3.1-8B、Qwen2.5-14B、および Qwen2.5-32B の経験的評価を行い、それぞれが異なる計量学的プロファイルを持つことを実証した。
5. 基準シフトの証拠: プロンプトがタイ/選好の基準を移動させる（偽陽性を減らす）ことはできるが、測定の解像度を高めることはできない（器具固有のノイズフロア以下の信号を検出することはできない）ことを示した。

結果

ケーススタディにより、3つのジャッジが、スカラー報告では隠蔽されてしまう根本的に異なる計量学的プロファイルを持っていることが明らかになった：

• Llama-3.1-8B: 高い暗電流 (0.667) と、生の $\Delta 0$ 偽選好 1.0 を示す。しかし、その安定交差感受性は無視できる程度（0.033）であり、位置的偽選好が極めて高い（0.967）。これは「提示競合型（Presentation-conflicted）」と特徴付けられ、同品質の比較には不向きだが、パイプラインのデバッグには有用である可能性がある。
• Qwen2.5-14B: 暗電流はゼロであり、高いターゲット感受性を示す。しかし、その生の $\Delta 0$ 偽選好 (0.992) は、安定交差感受性 (0.45) と位置的偽選好 (0.53) の混合である。これは「混合安定・位置型（Mixed stable-positional）」とラベル付けされる。
• Qwen2.5-32B: 最もクリーンなプロファイルを示し、暗電流はゼロ、安定交差感受性はゼロ、位置的偽選好は低い (0.083)。これはアーティファクトの少ない「真空清浄型（Vacuum-clean）」と記述される。
• 基準シフト: Qwen-32B に対して厳格なタイ・プロンプトを適用すると、$\Delta 0$ 偽選好は消失したが（0.0に減少）、周辺的な $\Delta 1$ ターゲット信号がタイの中に吸収された。重要なことに、$\Delta 5$ の感受性は維持されており、「誤った選択」のエラーは導入されなかった。これは、プロンプトが基準を移動させるものであり、解像度を上げるものではないことを裏付けている。

主張と意義

著者らは、自らの主張の範囲を慎重に限定している：

• 下流の検証について: 本論文は、この研究の動機となった「下流メカニズム仮説（LLM評価におけるオリエンテーション）」を確認するものではない。オリエンテーションのメカニズム自体を検証するものではない。
• 普遍的な傾向について: 著者らは、サイズに応じた普遍的な傾向や、Qwen-32B が汎用的なエバリュエーターであるとは主張していない。結果は、この制御された刺激ファミリーに特有のものである。
• 計量学を優先: 主要な貢献は、ジャッジ・データシート・プロトコルそのものである。論文は、LLMジャッジを用いた下流の科学的主張が行われる前に、測定器としての暗電流、バイアス、および感受性を特性化すべきであると主張している。
• スカラーの不十分性: スカラーの勝率や一致スコアは、異なる失敗モード（例：位置バイアス vs 安定交差感受性）を単一の数値に集約してしまうため、不十分であることを結果は示している。

要約すると、本論文はLLM評価の計量学的ベースラインを確立しており、「LLMジャッジは測定器である」ため、それらが生成するエビデンスの妥当性を保証するには多軸的な測定が必要であると断じている。