技術要約：不確実な判断から較正されたランキングへ

問題提起

大規模言語モデル（LLM）の評価は、通常、コストのかかる人間によるアノテーション・キャンペーンに依存している。「LLM-as-a-judge（審判としてのLLM）」は、スケーラブルで低コストな代替案を提供するが、結果となるランキングを誤った較正（ミスキャリブレーション）させる系統的なエラーを導入する。これらのエラーには、ポジション・バイアス、長さのバイアス、および自己嗜好（self-preference）が含まれる。さらに、標準的な評価パイプラインは、多くの場合、審判の微細なスコアを硬い二値ラベル（勝ち／負け／引き分け）へと崩壊させてしまい、好みの強さに関する情報を捨ててしまう。

本論文は、現在の「Hard-Elo」パイプラインにおける2つの具体的な失敗モードを特定している：

1. スケール歪曲（Scale Distortion）: 審判はモデルの正しい「順位」を復元できることが多い一方で、得られるElo距離はスケールが誤っている。審判は過度に自信過剰になり、人間由来のギャップと一致しないElo差を生み出す傾向がある。
2. 広い不確実性区間（Wide Uncertainty Intervals）: これらの誤ったスケールの残差に対して共形予測（conformal prediction）を用いて不確実性を定量化しようとすると、結果として得られる信頼区間が極端に広くなり（132〜261 Eloポイントに及ぶ）、モデルの性能を区別するための運用上の有用性を失う。

核心的な問題は、Hard-Eloが決定的な勝利（大きなスコア差）と僅差の争い（小さなスコア差）を同一視し、審判のスコア差にエンコードされた局所的な不確実性を無視している点にある。

手法：Soft-Elo

著者らは、局所レベルで不確実性情報を保持し、グローバルレベルでそれを較正することで、Elo推定を改善するSoft-Eloという2層フレームワークを提案する。

1. 局所レベル：較正された勝率

審判のスコアをBradley-Terry（BT）モデルのための硬いラベル（$y \in \{0, 0.5, 1\}$）に変換する代わりに、著者らは生のスコア差（$s$）を較正された勝率へと伝播させる。

• スコアから確率へのマッピング: 生のスコア差 $s(x)$ は、学習された温度パラメータ $\beta$ を持つロジスティック関数を使用して、ソフトなターゲット $\tilde{y}(x)$ にマッピングされる：
  $$\tilde{y}(x) = P[B \prec A | x] = \sigma(\beta s(x))$$
• 較正: パラメータ $\beta$ は、保持されたモデルを除いたバトル（対戦）の較正セットを用いて最尤推定（MLE）によって推定され、予測確率が観測された人間の合意率と一致するようにする。
• 統合: このソフトなターゲットは、標準的なBT対数尤度目的関数内の硬いラベルに取って代わる。BTモデルの構造とElo変換は変更されない。変更されるのは、審判の確信度を反映するために「軟化（soften）」された訓練ターゲットのみである。

2. グローバルレベル：分割共形予測（Split Conformal Prediction）

局所的な較正を行っても、LLM由来のEloレーティングと人間由来のEloレーティングとの間に残差が生じることがある。この不可避な不一致を定量化し、誠実な不確実性境界を提供するために以下の手順を踏む：

• 残差モデリング: 較正モデルのセットに対して、符号付き残差 $\epsilon_i = \text{Elo}_{\text{LLM}, i} - \text{Elo}_{\text{Human}, i}$ を計算する。
• 正規化された非適合性（Normalized Nonconformity）: 変動するサンプルサイズやノイズを考慮するため、残差はLLMのElo推定のブートストラップ標準誤差（$\hat{SE}_i$）によって正規化される：$S_i = |\epsilon_i| / \hat{SE}_i$。
• 区間の構築: 分割共形予測を用いて、較正セットから分位点 $\hat{q}$ を決定する。新しいモデルに対して、最終的な人間のElo推定値は共形区間として提供される：
  $$C = [\text{Elo}_{\text{LLM}, n+1} - \hat{q}\hat{SE}_{n+1}, \text{Elo}_{\text{LLM}, n+1} + \hat{q}\hat{SE}_{n+1}]$$
  これにより、同じ母集団から抽出された新しいモデルに対して、分布に依存しない周辺被覆保証（distribution-free marginal coverage guarantees）を提供する。

主な貢献

1. 局所的不確実性の取り扱い: 生の審判スコアから較正された勝率を回帰することが（それらを二値ラベルに崩壊させるよりも）、Elo推定の精度を劇的に向上させ、構造化された残差を減少させることを示した。
2. グローバルな不確実性の定量化: 分割共形予測をLLM-人間間のElo残差に適用し、分布に依存しない周辺被覆保証を持つ予測区間を生成した。
3. 低コストな評価パイプライン: テスト対象のモデルに対する大規模な人間によるアノテーションを必要とせず、多様な対戦相手とのバトルを利用して、Eloレーティングと不確実性境界を推定するプロトコルを確立した。
4. ベンチマーク: LMArena（55の保持モデル）を用いた検証により、Soft-EloがLLM由来のレーティングを人間由来のレーティングの17.9 Elo平均絶対誤差（MAE）以内に収めることを示した。

結果

• 精度の向上: 8つの異なる審判モデルにわたり、Soft-Eloは保持されたモデルのElo MAEを39%から73%減少させた。平均MAEは、Hard-Eloの45.9 EloからSoft-Eloの17.9 Eloへと低下した。
• ランキングの安定性: この手法は、モデルのランキングを変えることなくスケールの忠実度を向上させた（スペアマンの順位相関係数の変化は $\Delta\rho \in [-0.011, +0.014]$ と極めて僅かであった）。
• 区間の狭小化: 共形ステップに投入される構造化された残差を減少させることで、Soft-Eloは90%共形区間の中央値幅を**39%から70%**減少させた。例えば、DeepSeek-V3.2審判において、中央値の区間幅はHard-Eloの261 EloからSoft-Eloの78 Eloへと減少したが、同時に経験的な被覆率は90%の目標に近い値を維持した。
• サンプル効率: Soft-Eloはすべての注釈予算においてHard-Eloを上回り、その性能差は低データ環境において最も顕著であった。

意義と主張

本論文は、Soft-Eloが、ターゲットモデルに対する大規模な人間によるアノテーション・キャンペーンを必要とせずに、較正されたElo推定値と「誠実な不確実性境界」を提供する低コストな評価ツールであることを主張している。

その意義は、単に（バイアスがかかり得る）点推定を報告することから、局所的な審判の不確実性とグローバルな系統的相違の両方を考慮した較正された区間を提供することへと焦点を移した点にある。著者らは、このアプローチがリーダーボードのユーザーが注視する特定の量、すなわち「人間のEloスケール上の距離」を対象としていることを強調している。モデルレベルでの較正された不確実性を提示することで、この手法は、審判のバイアスや脆弱性に起因するモデルランキングの誤解を防ぐことを目的としている。

認められた限界:

• 本手法は、審判のスコア差にエンコードされた不確実性のみをモデル化しており、エピステミックな不確実性（知識不足による不確実性）、幻覚によるスコア、またはプロンプトの曖昧性は考慮していない。
• 共形保証は、較正モデルとテストモデルの交換可能性（exchangeability）に依存している。プロンプトの分布、モデルファミリー、または時間的な変化が大幅に発生した場合、この条件が損なわれ、再較正が必要になる可能性がある。