技術的サマリー：カリブレーションせよ、キュレーションするな

問題定義

大規模言語モデル（LLM）および報酬モデルの評価において、多人数によるペア比較が支配的なパラダイムです。多様な評価者パネル（ほぼランダムからほぼ専門家まで）を管理するための prevailing なヒューリスティックはキュレーション、すなわち、最も正確な評価者の部分集合（トップ-$k$）を選択し、弱い評価者を排除してポイント精度を最大化することです。

しかし、現代の評価システムは、単に勝者を決定するだけでなく、較正された確率的出力（信頼性の高い信頼度推定）をますます必要としています。本論文は、目的がポイント精度からラベル付き較正セットを用いた較正された確率推定へ移行する場合に、キュレーションヒューリスティックが有効かどうかを検証します。中心的な問いは、「高い精度を持つ少数の評価者パネルをキュレーションすべきか、それとも弱い評価者を含む完全なパネルを較正すべきか？」というものです。

手法

著者は、多人数評価の集約に対する 4 段階の統計的パイプラインを提案し、精度ベースの選択（トップ-$k$ プルーニング）対完全パネルの包含という 2 つのアームを比較します。重要なのは、評価者パネルの構成の影響を孤立させるため、集約および較正手順を両アームで固定している点です。

パイプライン

1. 多様性意識型集約（$M_\omega$）:

   • 評価者の判決は、統合されたベイズ的 1 コインモデルを用いて生確率として集約されます。
   • 評価者の重みは、較正分割で推定された事後平均精度（$\alpha_k/(\alpha_k+\beta_k)$）から導出されます。
   • これは、不確実な精度を持つ評価者（$\alpha_k \approx \beta_k$）がほぼゼロの重みを受け取り、強い評価者と弱い評価者が学習された信頼性に基づいて寄与する、対数オッズ重み付けの原理を実装します。
   • 注: 論文では、代替集約器として Dawid–Skene EM も検討されています。

2. 残差バイアス補正（$M_{\omega, \delta}$）:

   • 低容量の事後マップ（Platt 型ロジスティック回帰）が、集約スコアにおけるグローバルなスケールおよびシフトバイアスを補正します。
   • このステップにより、モデルクラスは $M_\omega$ から $M_{\omega, \delta}$ に拡張されつつ、漸近的な較正損失を増加させることなく機能します。

3. 分布較正（$M_{\omega, \delta, G}$）:

   • 補正された確率に対してベータ較正マップを適用し、分布レベルでの較正を確保します。
   • マップ $g(p) = \sigma(a \log p + b \log(1-p) + c)$ は Platt スケーリングを一般化し、自信のある正例および負例付近での非対称な補正を可能にします。
   • 過学習を防ぐため、特に較正データが限られている場合にエラスティックネット正則化が使用されます。

4. 適合性カバレッジ（オプション）:

   • 分割適合予測（Split conformal prediction）が較正された確率をラップし、有限サンプルの周辺カバレッジ保証を提供します。

実験設定

• データセット: 4 つのラベル付きペア評価ベンチマーク：JudgeBench、RewardBench、RewardBench 2、およびLLMBar。
• 評価者: 38 から 174 人の評価者からなるパネル。ネイティブな報酬モデルと拡張された API/GPU ホスト型 LLM を含みます。
• 指標: 負の対数尤度（NLL）とブライアースコア（厳密なスコアリング則）、期待較正誤差（ECE）、およびポイント精度。
• プロトコル: 100 回の置換で繰り返される 50/50 の較正/評価分割。統計的有意性は、アイテムレベルの対置換検定によって評価されます。

理論的根拠

本論文は、較正された設定において包含が選択を上回る理由について、2 つの理論的根拠を提供します。

1. オラクル較正リスクの単調性（命題 1）:
   厳密なスコアリング則（ブライア、NLL）の下では、オラクル較正リスクは評価者セットに関して単調です。$S \subseteq T$ ならば、$R(T) \leq R(S)$ です。評価者を追加することは、追加的な条件付き情報（$I(Y; X_{T \setminus S} | X_S) \geq 0$）を提供するため、最適な較正損失を増加させることはありません。

2. 較正陪審定理（定理 1）:
   コンドルセ陪審定理を拡張し、著者は「反専門家」的な評価者（精度 $p_k < 0.5$）であっても、そのバイアスが学習可能であれば誤差限界に正に寄与することを示します。最適な重み $\alpha_k = \log(p_k / (1-p_k))$ は、反専門家の票を破棄するのではなく、逆転させます。評価者が純粋なノイズ（$p_k \neq 0.5$）でない限り、そのシグナルは冗長ではなく、誤差限界の指数関数的減衰を改善します。

主要な結果

1. 較正の逆転

主要な発見は、選択と包含のトレードオフの逆転です：

• 較正なし: 弱い評価者を剪定（トップ-$k$）することは、極端な低品質シグナルを除去することで、生精度および場合によっては生 NLL を向上させます。
• 較正あり: ベータ較正を適用した後、完全な評価者パネルを使用することが、一貫して精度ベースの選択を上回ります。
  • RewardBench 2において、すべての評価者を保持した場合の NLL は0.006であり、トップ 5 選択の0.013と比較して、較正誤差を半分に削減しました。
  • 同様の改善が JudgeBench（NLL 19% 削減）、RewardBench（31%）、LLMBar（22%）でも観察されました。

2. 強力なキュレーターに対する頑健性

完全パネルの包含の利点は、より強力な剪定ベースラインに対しても維持されます：

• 貪欲前方選択: 内部分割の較正済み NLL を最小化するように評価者を選択しても、完全パネルには勝てませんでした。
• $\ell_1$ 疎性ロジスティック回帰: パネルを疎化できず、実質的に完全セットを回復しました。
• オラクル トップ 5: テストセットの精度を完全に知っていたとしても、評価者を 5 人だけ選択しても、完全パネルの較正パフォーマンスには到達できませんでした。
• 部分集合探索: 重複除去されたファミリーにおける網羅的探索と、完全パネルにおけるビーム探索は、包含が勝者であるか、統計的に同率であることを確認しました（完全パネルがより単純なデフォルトです）。

3. 不一致の役割

本論文は、弱い評価者が不一致を通じて価値を寄与すると説明します。彼らの投票は不確実なアイテムをマークし、極端でない確率を生み出します。これは較正器が信頼することを学習できるものです。精度ベースの剪定はこの情報を除去しますが、完全パネルの較正はこれを保持し、適切な信頼レベルを学習します。

4. バジェットとスコープの診断

• ラベルバジェット: 包含の利点は、小さな較正バジェットで最も顕著です（例：RewardBench では、完全パネルの包含は 75 ラベルのみで NLL 0.01 に達しますが、トップ 5 は 300 以上を必要とします）。
• 境界ケース: 包含は、評価者が病理的である場合（例：解析不能な判決、学習可能なバイアスなしの確率以下の信頼性）またはパネルがすでに飽和している場合（シャープネスフロアにおける冗長な評価者）にのみ失敗します。著者は、そのようなケースをフィルタリングするための運用診断（解析可能性、非飽和、集約器の互換性）を提案します。

意義と主張

本論文は、多人数 LLM 評価における較正の逆転の最初の体系的な証拠を提示すると主張しています。その意義は、ラベル付き評価レジームの運用原則を転換することにあります：

• 精度のみを基準に弱い評価者を破棄してはならない。
• 解析可能で、非冗長であり、較正可能な場合、彼らを保持せよ。
• 適切に集約され較正された多様性のあるパネルからの「弱い」シグナルは、「強い」評価者のキュレーションされた部分集合よりも、不確実性と正解についてより多くの情報を提供します。

著者は、この結果が保持された較正データを持つラベル付きベンチマークに特化して成り立つことを強調しています。グランドトゥルースのないオープンエンド評価では、評価者のバイアスを学習し確率を較正する能力が存在せず、キュレーションヒューリスティックが有効であり続ける可能性があります。この研究は、ラベル付きレジームにおいて、バベットのトレードオフは、少数の高精度パネルをキュレーションするよりも、多様な評価者パネルを保持し、較正データに投資することを支持すると示唆しています。