技術要約：LLMジャッジ・パネルのための有限校正レジーム・マップ

問題提起

本論文は、有限の人間によるラベル予算の下でLLM（大規模言語モデル）ジャッジ・パネルをデプロイするという課題に取り組んでいる。複数のジャッジ（パネル）を使用することで単一のジャッジによるバイアスを軽減できる一方で、ジャッジの数を増やすことは校正（キャリブレーション）タスクの複雑さを増大させる。具体的には、$K$個のジャッジの結合出力を人間のラベルにマッピングするには、結合パターン空間上の条件付き予測ルールを推定する必要がある。パネルのサイズが大きくなるにつれ、可能な出力パターン（セル）の数は指数関数的に増加する。

核心となるトレードオフは以下の通りである：

1. 低次元スタッカー（例：スカラー集計、リッジ・スタッキング）： これらは推定コスト（パラメータ数）が低いが、ジャッジの出力に有意な相互作用（非加法的な効果）が含まれる場合、近似誤差に苦しむ。
2. 結合出力テーブル（非パラメトリック）： これらは任意の相互作用を表現できるが、高い推定コストを伴う。有限の予算下では、セルのカウント不足、平滑化バイアス、および「未学習」のパターン（校正セットで観測されなかったパターン）における高いエラーに苦しむ。

著者らは問いを投げかけている：デプロイ担当者は、有限のラベルを柔軟な結合テーブルに費やすべきか、それともより低次元の信頼性またはスタッキング・モデルに費やすべきか？

手法論

1. 理論的枠組み：有限校正レジーム・マップ

著者らは、デプロイの決定を、ジャッジのパス（順序）を $\pi$、プレフィックスサイズ（ジャッジ数）を $K$、アグリゲーターのファミリーを $A$ とするタプル $(\pi, K, A)$ の選択として定式化している。有限サンプル・リスク $R(\hat{f})$ は、以下の3つの項に分解される：
$$R(\hat{f}_{\pi,K,A}) - R^* \approx \text{Approx}(\pi, K, A) + \text{Est}(\pi, K, A, n_M) + \text{Sel}(C, n_V)$$

• 近似誤差 (Approximation Error): アグリゲーターのファミリー（例：スカラーモデルは相互作用を捉えられない）によって導入されるバイアス。
• 推定誤差 (Estimation Error): 有限データによる分散。結合テーブルの場合、これはセルのカウント数と未学習の質量（unseen mass）によって駆動され、スカラーモデルの場合は $K$ に対して多項式的にスケールする。
• 選択誤差 (Selection Error): 有限の候補集合 $C$ から検証セットのサイズ $n_V$ を用いて最適なモデルを選択することによるペナルティ。

主要な理論的洞察 (Corollary 1): 結合テーブルが好ましいのは、スカラーモデルの近似ギャップ ($\Delta_K(A)$) が、テーブルとスカラーモデルの間の推定圧力（estimation pressure）の差を上回る場合のみである。言い換えれば、柔軟なテーブルは、そのスパース性によるペナルティを正当化できるほど、ジャッジ間の相互作用が強力である場合にのみ価値がある。

2. 有限校正パネル選択 (FCPS)

著者らはこの理論を、デプロイ可能な検証セレクターである FCPS として具体化しており、以下のように動作する：

• データ分割: ラベル付きデータは、選択、校正、検証、テストのブロックに分割される。
• 候補生成:
  • パス: ジャッジは、「情報優先（オラクル性能）」、「ランダム」、または「複雑性ペナルティ」のヒューリスティックに従って順序付けられる。
  • プレフィックス: さまざまなプレフィックスサイズ $K$ がテストされる。
  • アグリゲーター: 結合テーブル、平均/投票集計、リッジ・スタッキング、ロジスティック・スタッキング、およびワンコイン信頼性モデルを含むメニュー。
• 選択: 各候補 $(\pi, K, A)$ について、校正ブロック上でアグリゲーターが適合される。検証リスク $\hat{R}_{val}$ を最小化するペアが選択される。
• 診断: システムは、解釈のためにエントロピー有効サポート ($H_K$)、正確なセル圧力（推定分散のプロキシ）、および未学習パターン率を報告する。

3. アグリゲーター・ファミリー

• 結合テーブル: 観測された結合パターンを平滑化されたセル平均にマッピングする非パラメトリック推定器であり、未学習のパターンに対しては校正時の周辺分布へのフォールバックを行う。
• スカラー/スタッキング: 等張校正（isotonic calibration）を伴う平均集計、リッジ/ロジスティック・スタッキング、およびワンコイン信頼性モデルを含む。これらは加法的または低次の相互作用構造を仮定している。

主要な結果

1. 実世界ベンチマーク（加法的/冗長なレジーム）

7つのジャッジ（DeepSeek V4 Flash, Qwen2.5, Llama-3.1などを含む）のプールを用いて、RewardBench, LLMBar, SummEval, Arena100K で評価した：

• スカラーの優位性: 20のデータセット・予算セル中、16 において、検証によって選択されたスカラー集計が、検証によって選択された結合テーブル・プレフィックス校正を上回った。
• 解釈: 現在の実世界のジャッジ出力は、多くの場合、加法的または冗長であるように見える。結合テーブルの柔軟性は、このような設定における有限ラベルのコスト（スパース性）を正当化しない。
• プレフィックスサイズ: 選択されたプレフィックスは通常、全7つのジャッジ・プールよりも小さく、リスクは $K$ が大きくなるにつれて推定圧力のために平坦化するか、あるいは上昇した。

2. 制御実験（相互作用レジーム）

特定の相互作用を誘発するように設計された「校正成長」制御レジームにおいて：

• 6次相互作用: 強力な6次相互作用が存在する場合、未学習の質量を排除するのに十分な校正予算が得られると、結合テーブルが優位になった。
• 性能向上: このレジームでは、予算が増加し未学習のセルが消失するにつれて、選択された結合テーブルのテスト平均二乗誤差 (MSE) は 0.224 から 0.061 に低下した。
• 加法的レジーム: 純粋な加法的レジームでは、ラベルが増加してもスカラーモデルが引き続き優位であった。

3. 診断

提案された診断機能（セル圧力、未学習率）は、テーブルの柔軟性がデータによって支持されていないレジームを正確に特定した。高いセル圧力は、実世界のベンチマークにおける結合テーブルの失敗と相関していた。

貢献

1. レジーム理論: ジャッジ・パネルの有限サンプル・リスクの形式的な分解を行い、低次元のアグリゲーターと結合テーブルのどちらが最適かを、近似ギャップと推定圧力に基づいて定義した。
2. デプロイ可能なセレクター (FCPS): 固定されたラベル予算の下で、ジャッジのパス、プレフィックスサイズ、およびアグリゲーター・ファミリーを選択するための実用的なプロトコルと、解釈可能な診断（有効サポート、セル圧力）を提供した。
3. 実証的証拠: 現在の実世界のベンチマークは（冗長性/加法性により）スカラー集計を支持する一方で、制御された相互作用レジームでは、ラベル予算がパターン空間をカバーするのに十分であれば結合テーブルが優位になるという、両面的な実証を行った。

意義と主張

本論文は、ジャッジ・パネルをデプロイする際の現実的な問いは、「ジャッジを何人使うか？」ではなく、**「次のジャッジの情報は、利用可能な人間のラベルの下で推定可能か？」**であると主張している。

著者らは、パネルの複雑さは「校正のエビデンス」によって勝ち取られなければならないと論じている。もし利用可能なラベルが（スパース性や未学習の質量により）誘導された結合パターン・テーブルの推定をサポートできないのであれば、ジャッジを追加したり複雑なテーブルを使用したりすることは、性能を低下させる。逆に、強い相互作用が存在し、かつラベルがパターン空間をカバーするのに十分であれば、結合テーブルは大きな利益をもたらす。FCPSフレームワークは、この境界を経験的に判断するためのメカニズムを提供する。