技術的概要：予算制約下における複数の LLM 審判者を用いたインスタンス最適推定

1. 問題定式化

本論文は、厳格な予算制約下で「LLM を審判者とする」フレームワークを用いて大規模言語モデル（LLM）を評価する課題に取り組む。この設定では、$K$ 個のプロンプト - 応答ペア（クエリ）が、利用可能な $J$ 人の LLM 審判者によって評価される。各審判者 $j$ には既知のクエリコスト $c_j$ が存在するが、彼らの評価の信頼性は様々である。具体的には、クエリ $k$ に対する審判者 $j$ が提供するスコアの分散 $\sigma^2_{k,j}$ は未知であり、かつヘテロスケダスティック（審判者とクエリの本質的な難易度の両方に依存する）である。

目標は、固定された総予算 $B$ を $K \times J$ 個のクエリ - 審判者ペア間に適応的に配分し、真のスコアベクトル $s \in \mathbb{R}^K$ を可能な限り正確に推定することである。精度は、固定された $p \in [1, \infty]$ に対する $\ell_p$-誤差（$\|\hat{s} - s\|_p$）を最小化することで測定される。この問題は、分散が未知でありスコアが既知の区間 $[0, R]$ に制限されていることを考慮した、ネーマン配分のコスト意識型一般化である予算付きヘテロスケダスティック多審判者推定として定式化される。

2. 手法

オラクル配分（既知の分散）

著者らはまず、分散 $\sigma^2_{k,j}$ が既知であると仮定した逆分散重み推定量（IVWE）を分析する。彼らは IVWE の誤り率を最小化するオラクル配分を導出する。

• 主要な洞察: 最適な配分は疎である。各クエリ $k$ に対して、そのクエリに割り当てられた予算全体は、コストと分散の積を最小化する単一の「最適」審判者 $j^*(k)$ に割り当てられるべきである。すなわち、$j^*(k) = \arg\min_j c_j \sigma^2_{k,j}$ である。
• 配分則: 予算はクエリ間に配分され、その配分重み $\omega^*_{k, j^*(k)}$ は $(c_{j^*(k)} \sigma^2_{k, j^*(k)})^{\frac{p}{p+2}}$ に比例する。これは、$p=\infty$ および単一の審判者に限定されていた先行研究（例：Saha ら、2026）を一般化したものである。

適応的アルゴリズム：EST-IVWE（未知の分散）

実際には分散が未知であるため、本論文はEST-IVWEを提案する。これは 2 段階の適応的アルゴリズムである。

1. フェーズ I（強制探索）: アルゴリズムは、経験的分散推定量 $\hat{\sigma}^2_{k,j}$ を計算するために、すべての $(k, j)$ ペアを固定回数 $N_0$ だけクエリする。
2. フェーズ II（配分）: 残りの予算は、これらの推定量から導出された経験的最適配分に基づいて配分される。
   • 技術的革新: 配分式における数値的な問題を引き起こす可能性のある、ゼロ付近での分散推定の不安定性に対処するため、アルゴリズムは楽観的にバイアスされた分散推定量 $\bar{\sigma}_{k,j} = \hat{\sigma}_{k,j} + \tau$ を使用する。このバイアスは、漸近的な誤り率に大きな影響を与えることなく、「評価しやすい」ペア（低分散）の配分を安定させる。
   • サンプル分割: フェーズ I で分散推定に使用されたサンプルは、フェーズ II の最終的な平均推定には再利用されない。これにより、分散推定のランダム性を平均推定から切り離し、分散推定量を条件とした最終推定量が不偏であることを保証する。

理論的下界

本論文は、EST-IVWE のインスタンス最適性を証明するために局所ミニマックス下界を確立する。

• ファノの不等式の限界: 著者らは、ファノ型のパッキング論法に基づく標準的な高確率下界が、この問題には粗すぎると示す。それらは最適な配分に必要とされる局所分散構造を捉えきれず、$p < \infty$ の場合、最適でないレートをもたらす。
• アソウ型論法: 代わりに、著者らは局所的な摂動に基づく期待値内でのアソウ型論法を採用する。この手法は局所分散構造を保持し、EST-IVWE の上界と低次項まで一致する鋭い下界をもたらす。これにより、アルゴリズムがインスタンス最適であることが証明される。

3. 主要な貢献

1. 問題定式化: 分散が未知でヘテロスケダスティックであり、かつスコアが有界である設定におけるネーマン配分の拡張として、予算付きヘテロスケダスティック多審判者推定問題を定義した。
2. オラクル分析: 既知の分散下での IVWE に対する最適な疎配分を導出し、予算はクエリごとに単一の最良の審判者に集中させるべきであることを示した。
3. 適応的アルゴリズム: 分散の事前知識なしにオラクル誤り率を達成する適応的アルゴリズム EST-IVWE を提案した。これは、有界で非ガウス性のスコアを処理するために楽観的バイアスとサンプル分割を利用する。
4. 鋭い下界: アソウ型の期待値内フレームワークを用いて一致する局所ミニマックス下界を証明し、提案手法のインスタンス最適性を確立した。本論文は、この設定における正確な配分幾何学を捉えるにはファノ型の論法では不十分であることを強調している。
5. 実証的検証: 合成データおよび現実世界の HelpSteer2 データセット上で手法を検証し、単純な一様配分に対する顕著な改善を実証した。

4. 結果

• 理論的パフォーマンス: EST-IVWE の誤り率は、予算 $B$ における低次項まで、分散既知を仮定したオラクル IVWE レートの主要項と一致する。具体的には、$p \ge 2$ に対して、誤差は $O(\sqrt{A^*_p/B})$ としてスケーリングする。ここで $A^*_p$ は最適配分目的関数である。
• 実証的パフォーマンス: 合成データ（$K=1000, J=10$）および HelpSteer2 データセット（$K \approx 178, J=3$）における実験により、EST-IVWE が一様配分を一貫して上回り、予算が増加するにつれてオラクル戦略のパフォーマンスへ急速に収束することが示された。
• ロバスト性: アルゴリズムは、異なるコスト構造（例：分散の高い審判者が安い場合）および異なる誤差ノルム（$\ell_1, \ell_2, \ell_\infty$）においてロバストである。

5. 意義と主張

本論文は、複数の異質な審判者による予算制約付き評価の問題に対する完全な理論的およびアルゴリズム的解決策を提供すると主張する。その主な意義は以下の点にある。

• インスタンス最適性: 提案された適応的戦略が、最悪ケースの意味だけでなく、任意の特定の問題インスタンス（分散プロファイルによって定義される）に対して理論的に最適であることを証明した点。
• 方法論的洞察: 最適配分が微細な局所分散構造に依存する問題に対して、標準的な高確率下界手法（ファノ）が不十分であり、鋭い境界を導出するには期待値内の論法（アソウ）が必要であることを実証した点。
• 実用性: 審判者の信頼性に関する事前知識を必要としない実用的な 2 段階アルゴリズムを提供し、コストと分散が変動する現実世界の LLM 評価パイプラインに即座に適用可能である点。

著者らは、自らのフレームワークが LLM を審判者とする動機付けに基づいているが、より広範な適応的リソース配分問題に対処していることに言及している。彼らは、確率的コスト（例：トークン長に依存するもの）へのフレームワークの拡張や、審判者のバイアスモデルの組み込みを将来の課題として認め、一致する高確率下界の導出が未解決の理論的課題であることを指摘している。