Conditional Evaluation of Language Models with Cheap Auxiliary Signals

技術要約：安価な補助信号を用いた言語モデルの条件付き評価

1. 問題定義

大規模言語モデル（LLM）の評価は、集約された精度スコアから、メタデータ（難易度レベル、主題カテゴリ、またはタスクタイプなど）によって定義される特定のサブグループにおける能力を評価する条件付き性能プロファイルへと移行しつつある。しかし、条件付きプロファイル $\theta_m(z) = \Pr(Y_{im}=1 \mid Z_i=z)$ を推定することは困難である。なぜなら、ゴールドラベル（正解ラベル $Y_{im}$）の取得には、専門家による採点や繰り返しの判定が必要となるなど、多大なコストがかかるからである。その結果、限定されたラベル付きサブセットに基づく推定値は、きめ細かな意思決定を行うにはノイズが多すぎる場合が多い。

対照的に、現代の評価パイプラインでは、すべてのベンチマーク項目に対して、豊富な安価な補助信号（$S_{im}$）が生成される。これには、LLM-as-a-judge によるスコア、ペア比較、自己申告の自信度、および判定の不一致などが含まれる。これらの信号はスケーラブルではあるが、バイアスがあったり、較正（キャリブレーション）が不適切であったり、プロンプトに敏感であったりする。これらを較正された確率として扱うことは危険である。核心となる統計的課題は、これらの未較正で安価な信号が、ゴールドラベルの正誤性における局所的な変動を説明できる限り、それらが不偏または較正されていることを要求することなく、条件付き性能推定の分散を減少させることである。

2. 手法：LACE

本論文では、条件付きLLM評価のための半教師あり推定器である LACE (Local Augmented Control-Variate Evaluation) を提案する。この手法は、ラベル付きの小規模なサブセット $L \subset T$ においてのみゴールドの出力 $Y$ が観測され、全プール $T$ において安価な信号のベクトル $S$ とプロファイリング共変量 $Z$ が観測されるという設定の下で動作する。

基本原則:

• 局所中心化 (Local Centering): この手法は、任意の決定論的ベクトル $b(z)$ に対して、条件付き期待値 $E[Y_{im} - b(z)^\top \{S_{im} - \mu_{S,m}(z)\} \mid Z_i = z] = \theta_m(z)$ であるという恒等式に基づいている。安価な信号 $S$ を、ターゲットとなるプロファイル領域内の条件付き平均 $\mu_{S,m}(z)$ によって中心化することで、増強項の条件付き期待値はゼロになる。これにより、係数 $b(z)$ は識別性（バイアスの有無）ではなく、効率性（分散減少）を制御することを保証する。
• 局所リッジ制御変数 (Local Ridge Control Variate): LACEは、ラベル付き残差平均とフルプールの安価な信号平均を組み合わせた推定器を構築する：
  $$\hat{\theta}_m^{LACE}(z) = \bar{Y}_{m,L}(z) - \hat{\beta}_m(z)^\top \{ \bar{S}_{m,L}(z) - \bar{S}_{m,T}(z) \}$$
  ここで、$\bar{Y}_{m,L}(z)$ はゴールドラベルの局所的な加重平均であり、中括弧内の項は、ラベル付きセットにおける安価な信号の局所平均とフルプールの平均との差を表す。
• 係数の推定: 係数 $\hat{\beta}_m(z)$ は、局所的な共分散行列が不良設定（ill-conditioned）である場合や、信号の次元に対してラベル付きアイテムの数が少ない場合に、逆行列計算を安定させるために、ラベル付きサブセットを用いたリッジ回帰を用いて局所的に推定される。この推定器は、連続型、順序離散型、および無秩序カテゴリ型のプロファイル空間を扱うために、局所カーネル重み付けスキームを使用する。

拡張性:
このフレームワークは、直接的なモデル間ギャップの推定（項目内の依存関係を用いて $\theta_a(z) - \theta_b(z)$ を直接推定する）およびデプロイメント重み付きスコア（重要度重み付けを通じてターゲットとなるデプロイメント分布 $Q$ の下での性能を推定する）へと拡張される。

3. 主な貢献

• 理論的保証:
  • 較正フリーの識別性: 信号が中心化されている限り、信号の較正に関わらず、推定器が条件付きプロファイルに対して不偏であることを証明する。
  • 不偏性: ランダムサンプリングの下でのグループ化されたプロファイルに対する不偏性を確立する。
  • 局所的なオラクル最適性: 中心化された線形増強のクラス内において、推定器がオラクル最適性を達成することを実証する。
  • 一次漸近的適応性: 希少なラベルから同じソースを用いて妨げとなる係数 $\beta(z)$ を推定しても、一次漸近的効率性が低下しないことを証明する。
• 効率向上公式: 局所的なゲイン公式 $Gain_m(z) = 1 / \{1 - (1-\pi)R^2_m(z)\}$ を導出する。ここで $\pi$ はラベル付きの割合、$R^2_m(z)$ は母集団の局所決定係数である。これにより、安価な信号の解説力がプロファイル空間全体でどのように変化するかを特徴付ける。
• 統一されたフレームワーク: 個別のチューニングを必要とせずに、連続型、順序離散型、およびカテゴリ型のプロファイル空間を処理できる単一の推定器を提供する。

4. 実験結果

著者らは、8つのベンチマーク（MATH-500, ScienceQA, MMLU, WinoGrande, HellaSwag, TruthfulQA, GSM8K, ARC）および3つのモデル（Claude Haiku 3, Ministral 3B, Qwen3 32B）、および3つのラベル予算（$n=50, 100, 200$）においてLACEを評価した。

• 性能: LACEは、標準的なゴールドラベル平滑化、プラグイン推定器（判定スコアを直接の予測因子として使用）、および既存の条件付き推論手法（Local PPI, StratPPI, PPCI）を含むすべてのベースラインを一貫して上回った。
• 効率性の向上: 72のベンチマーク・モデル・予算のセル全体にわたり、LACEは標準的な推定器と比較して、幾何平均相対効率（RE）で 5.528（95% CI: [5.181, 5.898]）を達成した。これは、LACEが標準的な手法と同じ精度を得るために、およそ1/5.5倍のゴールドラベルで済むことを意味する。
• 堅牢性: LACEは、より弱い判定モデル（Llama-3.1-8B, GPT-OSS-20B）を使用した場合や、信号にノイズがある場合でも堅牢であった。アブレーション研究により、ゲインは信号ファミリー全体に分散しているものの、ペア比較によって強く駆動されていることが確認された。
• シミュレーションによる検証: 制御されたシミュレーションにより、理論的なゲイン公式を検証し、有用な信号の方向がサブグループ間で変化する場合でも、LACEが優位性を維持することを実証した（これはグローバルな手法が失敗するシナリオである）。

5. 意義と主張

本論文は、安価な補助信号は、有用であるために較正されている必要はなく、単にゴールドの正誤性における局所的な変動を説明できればよい、と主張している。LACEは、この観察を以下の実用的な半教師あり推定器へと変換する：

1. 識別性と効率性の分離: 条件付き平均の推定と分散減少のステップを分離することで、バイアスのある、あるいは較正されていない信号の使用を可能にする。
2. きめ細かな診断の実現: 非常に小さなラベル予算でも性能プロファイルの推定を可能にし、より良いモデル選択、デプロイメントのターゲット設定、および科学的な診断をサポートする。
3. LLMを超えた汎用性: 著者らは、この範囲が「ゴールドの出力が乏しく、豊富な安価なプロキシが存在し、条件付き構造を定義するメタデータ共変量があるあらゆる設定（例：短期的なバイオマーカーを伴う臨床予測、エンゲージメントのプロキシを伴うオンライン実験）」に及ぶと述べている。

著者らは限界についても謙虚であり、LACEは安価な信号が局所的な解説力（高い局所 $R^2$）を持つ場合にのみ効率を向上させること、および有限標本の共分散推定が、信号次元に対して小規模なサブグループにおいて不安定になる可能性があること（ただし、リッジ正則化によって軽減される）を指摘している。彼らは、LACEが高次元のプロファイル空間における「次元の呪い」を直接解決すると主張しているわけではない。