技術的概要：統計的保証を伴う LLM 性能の効率的評価

問題定義

HuggingFace などのプラットフォームに数十万のバリエーションが存在する大規模言語モデル（LLM）の急速な普及は、評価においてボトルネックを生み出している。MMLU-Pro（12,000 問）のような大規模でキュレーションされたベンチマークスイートを用いて候補モデルを網羅的にテストすることは、API コスト、実行時間、専門家によるアノテーションの観点から、許容しがたいほど高価である。組織はしばしば、アドホックな部分集合に対する「雰囲気」に基づく判断に依存するが、これには統計的厳密性が欠如している。

本論文は、この課題を有限母集団推論問題として定式化する。$N_q$ 個の質問からなる固定された質問バンクと新しいモデルが与えられたとき、限られたクエリ予算 $n_b$ を用いて、モデルの精度 $\theta$（全バンクにわたる正解の割合）を推定することを目的とする。重要な制約として、得られる信頼区間（CI）は有効な頻度論的カバレッジを維持しなければならない（例えば、95% の確率で真の $\theta$ が報告された区間内に存在すること）。この保証は、特に適応的評価戦略が標準的な i.i.d. 仮説を無効化する可能性がある場合、信頼性の高いモデル選択と監視に不可欠である。

手法：因数分解型アクティブクエリング（FAQ）

著者は、歴史的データと適応的サンプリングを組み合わせ、有効なカバレッジを持つ tight な CI を構築する**因数分解型アクティブクエリング（FAQ）**を提案する。FAQ は 3 つの中核的コンポーネントから構成される。

1. 歴史的情報のためのベイズ因数モデル

歴史的な性能データ（以前のモデルからのモデル - 質問結果の行列）を活用するため、FAQ は確率的因数モデルを採用する。

• 潜在因数: 各歴史的モデル $i$ には潜在因数 $u_i \in \mathbb{R}^k$ が割り当てられ、各質問 $j$ には潜在因数 $v_j \in \mathbb{R}^k$ が割り当てられる。
• 尤度: 正解の確率はロジスティックリンクを介してモデル化される：$P(H_{ij}=1) = \sigma(u_i^\top v_j)$。
• 役割: このモデルは、適応的クエリの選択を導き、初期予測を提供するためにのみ使用される。最終的な信頼区間の導出には使用されないため、手法の有効性は因数モデルが完全に指定されていることに依存しない。
• 展開: 新しいモデルについては、その潜在因数 $u$ を歴史的モデル因数の実験的平均と共分散から初期化する。モデルがクエリされるにつれて、$u$ はラプラス近似を用いてオンラインで更新される。

2. プロアクティブ推論（PAI）推定量

因数モデルの忠実度に依存することなく有効な頻度論的カバレッジを確保するため、FAQ はアクティブ統計推論の有限母集団拡張である**プロアクティブ推論（PAI）**を利用する。

• メカニズム: 質問を固定された「自然の順序」で処理し、ラベル付けするかスキップするかを決定する逐次的アクティブ推論とは異なり、PAI は現在の情報に基づいて、質問バンク全体から能動的に次のクエリ対象となる質問を選択する。
• 推定量: 推定量 $\hat{\theta}_{n_b}$ は、不偏の逆確率重み付き推定量である：
  $$\hat{\theta}_{n_b} = \frac{1}{n_b} \sum_{t=1}^{n_b} \phi_t, \quad \text{where } \phi_t = \frac{1}{N_q} \sum_{j=1}^{N_q} \hat{p}^{(t-1)}_j + \frac{1}{N_q} \frac{z_{I_t} - \hat{p}^{(t-1)}_{I_t}}{q_t(I_t)}$$
  ここで、$\hat{p}^{(t-1)}_j$ は因数モデルからの予測確率、$z_{I_t}$ は観測されたラベル、$q_t(I_t)$ は質問 $I_t$ を選択する確率である。
• 理論的保証: 緩やかな正則条件の下で、著者はマルチンゲール中心極限定理（CLT）を用いて、$\hat{\theta}_{n_b}$ が不偏であり漸近的に正規分布に従うことを証明し、有効な CI の構築を可能にする：$[\hat{\theta}_{n_b} \pm z_{1-\alpha/2} \frac{\hat{\sigma}_{n_b}}{\sqrt{n_b}}]$。

3. ハイブリッドサンプリングポリシー

CI の幅を最小化するため、FAQ は利用（分散削減）と探索（新しいモデルの潜在因数の学習）をバランスさせる時間変化するハイブリッドサンプリングポリシー $q_t(\cdot)$ を採用する。

• オラクル分散削減: オラクル設定に着想を得て、予測確率が 0.5 に近い（不確実性が高い）質問は分散を削減するために重み付けされる。
• アクティブラーニング: モデルの潜在因数 $u$ の事後分散を最大限に削減すると予想される質問は、将来の予測を改善するために重み付けされる。
• 混合: このポリシーは、これらのスコアを温度付け指数と一様混合項 $\tau$ と組み合わせ、すべての質問が非ゼロの選択確率を保持し、CLT に必要な正則条件を満たすようにする。

主要な貢献

1. フレームワーク: 固定予算下で有効な頻度論的カバレッジを達成し、歴史的データを活用する LLM ベンチマークのための手法 FAQ の導入。
2. プロアクティブ推論: 統計的有効性を維持しつつ、逐次的ストリーム処理ではなく、有限バンクからの直接的なデータ適応型質問選択を可能にするアクティブ推論の新たな拡張。
3. 効率性: この手法は、一様サンプリングに対して最大5 倍の有効サンプルサイズ（ESS）の向上、強力なベースライン（事後選択されたアクティブ推論変種を含む）に対して1.8–2.4 倍の向上を実現する。これは、最大 5 倍少ないクエリを使用しながら一様サンプリングの CI 幅と同等の性能を達成することを意味する。
4. ロバスト性: この手法は、歴史的データの欠損が著しい場合（例えば、歴史的エントリの 0.1% のみ観測）や、ターゲットスイートの履歴が利用できないコールドスタートシナリオ（クロススイート転移を使用）においても、有効なカバレッジを維持する。

実験結果

著者は、2,200 個のテストモデルとモデルあたり 100 個のランダムシードを用いて、2 つのベンチマークスイート（MMLU-Pro（12K 問）と複合スイート（BBH+GPQA+IFEval+MATH+MuSR、9.5K 問））上で FAQ を評価した。

• 完全観測履歴: FAQ は、一様サンプリングに対して 4–5 倍、最も強力な事後ベースラインに対して 1.8–2.4 倍の ESS を達成した。経験的カバレッジは 95% の目標に近い値を維持した。
• 疎な履歴: 歴史的データの 12–42% しか観測されていない場合でも、FAQ はベースラインを大幅に上回った。観測が 0.1% の場合でも、一貫した ESS の優位性を維持したが、非常に大きな予算ではノイズの多い因数推定により性能がわずかに低下した。
• コールドスタート転移: ターゲットスイートの履歴がゼロの状況において、FAQ（MMLU-Pro 転移を介して初期化）は一様サンプリングに対して最大 1.32 倍の ESS を達成し、10 の予算のうち 8 つで 0.1% のターゲットスイート履歴にアクセスしていたベースラインを上回った。
• カバレッジの安定性: カバレッジはモデルのリリース日や精度レベル across 安定しており、特定のモデルタイプに対する体系的なカバレッジ不足は示されなかった。
• アブレーション: 同じ因数モデルを使用するが「自然の順序」に従う従来の逐次的アクティブ推論のアブレーションと比較すると、FAQ は低予算領域（コスト削減の主要な対象）において優れており、一方、逐次的手法は非常に大きな予算では追いつくことができた。

意義と主張

本論文は、FAQ が LLM の継続的監視のための統計的に厳密なフレームワークを提供すると主張する。蓄積された歴史的データを活用し、新しい結果を追加することで、不確実性が定量化された評価を段階的に費用対効果の高いものにする。著者は、これが限られたクエリまたは審判予算の下でモデルバリエーション（チェックポイント、ファインチューニング、量子化モデルなど）を繰り返し比較する組織にとって特に価値があることを強調している。

その意義は、高リスクの展開決定に必要な統計的保証を犠牲にすることなく、評価コスト（API クレジット、レイテンシ、専門家の時間）を最大 5 倍削減できる点にある。この手法は最終的な推論に関してモデルフリーであり、その有効性は基礎となる因数モデルの正しさに依存するのではなく、サンプリングポリシーの正則性のみに基づく。著者は、再現可能な評価を支援するため、キュレーションされたデータセット（4,400 以上のモデル、21,500 以上の質問）とソースコードを公開している。