技術要約: CELEUS

問題提起

大規模言語モデル（LLM）の評価は、性能指標を推定するためにサンプルの逐次的なキュレーションにますます依存するようになっている。しかし、標準的な評価手法は、理論的な厳密さと実用的な適用との間に決定的なギャップを抱えている。信頼区間（CI）を逐次的に更新する既存の手法は、多くの場合、**「anytime-valid（任意の停止時刻において妥当）」**ではない。これは、評価者が信頼区間を繰り返し更新し、それを用いて（例：区間の幅が目標精度に達したときに）停止時期を決定する場合、「ダブルディッピング（二重利用）」によって、主張された被覆確率（例：95%）が成立しなくなることを意味する。二重利用とは、評価戦略の選択と不確数の定量化の両方に同じデータを使用してしまうことを指す。さらに、単にサンプルを収集するだけでは、その推定値が意思決定に十分な精度を持っていることを保証できず、統計的に根拠のある停止基準が存在しない。

Cer-Eval のような既存のアプローチは、適応的なパーティショニングを通じてこれに対処しようとしているが、パーティションがデータから適応的に学習される場合には、固定パーティションの仮定が成立しないため、潜在的な被覆の喪失を招く。加えて、効率的な評価は、グラウンドトゥルース（正解）ラベルや人間の判断を取得するためのコストが高いことから阻害されており、統計的な妥当性を維持しつつ、評価するサンプル数を最小限に抑える戦略が必要とされている。

本論文は、E-processesを活用することで、理論的な保証と実用的な効率性の間のギャップを埋めるフレームワークであるCELEUSを提案する。

メソドロジー

本論文は、E-processesを利用することで、理論的な保証と実用的な効率性の架け橋となるフレームワークであるCELEUS（Certifiable and Efficient LLM Evaluation via E-Processes）を提案する。

コアフレームワーク

1. Anytime-Valid 信頼区間: CELEUSは、任意の停止時刻においても保証が保持されるE-processesを用いて信頼区間を構築する。従来のメソッドとは異なり、E-processesは評価スコアが有界であるという仮定（正規化またはクリッピングによって保証される）のみに依存するため、適応的な停止ルールに対して堅牢である。
2. 逐次的プロセス: この手法は、有限のデータプール $D_N$ 上で動作する。各ラウンド $t$ において、未評価のサンプルを選択し、その真のリスクを観測し、信頼区間を更新する。プロセスは、信頼区間の幅が目標精度 $\epsilon$ に達したときに停止する。

主要な技術的構成要素

非一様なサンプリングの下でも効率性と妥当性を確保するために、CELEUSは主に2つの要素を用いて推論信号を構築する。

• 不確実性ガイド付きサンプリング: 一様ランダムサンプリングの代わりに、CELEUSは推定分散を減少させると期待されるサンプルを優先する。サンプリング確率 $q_t$ は、観測されたリスクとサロゲートスコアとの乖離の大きさに比例するように設計されている。これは、理論的に導出された分散最適サンプリングルールと一致する。
• サロゲートによる近似: 未評価のサンプルに対して、CELEUSはより小さな事前学習済みサロゲートモデル（例：7–8Bモデル）からのスコアを利用して、真のリスクを近似する。これにより、ターゲットモデルの全サンプルを評価することなく、フレームワークがプール全体の情報を抽出することを可能にする。

信号の構築

フレームワークは、有限プール内のリスク $R_N$ に対して**条件付き不偏（conditionally unbiased）**な毎ラウンドの信号 $\hat{S}_t$ を構築する。この信号は以下の要素を組み合わせたものである：

1. サロゲート補完による推定: プール内のリスクの（評価済みサンプルの観測されたリスクと、未評価サンプルのサロゲートスコアを用いた）推定値。
2. 逆確率重み付けによる補正: 新たに評価されたサンプルの残差（真のリスクとサロゲートスコアの差）に対する補正。

この条件付き不偏性が、有効なE-processesを構築するための中心的なメカニズムである。その後、フレームワークはHoeffding型の補正を用いて、有限プールのリスク $R_N$ から母集団のリスク $R$ へと信頼区間を拡張する。この補正は、完全なプールサイズ $N$ に依存する。

理論的保証

• Anytime-Valid 被覆: 得られる信頼区間は、任意の停止時刻において、少なくとも $1-\alpha$ の確率で真の母集団リスクをカバーする。
• 収束率: 信頼区間の幅は、対数因子を除けば、$O(\sqrt{\log t \log \log t / t})$ の近パラメトリックな速度で収縮する。
• 分散減少: 提案された不確実性ガイド付きサンプリングとサロゲート支援が、信号の条件付き分散を減少させ、信頼区間の収縮を直接加速させることを証明している。

主な貢献

1. 厳密さと実用性のギャップの解消: CELEUSは、統計的に厳密（anytime-valid）かつ実用的に効率的な、LLM評価における初のフレームワークを提供し、Cer-Evalのような既存の適応的手法における被覆の失敗を解決する。
2. 新しい信号構築: 非一様かつ適応的なサンプリングの下での有効なE-process構築を可能にするため、サロゲート支援近似と逆確率重み付けを統合した、条件付き不偏な信号を導入する。
3. 理論的分析: 不偏エスティメータの証明、anytime-validな信頼区間の妥当性、およびサンプリング戦略の分散最適特性に関する証明を提供する。また、信頼区間の幅の収束率を特徴付ける。
4. 実証的検証: 広範な実験により、CELEUSが（EVALUEなどのベースラインであるE-processを用いた一様サンプリングと比較して）公称被覆率を維持しながら、54〜62%少ない評価サンプル数で目標精度を達成できることを示す。タスク特化型のファインチューニングを行わない小さなサロゲートモデル（7–8Bパラメータ）の使用は、非サロゲート版と比較して効率をさらに10〜23%向上させる。

結果

実験は、様々なターゲットモデル（例：Llama-3-70B, DeepSeek-67B, Mixtral-8×7B）およびサロゲート・ターゲットのペアを用いて、3つのベンチマーク（SST-2, AG News, MMLU）で実施された。

• 被覆率: Cer-Evalが被覆の維持に失敗した診断設定（公称5%に対し誤被覆率16.1%）において、CELEUSおよび他のE-processベースの手法は、誤被覆率を公称レベル以下（0.021–0.030）に維持した。
• 効率性: CELEUSは、大幅に少ないラベル数で目標精度（$\epsilon=0.05$）に到達した。例えば、MMLUでは、ベースライン（EVALUE）が8,144サンプルを必要としたのに対し、3,242サンプルで達成し、60%の削減を実現した。
• サロゲートの影響: サロゲート支援版は、サロゲートなしのバージョンを一貫して上回り、小さな事前学習済みモデルを活用することが推定信号の分散を効果的に減少させることを示した。

意義と主張

本論文は、CELEUSが、単純な点推定を超えて、サーティファイド（保証付き）の信頼区間を提供することで、どれだけのサンプルを評価すべきかを決定するための統計的根拠のある基準を提供すると主張している。anytime-validityを保証することで、タイプIエラー率を膨らませることなく、評価者が進捗を監視し、早期に停止することを可能にする。

著者らは、本手法が、評価に高価な人間によるアノテーションや強力なLLMジャッジを必要とするシナリオにおいて特に価値が高いことを強調している。なぜなら、必要なターゲットモデルの評価回数を劇的に減らせるからである。なお、本手法は評価における統計的不確実性に対処するものであり、その他の展開リスク（安全性、バイアスなど）を解決するものではなく、またベンチマーク自体が現実世界の条件を代表していることを保証するものでもないことも述べている。サロゲートスコアリングの計算コストについては認められているが、ターゲットモデルの評価回数を減らすことによる節約と比較すれば無視できる程度であるとしている。

著者らが示唆する今後の課題には、分布シフトを考慮した評価シナリオへのフレームワークの拡張が含まれる。