技術的概要：近似ネイマン割り当てによる大規模言語モデルの能動的テスト

問題提起

大規模言語モデル（LLM）およびマルチモーダルモデルの評価は、反復的で高コストなボトルネックとなっている。モデルが事前学習、事後学習、テスト時パラダイムを通じてスケーリングするにつれ、推論あたりの計算コストは上昇する。同時に、対象タスクの複雑さは標準的なアノテータの能力を超え、ラベリングに高価なドメイン専門家が必要となる。

既存の能動的テストアプローチは、データのごく一部で情報量が多い部分集合からフルプール性能を推定することを目的としており、主に分類タスク向けに設計されている。これらの手法は通常、以下の要素に依存する：

1. 分類スタイルのエントロピー：トークンレベルの予測エントロピー（PE）を不確実性のシグナルとして使用すること。
2. LURE 推定量：データセレクターの再トレーニングを必要とする、または内部モデルの活性化/ロジットへのアクセス（ブラックボックス API 設定では通常利用不可）を必要とする、重み付けされた推定量。

著者らは、これらの既存パイプラインが現代の生成タスクでは機能しないことを特定している。その理由は以下の通りである：

• 意味的対表面的な不確実性：トークンレベルの PE は、意味に関する不確実性と表面形式（言い換え）に関する不確実性を混同している。異なる表現を持つ意味的に同等な生成物は、真の難しさを反映することなくエントロピーを膨張させる。
• 過信：現代の LLM は体系的に過信しており、トークンレベルのエントロピーを狭い低エントロピー帯に収束させ、獲得シグナルを弱体化させる。
• 推定量の不安定性：LURE 推定量の重み付けメカニズムは、代理モデルと対象モデル間のミスマッチを増幅させ、分散の低減ではなく分散の増大をもたらす。

手法

本論文は、生成およびマルチモーダルタスクに特化した、トレーニング不要かつ理論的に不偏な新しい能動的テストフレームワークを提案する。この手法はアルゴリズム 1 に詳述されており、4 つのステップで動作する：

1. 代理モデルによるシグナル生成

対象モデルの内部状態に依存するのではなく、この手法は評価プール $D$ 内の各入力に対して $k$ 個の応答を生成するために、より小さく安価な代理モデル（$g$）を使用する。

• 意味エントロピー（SE）：トークンレベル対意味レベルの問題に対処するため、この手法は代理モデルの生成物を意味等価クラスにクラスタリングする。これらのクラスの確率に対してシャノンエントロピーを計算する。これは表現ではなく答えに関する不確実性を捉える。
• 自己整合性スコア（SC）：代理モデルの生成物間の合意を測定する二次的なシグナル。高い SC は合意（より簡単なインスタンス）を示し、低い SC は不一致を示す。

2. 層化

評価プール $D$ は、代理モデルの意味エントロピーに基づいて $H$ 個の層に分割される。

• 基本層（$D_0$）は、$SE = 0$（非常に確実）のインスタンスに対して作成される。
• 残りのインスタンス（$SE > 0$）は、等分位区間ビンニングを使用してビン分けされる。
• これにより、対象損失の分散が比較的同質であると期待される層が作成される。

3. 近似ネイマン割り当て

古典的なネイマン割り当ては、層サイズ（$N_h$）と層標準偏差（$\sigma_h$）に比例してラベルを割り当てることで推定分散を最小化する。しかし、$\sigma_h$ はプール全体にラベルを付けない限り未知である。

• 代理戦略：この手法は、各層内の代理モデルの平均自己整合性スコア（$p_h$）を使用して $\sigma_h$ を近似する。
• 割り当て式：層 $h$ に対するラベル予算 $m_h$ は、以下のように割り当てられる：
  $$m_h \propto N_h \cdot \sqrt{p_h(1 - p_h) + \delta}$$
  ここで、$\delta$ は $p_h \to 1$ 時の崩壊を防ぐための平滑化オフセットである。これにより、この手法は対象ラベルを必要とすることなく、代理モデルが高い不確実性（低い自己整合性）を示す層により多くの予算を割り当てることができる。

4. 推定

この手法は、各層から $m_h$ 個のアイテムを均一にサンプリングし、対象モデルを使用してそれらにラベルを付与する。その後、有限プールのリスクに対して理論的に不偏であることが証明されているHorvitz–Thompson 推定量を使用して結果を集約する。

主要な貢献

1. 最初の不偏な生成能動的テストパイプライン：著者らの知る限り、これはトレーニング不要の操作と API のみの展開をサポートする、生成言語およびマルチモーダル評価に特化した、理論的に不偏でラベル効率の高い推定量を提供する最初の手法である。
2. 代理モデル駆動の意味エントロピー：代理モデルからの意味エントロピーを活用してサンプリングプロセスを構造化する新しいアルゴリズムの導入。これにより、意味的不確実性を表面形式の変動から効果的に分離する。
3. 代理ネイマン割り当て：意味エントロピーシグナルと分散を考慮した予算配分を結合する新しい割り当て戦略。セレクターの再トレーニングや内部モデルロジットへのアクセスを不要にする。

実証結果

この手法は、各種オープンソース（Qwen-3.5 シリーズ）およびプロプライエタリ（GPT-5.4 シリーズ）のモデルペアを使用して、4 つのベンチマーク（MMLU-Redux、MMLU-Pro、GPQA-Diamond、MMBench）で評価された。

• 性能：この手法は、一様サンプリングおよび比例割り当てを一貫して上回った。代表的な設定（$M=70$）において、一様サンプリングと比較して平均二乗誤差（MSE）が最大 28% 削減された。
• オラクルとの近接性：この手法は、対象分散の完全な知識を必要とする理論的最適解であるオラクルネイマンの性能を密に追跡し、代理モデル駆動の代理が分散情報を効果的に捉えていることを示している。
• 予算節約：同等の精度において、この手法はベンチマーク全体で専門家のラベリングコストを平均22.9% 節約した。節約率は MMBench の 15.0% から MMLU-Redux の 28.0% の範囲であった。
• アブレーション研究：
  • 層化：適応的 SE 層化（ゼロ SE クラスタを分離）は、等幅、k-means、および標準的な分位ビンニングを上回った。
  • 割り当て：代理ネイマン戦略は、等分、比例、およびパワールールを大幅に上回り、分散を考慮した割り当てが重要であることを確認した。

意義と主張

本論文は、生成モデルの能動的テストには、トークンレベル指標から意味レベル指標への根本的な転換が必要であると主張している。分類スタイルのエントロピーから意味エントロピーへ移行し、不安定な重み付け推定量を層化された Horvitz–Thompson 推定に置き換えることで、著者らは、再トレーニングやブラックボックス内部へのアクセスなしに、ほぼ最適な評価効率を達成可能であることを実証している。

この研究は、複雑な推論タスクにおける専門家のアノテーションコストの上昇という重要な実用的なボトルネックに対処している。評価精度を維持しながら必要な専門家のラベル数を平均約 23% 削減することで、この手法は大規模生成モデルの継続的な評価に対するスケーラブルな解決策を提供する。

認められた限界：

• この手法は現在、検証可能な正解（閉じたまたは解析可能な答え空間）を持つベンチマークに依存している。評価ノイズのため、これをオープンエンドな生成に拡張することは依然として困難である。
• このアプローチは、対象よりも安価でありながら対象の難易度と相関する代理モデルへのアクセスを前提としており、適切な代理モデルが存在しないシナリオでの展開を制限する可能性がある。