技術要約: BayesAME: ベイズ的能動モデル評価

問題提起

大規模な生成モデルを包括的なベンチマークで評価することは、計算コストが高く、時間がかかる。現在の手法では、フルベンチマークの性能を推定するために、**コアセット（coreset）と呼ばれる一部のアイテムを用いてモデルを評価することで、この問題を軽減している。しかし、既存の文献の多くは、実務家に対してコアセットのサイズを手動で指定することを要求する。これにより、厳密な効率性よりも信頼性の高い性能推定を優先したい場合に、必要なコアセットのサイズを自動的に決定するメカニズムが存在しないというジレンマが生じる。さらに、近年の研究（例：Zhang et al., 2025）では、ターゲットモデルが過去のリファレンスモデルの性能範囲から大きく逸脱する外挿レジーム（extrapolation regimes）**においては、非ランダムなコアセット選択の有用性に懐疑的な見解が示されており、ランダムサンプリングで十分であると示唆されている。

手法: BayesAME

著者らは、歴史的なリファレンスモデルを活用しながら、最適なコアセットサイズを自動的に決定するように設計された逐次的ベイズフレームワークであるBayesAMEを提案する。

コアフレームワーク

1. 潜在能力モデリング（Latent Ability Modeling）: 本手法は、$K_r$ 個のリファレンスモデルによる同一の性能ベクトルに基づいて、ベンチマークアイテムを「バケット（bucket）」にグループ化する。各バケット $b$ には、そのグループに対するターゲットモデルの潜在的な性能を表す潜在能力 $\theta_b$ が割り当てられる。
2. 事前分布: これらの能力に対して、結合ガウス事前分布が置かれる。事前分布の平均はバケットのリファレンススコアの平均であり、共分散は、リファレンススコアが類似しているバケット同士は、ターゲットモデルに対する潜在能力も相関しているという信念を符号化している。
3. 逐次的プロセス:
   • 推定: アイテムが評価されるにつれて、潜在能力の事後分布が更新される。これにより、性能推定量 $\hat{R}$ と不確実性（分散）が得られる。
   • 能動的選択（Active Selection）: リファレンススコアが十分にユニークなレジーム（ほぼ一意のリファレンスレジーム）では、フルベンチマーク性能推定の分散の減少を最大化するように、すなわち期待情報利得に基づいて、次に評価すべきアイテムが選択される。
   • フォールバック: リファレンススコアがユニークでないレジーム（例：小さなリファレンスプールを持つバイナリスコア）では、バイアスを避けるためにデフォルトでランダム選択を行い、サンプリングされるアイテムの期待数がバケットサイズに比例するようにする。
4. 停止基準: プロセスは、以下の2つの条件が満たされるまで、コアセットを反復的に拡張する。
   • 性能推定量 $\hat{R}$ が安定すること（ウィンドウ $W$ 内の変動が閾値 $\epsilon_1$ を下回ること）。
   • 不確実性（95%信頼区間の幅）がユーザー定義の閾値 $\epsilon_2$ を下回ること。

マルチターゲット拡張

複数のターゲットモデルを含むシナリオに対して、BayesAMEは**共領域線形モデル（linear model of coregionalization）**を採用する。これは、異なるターゲットモデルの潜在能力が、共有された独立した潜在ランダムベクトルによって駆動されていると仮定するものである。これにより、フレームワークはモデル間の相関を捉えることができ、個別に評価する場合と比較して、総コアセットサイズを削減した同時評価が可能になる。

計算効率

スケーラビリティを確保するため、本手法はバケットレベルの定式化を利用する。$n \times n$ 行列（$n$ はコアセットサイズ）を逆行列化する代わりに、最大でも $B \times B$ 行列（$B$ は一意のリファレンススコアベクトルの数）を逆行列化する。反復あたりの計算複雑度は $O(\min(n, B)^2)$ である。

主な貢献

• 自動的なコアセット決定: 効率的なモデル評価を、固定された入力ではなく、ユーザー定義の精度および安定性閾値に基づくベイズ逐次プロセスとして定式化した。
• 堅牢な推定量: 非一意のリファレンスレジームのためのコントロール・バリアート推定量を含む、計算効率の高い性能推定量。
• 能動的選択戦略: 情報利得を最大化するベンチマークアイテムを特定し、リファレンス信号のユニークさに応じて能動的選択とランダム選択を動的に切り替える選択戦略を設計した。
• マルチターゲット相関: モデル間の性能相関を捉えることで、評価コストをさらに削減するフレームワークを拡張した。
• 実証的検証: GPQA、MMLU-Pro、BBHなどの多様なベンチマークを用いた広範な実験を行い、補間（interpolation）および外挿（extrapolation）の両レジームにおいて、BayesAMEが既存の手法（AIPW、ProEval、IRTなど）の逐次的適応を一貫して上回ることを示した。
• 懐疑論への反論: 非ランダムな選択は利点がないとする最近の主張を覆す包括的な分析を提供した。リッチな情報（連続スコア、より大きなリファレンスプール）を活用する場合、非ランダムな選択がランダムサンプリングおよびランダムサンプル平均ベースラインよりも大幅に優れていることを実証した。
• スコアの活用: 連続的な応答対数尤度を活用することが、従来のバイナリスコアと比較して推定精度を大幅に向上させることを強調した。

結果

• 性能: 7つのベンチマークと、リファレンスモデルの割合（10%、50%、90%）の変化において、BayesAMEは一貫して最も低い平方根平均二乗誤差（RMSE）と、ランダムサンプル平均ベースラインに対する最高のRMSEゲインを達成した。
• コストと精度のトレードオフ: BayesAMEは厳密に優れたパレート・フロントを確立し、ベースラインと比較して大幅に小さいコアセットサイズで、同レベルの推定精度を実現した。
• マルチターゲットの効率性: 高相関レジームにおいて、マルチターゲット拡張は単一ターゲットのアプローチよりも急激なエラーの低下を実現し、より少ない評価回数で高精度に到達する。低相関レジームにおいても、壊滅的な失敗を起こすことなく、競争力のあるベースラインと同等の性能を示す。
• 堅牢性: コアセットサイズが既定である場合でも本手法は有利であり、補間（ターゲットモデルがリファレンスの範囲内）および外挿（ターゲットモデルがリファレンスの範囲外）の両方のシナリオを効果的に処理できる。

意義と主張

本論文は、固定された計算予算ではなく、信頼性の高い性能推定を優先する手法を提供することで、モデル評価における重要なギャップに対処すると主張している。コアセットのサイズを自動決定することにより、実務家はサンプルサイズを推測するのではなく、必要な精度（$\epsilon_1$ および $\epsilon_2$ を通じて）を定義できるようになる。

決定的なことに、著者らは、洗練された能動的選択は不要であるとする最近の文献に対する直接的な反論として自らの研究を位置づけている。彼らは以下のことを実証している：

1. 非ランダムな選択は有利である: 十分なリファレンスデータと連続スコアが利用可能な場合、能動的選択は情報量の多いアイテムを効果的にターゲットとし、ランダムなベースラインを上回る。
2. リッチな信号が重要である: バイナリスコアよりも連続的な対数尤度を使用することが、効果的な能動的選択と推定誤差の削減を可能にする鍵となる。
3. 外挿における堅牢性: 外挿レジームが能動的選択を無効にするという主張に反し、リファレンスプールが十分に多様であれば、ターゲットモデルがリファレンスモデルから大きく逸脱する場合でも、BayesAMEは優れた性能を維持する。

著者らは、単純な手法を凌駕することは困難であるが、彼らのベイズフレームワークは、リファレンスモデルの情報と連続スコアをうまく活用することで、特に高信頼性の性能推定を目的とする場合に、より効率的で信頼性の高い評価プロセスを提供できると結論付けている。