論文「DON'T PASS@K: A BAYESIAN FRAMEWORK FOR LARGE LANGUAGE MODEL EVALUATION」の技術的サマリー

本論文は、大規模言語モデル（LLM）の評価において広く用いられている「Pass@k」や「N 回試行の平均精度（avg@N）」の限界を指摘し、これらを置換するベイズ推論に基づく新しい評価フレームワークを提案するものです。特に、試行回数が限られる状況や計算資源が制約される環境において、モデルの性能ランキングをより安定させ、不確実性を明示的に扱う手法を確立しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

LLM の評価、特に推論タスクやコード生成においては、Pass@k（k 回の試行のうち少なくとも 1 回正解する確率）が事実上の標準指標となっています。しかし、この指標には以下の重大な欠点があります。

• 不安定なランキング: 試行回数（サンプル数）が限られる場合（例：AIME のような難問セットで問題数が数十しかない場合）、Pass@k は高い分散を示し、モデル間の順位が試行回数やランダムシードによって大きく変動します。
• 不確実性の欠如: 観測された性能差が統計的に有意なのか、単なるノイズなのかを判断する明確な基準（決定ルール）が提供されません。
• バイナリ評価の限界: 正解/不正解の 2 値評価に依存しており、部分的な正解、フォーマットエラー、拒否、または評価基準（ルブリック）に基づく段階的な評価を統合的に扱うことが困難です。
• 計算コスト: 安定したランキングを得るために多数の試行（N）が必要となり、計算資源の浪費を招きます。

2. 提案手法：ベイズ推論フレームワーク

著者らは、LLM の評価を統計的推論問題として再定義し、以下のベイズフレームワークを提案します。

2.1 確率的モデルとディリクレ事前分布

各問題におけるモデルの出力を、単なる 0/1（正解/不正解）ではなく、カテゴリカルデータとしてモデル化します。

• カテゴリ: 正解、部分的正解、フォーマットエラー、拒否など、評価基準に基づいた $C+1$ 個のカテゴリに分類します。
• 事前分布: カテゴリの確率分布に対してディリクレ分布（Dirichlet prior）を仮定します。事前知識がない場合は一様事前分布（Uniform prior）を使用し、既存のデータがある場合はそれを事前分布として組み込むことができます。
• 事後分布: 観測データ（試行結果）に基づき、モデルの真の成功確率（およびカテゴリごとの確率）の事後分布を導出します。

2.2 閉形式の事後推定量

このフレームワークの最大の利点は、事後平均（Posterior Mean）と事後分散（Uncertainty）が閉形式（Closed-form）で計算可能である点です。

• 性能推定量 ($\mu$): 重み付けされたルブリックに基づく性能指標の事後平均を計算します。
• 不確実性の定量化 ($\sigma$): 事後分散から信頼区間（Credible Interval, CI）を導出します。
• アルゴリズム: 結果行列 $R$（問題数 $\times$ 試行回数）と重みベクトル $w$、および事前データ $R_0$（任意）を入力とし、$\mu$ と $\sigma$ を返すアルゴリズム（Algorithm 1）が提示されています。

2.3 統計的有意性の判断

2 つのモデルの性能差が統計的に有意かどうかを判断するため、信頼区間の重なりを確認するルールを提案します。

• 2 つのモデルの 95% 信頼区間が重ならない場合のみ、一方が他より優れていると宣言します。
• 区間が重なる場合は、その差は統計的に未解決（ノイズの可能性が高い）とみなし、ランキングを「同点」として扱います。これにより、リーダーボードの不要な変動（Churn）を防ぎます。

2.4 一様事前分布下での平均精度との等価性

一様事前分布（Uniform prior）を使用する場合、ベイズ事後平均 $\mu$ は、単純な平均精度（avg@N）と**順序同値（Order-equivalent）**であることが証明されています。

• つまり、従来の avg@N が経験的に頑健であった理由を理論的に裏付けつつ、ベイズ手法はこれに「不確実性の定量化」という付加価値を提供します。
• 中央極限定定理（CLT）に依存しないため、小サンプル数でも信頼区間が [0, 1] の範囲内に収まり、適切に調整されます。

3. 主要な貢献

1. 統合されたベイズ評価フレームワークの提案:

   • 0/1 評価と段階的評価（Graded evaluation）を統一的に扱えるカテゴリカルモデルを構築。
   • 任意の重み付けルブリックに対して、事後平均と信頼区間を閉形式で提供。
   • 事前情報（過去の評価データなど）を自然に組み込むことが可能。

2. 計算効率的な区間認識プロトコル:

   • モデルの差を宣言する前に信頼区間が重ならないことを確認するシンプルなルールを提供。
   • 区間幅が目標値に達するまで適応的に試行回数を増やすことで、必要な計算コストを最小化。

3. 実証的な検証:

   • 既知の真の性能を持つシミュレーション（偏ったコイン）および実世界の数学推論ベンチマーク（AIME'24/25, HMMT'25, BrUMO'25）を用いた検証。
   • Pass@k やその変種と比較して、はるかに少ない試行回数で真のランキングに収束することを示しました。

4. 実験結果

4.1 収束性の比較

• シミュレーション: 既知の真の性能分布を持つ 11 種類のモデル（偏ったコイン）を用いた実験では、ベイズ手法（Bayes@N）は Pass@k（k=2,4,8）やその変種（Pass^k, G-Pass@k など）よりも遥かに早く真のランキングに収束しました。
• 実データ: AIME'24/25, HMMT'25, BrUMO'25 における 20 種類の LLM 評価において、Bayes@N は N=10 程度で Kendall's $\tau$（順位相関）が 0.90 以上となり、N=80 付近でほぼ 1 に収束しました。一方、Pass@k 系は収束が遅く、特に AIME'25 では 80 回試行しても収束しないケースが多く見られました。

4.2 信頼区間によるランキングの安定化

• 信頼区間（CI）を考慮しない場合、モデル間の微小な差によって順位が頻繁に入れ替わります。
• 95% 信頼区間を考慮すると、統計的に区別できないモデル同士は「同点」として扱われ、ランキングの安定性が向上します。
• 特に、AIME'25 のような難易度の高いデータセットでは、より多くの試行が必要であることが CI の幅から明確に示されました。

4.3 カテゴリカル評価の柔軟性

• 正解だけでなく、「フォーマット準拠」「自信度の較正」「推論の効率性」などをカテゴリとして定義し、重み付けすることで、モデルの多面的な評価が可能になりました。
• 異なる評価基準（ルブリック）を選択することで、トップモデルの順位は安定するものの、中位モデルの順位が評価基準に敏感に変化することが示されました。

5. 意義と結論

本論文は、LLM 評価の分野において以下の重要な転換点を示唆しています。

• Pass@k の限界の克服: 限られた計算資源下でも、統計的に頑健で再現性の高い評価を実現します。
• 不確実性の明示: 「モデル A はモデル B より優れている」という主張に対し、その確信度（信頼区間）を伴って提示することで、過剰な解釈を防ぎます。
• 評価の民主化と効率化: 小サンプル数でも信頼できる比較が可能になるため、大規模な計算リソースを持たない研究者でも厳密な評価が可能になります。
• 将来の展望: 事前分布の活用（過去の評価データや関連タスクからの転移学習）により、さらに効率的な評価が可能になる可能性があります。

著者らは、このフレームワークを実装したオープンソースパッケージ「Scorio」を公開しており、研究者が容易にベイズ評価を採用できる環境を整えています。

結論として、LLM の評価においては、単なる点推定（Pass@k や平均精度）に依存するのではなく、ベイズ事後分布に基づく推定量と不確実性の定量化を標準的なプロトコルとして採用すべきであると提言しています。