テクニカル・サマリー：サンプリングの増加が逆効果となる時：テスト時スケーリングにおけるモーダル・シーリングと相関シーリング

問題提起

現在の推論システムは、多くの場合、テスト時スケーリング（単一のプロンプトに対して $n$ 個の回答を生成すること）、具体的には反復サンプリングを採用して性能を向上させようとしています。成功の主要な指標はカバレッジ（pass@k）であり、これは $n$ 個のサンプルの中に少なくとも1つの正解が含まれる問題の割合として定義されます。カバレッジ曲線は $n$ の増加に伴って着実に上昇するため、サンプリング予算を増やし続けることが継続的な能力向上につながると示唆されています。

しかし、デプロイされたシステムは、正解を証明するための完璧な検証器（verifier）にアクセスすることなく、単一の回答を返さなければなりません。これには、選択（例：多数決、自己一貫性、あるいは報酬モデルによるもの）が必要となります。本論文は、決定的な乖離があることを指摘しています。すなわち、カバレッジはサンプリング数の増加とともに上昇し続ける一方で、選択精度は停滞、あるいは低下することがあるという点です。核心となる問題は、コミュニティが「正しい回答を生成する能力」と「それを認識・選択する能力」を混同していることです。本論文は、ある一定の地点を超えると、追加のサンプリングは計算コストを増大させるだけであり、最終的に選択される回答を改善しないばかりか、むしろ悪化させる可能性があると主張しています。

メソドロジー

本論文は、テスト時サンプリングを、独立した試行（independent draws）ではなく、統計学におけるクラスター・サンプリングの観点から再定義します。

1. クラスター・サンプリングの枠組み: 単一のプロンプトとその $n$ 回の反復試行を一つのクラスターとして扱います。これらの試行は、独立同一分布（i.i.d.）な変数ではなく、**交換可能（exchangeable）**なバイナリ変数（正解/不正解）としてモデル化されます。
2. クラスター内相関 ($\rho$): 同一の問題に対する試行間の依存関係は、クラスター内相関 $\rho$ によって定量化されます。
   • 問題間の相関 ($\rho_b$): 問題の難易度の不均一性に由来します。
   • 問題内の相関 ($\rho_w$): モデルの内部状態やデコーディング設定に由来します。
3. 有効サンプルサイズ ($n_{eff}$): デザイン効果 ($deff = 1 + (n-1)\rho$) を用いて、独立したサンプルとしての実質的な数を導出します：
   $$n_{eff} = \frac{n}{1 + (n-1)\rho}$$
   この量は、$n \to \infty$ において**相関シーリング（correlation ceiling）**である $1/\rho$ に収束（飽和）します。
4. 指標の分離: 本解析では、以下の3つの異なる目的を明確に切り離して分析します：
   • カバレッジ (Coverage): 少なくとも1つの正解を生成する確率。
   • 選択 (Selection): 最も頻度の高い回答（モード）が正解である確率。
   • 推定 (Estimation): ベンチマークの平均精度を推定する際の精度。

主な貢献

1. 相関シーリング (推定の限界)

本論文は、ベンチマークの精度を推定する場合、有効なサンプル数は $1/\rho$ を超えられないことを確立しました。

• メカニズム: $n$ が増加するにつれ、追加サンプルによる限界的な価値は二次関数的 ($O(1/n^2)$) に減衰します。
• 結果: 膨大な予算（例：$10^4$ サンプル）を用いたとしても、もし $\rho \approx 0.5$ であれば、得られる有効な情報は、わずか $\approx 2$ 個の独立したサンプルと同等になります。これが、大規模なサンプリングを行ってもベンチマーク精度の推定値がプラトー（停滞）に達してしまう理由です。

2. モーダル・シーリング (選択の限界)

本論文は、相関シーリングとは独立した、選択手法（自己一貫性、多数決など）における明確な天井（シーリング）を特定しました。

• メカニズム: 選択は、回答分布のモード（最頻値） ($a^*_q$) へと収束します。もし最も頻度の高い回答が不正解 ($a^*_q \neq c_q$) である場合、$n$ を増やしてもエラーは修正されず、単にモデルが誤った回答に対してより高い確信を持つようになるだけです。
• 結果: 選択精度は、モデルの最頻回答が正解である確率であるモーダル・ヒット率 ($\pi_{mode}$) によって制限されます。
• アンチ・スケーリング (Anti-Scaling): モードが不正解であり、かつ正解がサンプルの範囲内に到達可能な問題において、$n$ を増やすと、カバレッジが1に向かって上昇する一方で、選択精度は0に向かって低下するという現象が起こります。これをアンチ・スケーリングと呼びます。

3. 識別性のギャップ (Identifiability Gap)

本論文は、識別性のギャップを、「正解がサンプルプール内に存在する（高いカバレッジ）が、それが最も頻度の高い回答ではない（低い選択精度）」問題の集合として定義します。

• これは「解けるが、選択できない」問題を表しています。
• 本論文は、実際のログにおいてこのギャップが顕著であることを示しています。例えば、カバレッジが1.00に達しても、自己一貫性はGSM8Kで0.87、MATHでは0.45で停滞するといったケースです。

4. 実ログによる検証

著者らは、公開されているサンプリングログを用いて、提案する理論的枠組みを検証しました。

• Brown et al. [2] (独立試行): GSM8KおよびMATHデータセットを分析。高い問題間相関 ($\hat{\rho}_b \approx 0.4\text{--}0.6$) を発見し、推定における相関シーリングを確認しました。また、カバレッジ（上昇して1.0へ）と自己一貫性（停滞）の乖離を観察しました。
• Beeching et al. [20] (依存試行): 1問題あたり256サンプルを用いてMATH-500を分析。問題内の相関 ($\hat{\rho}_w$) はほぼゼロであるが、回答分布は高度に集中している（中央値は約13の異なる値）ことを発見しました。これにより、選択のシーリングはランごとのドリフトではなく、**回答のモード崩壊（answer mode collapse）**によって駆動されていることが確認されました。

結果

• カバレッジ vs 選択: カバレッジは（難易度の不均一性により）冪乗則に従って上昇し、モデルの能力以外にハードな天井はありません。しかし、選択については、$\pi_{mode}$ というハードな壁に突き当たります。
• 収穫逓減: $n$ 番目のサンプルの限界的な価値は急速に減衰します。推定においては、予算を $n \approx 1/\rho$ で打ち切るべきであり、選択においては、多数決が安定するまでの数数十サンプル程度で打ち切り、それよりも脱相関化（例：温度パラメータ、プロンプトの多様性）に注力すべきです。
• 大規模な $n$ の非効率性: 1問題につき $10^4$ 回サンプリングしても、ベンチマーク推定においては、わずか約2個の独立したサンプルと同等の統計的精度しか得られません。
• アンチ・スケーリング: モデルの最も一般的な回答が誤っているシナリオでは、$n$ を増やすことは、選択される出力の精度を能動的に低下させます。

意義と主張

本論文は、新しいアルゴリズムの提示ではなく、引用可能な導出を提供することを目的としています。その主な意義は以下の通りです：

1. ボトルネックの再定義: テスト時スケーリングの焦点を、「正しい回答を生成すること」から「（生成された中から）正解を認識すること」へとシフトさせました。ボトルネックはサンプリング予算ではなく、分布内における正解の**識別性（identifiability）**にあります。
2. 誤解の修正: 「サンプリングを増やすこと」がなぜ実務において線形にスケールしないことが多いのかを説明し、これを相関シーリング（推定のため）およびモーダル・シーリング（選択のため）に帰属させました。
3. 実行可能な指標: 真の情報量を明らかにするために、公称カウント $n$ とともに有効サンプルサイズ ($n_{eff}$) を報告することを提案しています。
4. 予算配分: 計算資源の割り当ては、目的に応じて決定されるべきであると主張しています：
   • 推定のため: $n \approx 1/\rho_b$ で停止し、残りの計算資源をより多くの問題に充てる。
   • 選択のため: 多数決が安定した時点（通常は数十サンプル以内）で停止し、 $n$ を増やすのではなく脱相関化（例：温度、プロンプトの多様性）に注力する。
   • カバレッジのため（検証器がある場合）: 検証器が存在する場合、問題内のシーリングはないため、サンプリングを継続できる。

本論文は、「モーダル・シーリング」と「相関シーリング」が、無差別なテスト時スケーリングを非効率にする根本的な限界であることを結論付けています。真の課題は、より多くのサンプルを生成することではなく、正しい回答をモード的な誤りとより良く区別できるシステムを設計することにあります。