技術要約：超過設計効果（The Exceedance Design Effect）

1. 問題提起

機械学習システムは、特定の分位点（例：90%の被覆率を保証する共形予測器、棄却ゲート、または安全フィルター）に設定された閾値に頻繁に依存している。これらの保証は、較正セットが独立同一分布（i.i.d.）であることを前提としている。しかし、大規模言語モデル（LLM）の推論、ビームサーチ、あるいは推論プロセス（reasoning traces）といった現代的なパイプラインでは、較正ユニットが共通のプロンプト、文書、または推論履歴を共有していることがあり、データのクラスター化（集団化）が生じている。

調査統計学では、クラスター化による「平均値」に対する有効サンプルサイズ（$n_{eff}$）の減少を設計効果（design effect; Kish, 1965）によって古くから扱ってきた。しかし、本論文は、標準的な補正は「閾値（順序統計量）」に対しては不適切であると主張する。標準的な設計効果は生のスコア間の相関に基づいている。著者は、閾値にとって重要なのはスコアそのものの相関ではなく、超過インジケーター（exceedance indicators）（スコアが閾値を上回るか下回るか）の相関であることを示している。さらに、この相関は一定ではなく、閾値が設定される特定のレベルに依存する。

2. 方法論および理論的枠組み

核となる定義

• 超過インジケーター (Exceedance Indicator): 閾値 $q_p$（$p$ 分位点）に対し、インジケーターは $I = \mathbb{1}\{S \le q_p\}$ である。
• 超過相関 (Exceedance Correlation, $\rho_I(p)$): これらのバイナリ・インジケーターのクラスター内相関。
• 超過設計効果 (Exceedance Design Effect, DEFF): $1 + (\tilde{m} - 1)\rho_I(p)$ と定義される。ここで $\tilde{m}$ はサイズ偏りのある平均クラスターサイズである。
• 有効サンプルサイズ (Effective Sample Size, $n_{eff}$): $n / \text{DEFF}$。

理論的導出

本論文は、クラスター化の下での実現被覆率（coverage, $C$）の分布に関する閉形式の法則を導出している。

1. 設定: 較正スコアは、$b$ 個のクラスター（各サイズ $m$、合計 $n=bm$）として到来する。クラスター間は i.i.d. であり、クラスター内のスコアは交換可能である。テストスコアは較正クラスターとは独立している。
2. 経験的累積分布関数（ECDF）の分散: 分位点における ECDF の分散は、クラスターレベルの ECDF を i.i.d. な平均として扱うことで導出される。クラスター内のインジケーターの和の分散により、$1 + (m-1)\rho_I(p)$ という項が導入される。
3. バハドゥール表現 (Bahadur Representation): 分位量の誤差を被覆確率へと写像する際、スコア分布の密度が相殺されることを著者は示している。これは極めて重要なステップである。すなわち、被覆の分散は、生のスコアの相関や基礎となる密度の形状ではなく、インジケーターの相関のみに依存することを意味する。
4. 極限法則 (定理 1): $b \to \infty$ のとき、被覆 $C$ は以下の分散を持つ正規分布（有限サンプルでは適合するベータ分布）に収束する：
   $$\text{Var}(C) \approx \frac{p(1-p)}{n_{eff}} = \frac{p(1-p)}{n / [1 + (m-1)\rho_I(p)]}$$
   これにより、設計効果が、被覆の分散に特化したサンプルサイズの減少として作用することが確立される。

拡張

• 不揃いなファミリー (Ragged Families, 定理 2): クラスターサイズ $m_j$ が不等しい場合、定理は $m$ がサイズ偏りのある平均 $\tilde{m} = \frac{\sum m_j^2}{\sum m_j}$ に置き換えられる場合に成立する。
• 情報を含むサイズ (Informative Sizes, セクション 2.5): クラスターサイズがスコアと相関している場合（例：難しい質問ほど長い推論プロセスを生成する場合）、較正の周辺分布がテストの周辺分布と異なり、設計効果では補正できない一次のバイアスが生じることを警告している。
• 平均ドリフト (Mean Drift, 予想 1): クラスター化の下では、平均被覆率は公称レベル $p$ ではなく、$\rho_I(p)$ の微分に依存する $O(1/b)$ 項によってドリフトする。

3. 主な貢献

1. 超過設計効果: 閾値の有効サンプルサイズは、生のスコアの相関 $\rho$ ではなく、超過インジケーターの相関 ($\rho_I$) によって支配されることを証明した。
2. レベル依存性: $\rho_I(p)$ は閾値レベル $p$ の関数であることを示した。データセットには単一の有効サンプルサイズが存在するのではなく、あらゆる閾値レベルに対して個別のサイズが存在する。多くの場合（ガウス・コピュラなど）、$\rho_I(p)$ は裾（テール）に向かって減衰するため、設計効果は緩い被覆レベル（例：90%）よりも厳格な被覆レベル（例：99%）において小さくなる。
3. 標準的な補正の失敗: 生のスコア相関 $\rho$ を用いて Kish の設計効果を適用することは不適切であることを示した。多くの現実的なシナリオにおいて $\rho_I(p) < \rho$ であり、設計効果を過大評価（データの無駄）したり、特定のコピュラ構造においては過小評価（安全性の欠如）したりする。
4. 不揃いなクラスターの補正: 不揃いなクラスターサイズに対して、サイズ偏りのある平均 $\tilde{m}$ を用いた正しい置換方法を提供し、平均クラスターサイズ $\bar{m}$ では不揃いさによるペナルティを大幅に過小評価してしまうことを示した。
5. 実証的検証:
   • 公開された PRM データセット: 公開されているプロセス報酬モデル（PRM）の較正セット（25,028例）を用い、有効サンプルサイズが約1,300であることを測定した。標準的なスコア相関ははるかに小さなペナルティを示唆していたが、インジケーター相関は（情報を含むサイズを補正する前の）約30.8 の設計効果を明らかにした。
   • 生成スイープ: ビームサーチと独立サンプリングを用いて「共有祖先（shared ancestry）」メカニズムを分離し、ビームサーチは高い $\rho_I$ を誘発する一方で、独立サンプリングは（同じプロンプトで条件付けられていても）それを誘発しないことを示した。

4. 結果と測定

• 分散 vs 平均: クラスター化の主な影響は、平均被覆率（一次の効果）ではなく、実現された被覆率の「分散」（二次の効果）にある。一度きりのデプロイメントでは、平均的な実行結果が正しく見えても、被覆率が公称保証を大幅に下回る可能性がある。
• 誤差の大きさ: PRMデータセットにおいて、実現された被覆率の分布は、i.i.d. の予測よりも 4.46 倍広かった。被覆率が 0.5 パーセントポイント不足する確率が、i.i.d. の場合は 1,000 回中 0.4 回であったのに対し、クラスター化された場合は 1,000 回中 284.5 回に増加した。
• 標準 vs 正解: 生のスコア相関を用いて設計効果を推定すると、正しいインジケーターに基づく法則と比較して最大 5.7 倍の誤差が生じた。一部のケース（SQuAD 2.0 など）では、生のスコア相関はほぼゼロであり、補正は不要であると示唆されたが、インジケーター相関は正であり、大幅な補正が必要であった。
• 裾の挙動: テール独立なコピュラ（ガウス型など）では、閾値が裾に移動するにつれて設計効果は減少する。テール依存なコピュラ（Student-t 型や原子混合型など）では、設計効果はテール依存係数によって決定される底に達する。

5. 意義と主張

本論文は、調査サンプリング理論と共形予測の間のギャップを埋めるものである。構成要素（設計効果、インジケーター相関、サイズ偏りのある平均）は、調査サンプリング、計量経済学、コピュラ理論といった別々の文献に存在するが、本論文はこれらを「クラスター化されたデータから推定された閾値」のための特定の法則へと統合した。

控えめな主張:

• 本論文は、情報を含むクラスターサイズ（サイズがスコアと相関する場合）の問題を解決することを目的としているのではなく、それを診断し、異なる補正（重み付き共形予測）が必要であることを指摘している。
• 平均ドリフト（予想 1）は、測定された剰余を伴う「よくテストされた予想」として提示されており、完全に証明された定理ではない（ただし、分散の法則（定理 1）は証明されている）。
• すべてのクラスター化が悪影響を与えるとは主張しておらず、クラスター化が保持する「情報量」を正確に定量化するツールを提供することで、そのトレードオフを判断できるようにしている。

実務的な含意:

• 実務者は、生のスコア相関に頼るのではなく、同じクラスター内のペアから $\rho_I(p)$ を直接推定しなければならない。
• 有効サンプルサイズは、単一のグローバルな数値ではなく、被覆レベルごとに報告されるべきである。
• 「深さを買う（一つのプロンプトあたりのサンプルを増やす）」ことは、「幅を買う（プロンプトの数を増やす）」ことと比較して収穫逓減であり、$n_{eff}$ はクラスター数 $b$ によって制限される。
• 単一のデプロイメントの信頼性を解釈するには、クラスター数 $b$ と有効サンプルサイズ $n_{eff}$ を報告することが不可欠である。

結論として、クラスター化による「ダメージ」は平均的な被覆率の指標では見えないが、個々のデプロイメントにおいては完全に顕在化する。また、平均化のための標準的なツール（スコアに対する Kish の公式）は、ランクベースの保証（共形予測）には不十分である。