Replicable Conformal Prediction

技術要約：再現可能な共形予測（Replicable Conformal Prediction）

問題提起
標準的な分割共形予測（split conformal prediction）は、有限サンプルの被覆保証を持つ集合値分類器を生成する。しかし、2人の独立したアナリストが、それぞれ別個の保持サンプル上で共形予測器を較正（キャリブレーション）した場合、彼らがデプロイする分類器は、ほとんど確実に異なるものになる。これは、較正された閾値が連続分布に従うスコアの順序統計量であるためであり、2つの独立した較正が同一の閾値（したがって同一の分類器）を生み出す確率はゼロであることに起因する。

この再現性の欠如は、ハッシュ化、キャッシュ、バージョニング、または監査を必要とするデプロイメント・アーティファクトにおいて重大な問題を引き起こす。さらに、この不安定性は悪用が可能である。すなわち、攻撃者が較正セットを何度も描き直し、最も有利な描画を選択することで、標準的なサポートチェックでは検出できない系統的な被覆率低下（undercoverage）を引き起こすことができる。「一点安定性（one-point stability）」の概念は存在するが、それらはデプロイされた分類器自体が実行間で同一であることを保証するものではない。

手法：RECAL
本論文は、2人の独立したアナリストが、高い確率（$1-\rho$）で同一の分類器をデプロイすることを保証しつつ、周辺被覆保証を維持する手法であるRECAL（Replicable Calibration）を提案する。

1. 共有シードと丸め処理： RECALは、共有の乱数シードを利用して、固定されたグリッド幅 $\beta$ に対するランダムなオフセット $u$ を生成する。アナリストは標準的な共形閾値 \hat{\tau}} を計算し、それを $u + \beta\mathbb{Z}$ で定義されるグリッド点に対して上方へ丸める。

   • 上方への丸めは、予測集合が拡大することによって、周辺被覆保証（$\ge 1-\alpha$）が無条件に維持されることを保証する。
   • 共有グリッドにより、もし未丸めの閾値 $\hat{\tau}$ と $\hat{\tau}'$ が同じグリッドセル内にあるか（あるいは特定の 방식으로境界を跨いでいる場合）、丸められた閾値 $\tau$ と $\tau'$ は同一となる。

2. 理論的枠組み：

   • 厳密な再現の不可能性： 本論文は、あらゆる分布に対して一様に有効な手順において、厳密な再現（同一の出力が得られる確率1）は不可能であることを証明している。さらに、共有の乱数を使用する場合、厳密な再現性は出力をデータに依存しないもの（データを無視するもの）に強制するため、分類器としての情報性を失わせる。
   • 局所マージン仮定： 分析は、スコア分布がターゲットとなる分位数の近傍において、ゼロおよび無限から離れた密度を持つと仮定する「局所マージン条件（Assumption 1）」に基づいている。これにより、サンプル複雑性の境界における明示的な定数が可能となる。
   • シードレス・バリアント： 共有シードがない場合、シードレス設定において、単一の（singleton）再現が失敗確率 $1/2$ を下回るレベルで実現することは不可能であることを本論文は示している。しかし、決定論的なグリッドを用いることで、高確率で全ての解析者を共通の2つの隣接する分類器のリストに限定することができる。これはシードレス設定における最適解である。

3. 選択に対する堅牢性： 本論文は、「選択的再較正（selective recalibration）」、すなわち攻撃者が $M$ 個の較正描画の中から最良のものを選択する場合の分析を行っている。ある手順が $\rho$-再現可能であれば、攻撃者が $M$ 個の描画の中から異なる分類器を見つけ出す確率は $\min\{1, (M-1)\rho\}$ で抑えられることを証明している。これにより、標準的な分割共形予測で見られる、選択による系統的な被覆率低下を防ぐことができる。

主な貢献

1. 不可能性理論： 著者らは、厳密な再現性が非自明な妥当性と両立しないこと、および意味のある再現性には共有の乱数が必要であることを確立した。また、シードレスな再現におけるフロントIERを、隣接する2つの分類器のリストとして特徴づけている。
2. RECALアルゴリズム： 妥当性が保持された、再現可能な分割共形キャリブレータである。本論文は、目標とする再現性 $\rho$ と被覆誤差 $\epsilon$ を達成するために必要な較正サイズ $n$ のための、明示的な有限サンプル定数を提供している：$n = O(\kappa^2 \alpha(1-\alpha) / (\epsilon^2 \rho^2))$、ここで $\kappa$ は局所的なスコア密度の比をバウンドする。
3. 下界： 著者らは明示的な定数を伴う下界を導出し、閾値キャリブレータにとって、サンプル複雑性と（被覆による）集合サイズの膨張が避けられないものであることを示している。集合サイズのコストは $\Omega(\sqrt{\alpha(1-\alpha)/n}/\rho)$ であることが示されている。
4. プラグイン手順： データから密度定数 $\kappa$ を推定するためのパイロット手順が導入されており、これにより、漸近的に事前指定された $\hat{\kappa}$ を必要とせずに済む。
5. 実証的検証： ImageNet（合成および実データ）、小規模データを用いた数字タスク、および4つの大規模言語モデルファミリー（GPT-2, Pythia, Qwen, Llama）を用いた実験により、RECALが予測された再現性ターゲットを達成することを実証している。実験の結果、標準的な共形予測はニアゼロの同一性を示す一方で、RECALは（予測集合のサイズの）定量的なコストを伴いつつ、高い同一性（例：0.95–1.00）を達成することが確認された。

結果

• 再現性： RECALは、目標とする非再現率 $\rho$ を正常に達成した。例えば、$\rho=0.1$ において、本手法は合成画像データで0.95、実際の言語モデルで0.89–0.96の同一性を達成した。
• 被覆率： 周辺被覆率は保持される（$\ge 1-\alpha$）。実現された被覆率はグリッドのアトム（原子）に集中し、標準的な分割共形予測に見られるベータ分布的な変動を防ぐ。
• 集合サイズのコスト： 本手法は、予測集合のサイズにおいてコストを課す。実際の言語モデルにおいて、集合サイズは $\rho=0.1$ のとき55〜59%増加した。本論文は、重い裾を持つ語彙（例：Qwen）を持つモデルでは、スコア空間の幾何学的特性により、このコストが大幅に高くなる可能性があると指摘しているが、これは手法の失敗ではなくスコア空間の特性である。
• 選択攻撃： 攻撃者が20回の再較正の中から最も被覆率の低い描画を選択するというストレス・テストにおいて、標準的な分割共形予測は大幅にアンダーカバー（0.892 vs 公称値 0.900）となった。しかし、RECALはすべての候補が上方への丸めが行われた有効な閾値であったため、公称レベル以上の被覆率を維持した。

意義と主張
本論文は、標準的な手法が独立した実行間で同一のアーティファクトを生成できないという決定的なギャップに対処する、再現性に関する初のフレームワークを提供すると主張している。その意義は以下の点にある：

• 監査可能性とキャッシュ： 検証可能で、キャッシュおよびバージョニングされた共形予測器のデプロイを可能にすること。これは、規制上の監査やプロダクションシステムにおいて不可欠である。
• 選択に対する堅牢性： 被覆率を操作するために較正セットを使い分ける「選択攻撃」に対する、理論的かつ実践的な防御を提供する。
• トレードオフの特性付け： 再現性のコストをサンプルサイズと予測集合サイズの観点から明示的に定量化し、これらのコストが避けられないものであること、および最適なレートを示している。

著者らは限界についても謙虚に述べており、実画像の実験では単一の凍結ネットワークからの生のロジットではなく、交差検証された確率を使用していること、また臨床サイト分割のトラックはサンプルサイズ（$n \le 303$）によって制限されていたことを指摘している。また、密度定数 $\kappa$ の漸近的な除去は可能であるが、有限サンプルにおける一様な除去は依然として未解決の問題であることも認めている。