技術的概要：意思決定理論に基づく閾値選択によるベイズ的コンフォーマル予測

1. 問題定義

機械学習における不確実性定量化は、特に基礎となる確率モデルが誤指定されている場合に、統計的妥当性と効率性の間でトレードオフに直面する。標準的なベイズ手法は事後の不確実性を提供するが、モデルが正しくない場合には名目上の被覆率を維持できなくなる可能性がある。一方、標準的なコンフォーマル予測（CP）は交換性のもとで有限サンプルかつ分布フリーの被覆保証を提供するが、しばしば単一の固定された分位点閾値に依存する。この固定閾値は通常、連結された予測集合（区間）をもたらすが、事後予測分布が多峰性の場非効率的となる。このような場合、妥当性を維持するために標準的な手法は分離されたモード間の低密度領域を横断せざるを得ず、結果として不必要に大きな予測集合が生じる。

本稿で扱われる核心的な問題は、事後予測分布を用いてコンフォーマル閾値を最適化し、モデルの誤指定下でも有効でありながら幾何学的に適応的な予測集合（具体的には最高事後密度、HPD 集合）を生成できるかどうかである。

2. 手法：ベイズ的コンフォーマル予測（BCP）

著者らは、コンフォーマル予測を意思決定・リスク最適化問題として再定式化する**ベイズ的コンフォーマル予測（BCP）**という枠組みを提案する。固定された分位点閾値を受け入れるのではなく、BCP は閾値 $\lambda$ を意思決定変数とみなし、PAC 風（多分近似正解）の被覆制約を満たしつつ、期待される予測集合のサイズを最小化する。

主要構成要素

1. ベイズ的非適合スコア:
   BCP は事後予測密度から導出されたスコアを利用する：
   $$s(x, y) = -\log \hat{p}(y \mid x, D_{tr})$$
   これらのスコアはパラメータ不確実性と予測不確実性の両方を組み込んでいる。モデルを各較正点ごとに再適合させることなくこれらのスコアを効率的に計算するために、著者らはAdd-One-In (AOI) 重要度サンプリングを採用する。これは既存の事後サンプルを再重み付けして任意の $(x, y)$ における予測密度を近似し、交換性を維持するために較正ラベルに対してスコア関数が固定されたままであることを保証する。

2. PAC 風リスク制御（$L_+$ 統計量）:
   妥当性を強制するために、BCP はコンフォーマルリスク制御（CRC）枠組みを採用する。真の被覆外リスクを確率的に上から抑える $L_+$ 統計量を用いる。閾値 $\lambda^*$ は以下のように選択される：
   $$P_D(P_{(X,Y)}(Y \notin C(X; \lambda)) \le \alpha) \ge 1 - \beta$$
   これにより、較正データのランダム性に対して確率 $1-\beta$ 以上で $1-\alpha$ の被覆が保証され、ベイズモデルが誤指定されていても頑健性が提供される。

3. 効率性推定のためのベイズ的数値積分（BQ）:
   目的関数 $g(\lambda) = E_X[|C(X; \lambda)|]$（期待集合サイズ）はしばしば扱いにくい。BCP はこの関数をベイズ的数値積分（Bayesian Quadrature）を用いて近似し、$\lambda \mapsto g(\lambda)$ という写像に対してガウス過程事前分布を置く。

   • 閾値ベースの設定における役割: BQ は、最小の feasible な閾値を特定する際の推定ノイズを低減する。
   • HPD 設定における役割: 多峰性分布において、HPD 集合の幾何学は $\lambda$ がモード境界の密度レベルを横断する際に急激に変化し（非連結な成分が出現・消滅する）、これにより単純なモンテカルロ推定に高い分散が生じる。BQ はこれらの不連続点近傍における $g(\lambda)$ の推定を安定化させ、最適な閾値の信頼できる選択を可能にする。

4. 適応的幾何学（HPD 集合）:
   連結区間を強制する標準的な Split-CP やコンフォーマル化分位点回帰（CQR）とは異なり、BCP は事後予測密度の超レベル集合に基づいて予測集合を構築する：
   $$C_{HPD}(x; \lambda) = \{y : \hat{p}(y \mid x, D_{tr}) \ge e^{-\lambda}\}$$
   事後分布が多峰性の場、これらの集合は非連結となり、確率質量を分離された高密度領域に集中させ、低密度の谷を回避する。

3. 主要な貢献

• 意思決定理論的定式化: 本論文は、閾値を意思決定変数とし、PAC 被覆制約の下で期待集合サイズを最小化する最適化問題として CP を定式化する。
• 幾何学的適応性: 事後予測密度を利用することで、BCP は多峰性分布の下で非連結となり得る HPD 予測集合を生成し、連結区間手法と比較して効率性を大幅に向上させる。
• 誤指定に対する頑健性: この枠組みは妥当性をモデルの正しさから切り離す。ベイズ的信用区間（BCI）は事前分布の誤指定下で失敗するが、BCP は $L_+$ 制約を通じて名目被覆率に近い値を回復させる。
• 安定した閾値選択: ベイズ的数値積分の統合は、多峰性設定におけるモード境界近傍での目的関数推定の不安定性に対処する。

4. 実験結果

著者らは、回帰、分類、分布シフトタスクにおいて、BCP を Split-CP、CQR、ベイズ的信用区間（BCI）、コンフォーマルベイズ計算（CB）、Snell-HPD などのベースラインと比較評価した。

• 回帰（Diabetes データセット）: 事前分布の誤指定（$c=0.02$）下において、BCI の被覆率は 49.2% に崩壊したが、BCP は 80.0% の被覆率を維持した。BCP は明示的な効率性最適化により Snell-HPD よりもわずかに広い区間で目標被覆率を達成したが、妥当性の点で BCI を大幅に上回った。
• 分類（Breast Cancer）: BCI は深刻な過被覆（80% 目標に対し 98.9%）を示した。BCP は平均集合サイズ 0.829 で 82.5% の被覆率を達成し、有効な効率性・妥当性制御を実証した。
• 合成多峰性回帰: この設定は BCP の主な利点を浮き彫りにする。標準的な区間手法（Split-CP、CQR）はモード間の低密度の谷を横断する連結集合を生成し、平均サイズは約 4.8 となった。BCP と Snell-HPD は非連結の HPD 集合を利用し、平均サイズを2.07に削減した（統計的に有意な改善、$p < 0.0001$）。BCP は目標を満たす PAC パス率 0.80 を達成したが、Snell-HPD はわずかに不足（0.78）した。
• 高次元分類（ImageNet-A）: 期待集合サイズが閾値に対して単調である単峰性設定において、BCP は Snell-HPD と同じ解を回復した（平均集合サイズ 40.3 対、周辺的手法では 122 以上）。これは BCP の効率性向上が、PAC 制約単独ではなく、複雑な多峰性幾何学を処理する能力に起因することを裏付けた。

5. 意義と主張

本論文は、コンフォーマル予測の妥当性保証とベイズ推論の幾何学的適応性を組み合わせた、頑健な不確実性定量化の枠組みとして BCP を提供するとしている。

• 妥当性: この手法はモデルの正しさに依存せず、交換性のもとで有限サンプルの被覆を保証する。
• 効率性: 効率性への主な貢献は、多峰性シナリオにおいて非連結な予測集合を構築できる能力であり、連結区間手法に固有の「低密度ペナルティ」を回避する。
• 範囲: 著者らは、標準的なネスト型閾値設定（単峰性回帰、標準分類）において、BCP は最小の feasible な閾値を回復し、既存の PAC ベース手法と整合することを指摘する。明確な利点は、予測分布が多峰性である場合に特に生じる。
• 限界: この手法は事後推論の計算コスト（MCMC サンプルと AOI 再重み付けを必要とする）を引き継ぐ。著者らは、非常に大規模なデータセットや高次元ラベル空間へのスケーリングが依然として未解決の課題であることを認めている。

要約すると、BCP はモデルの誤指定下でも統計的に妥当であり、かつ複雑で多峰性の予測景観において幾何学的に効率的である予測集合を構築するための原理的なアプローチを提供する。