Localized conformal model selection

1. 問題設定 (Problem)

現代の統計学習における不確実性定量化の重要な課題として、コンフォル予測（Conformal Prediction）が挙げられます。しかし、従来のコンフォル予測は固定された予測モデルを前提としており、データ駆動型でモデルを選択・組み合わせるプロセスを直接考慮していません。

• モデル選択によるバイアス: 同一のデータを用いてモデルを選択し、その後に予測区間を構築すると、コンフォル予測の根幹である「交換可能性（exchangeability）」の仮定が破綻します。その結果、選択バイアスにより、実際の被覆率（coverage）が理論値よりも低下する（undercoverage）という問題が発生します。
• 局所適応性の欠如: 既存のモデル選択後のコンフォル推論手法（Yang & Kuchibhotla, 2025 など）は、選択バイアスを補正して有限サンプルでの被覆を保証しますが、これらはグローバル（全体）レベルでのみ有効であり、共変量空間（covariate space）全体でモデルが変化する非パラメトリックな状況（空間的に不均一な構造を持つ場合）には対応できません。
• 局所化コンフォル予測（LCP）の限界: 局所化コンフォル予測（Guan, 2023）は、テスト点に近いデータに重みを付けて局所的なノイズレベルやモデル適合度に合わせて予測区間を調整できますが、これも固定されたモデルを前提としており、モデル選択の不確実性を扱っていません。

本研究の目的:
非パラメトリックな設定において、局所適応性（空間的な構造への適応）とモデル選択後の有効性（post-selection validity）を同時に達成するコンフォル予測フレームワークを開発することです。

2. 手法 (Methodology)

提案手法は、**局所化コンフォル予測（LCP）**と、**安全なインデックス集合（Safe Index Set）**を用いた新しいモデル選択戦略を組み合わせることで、交換可能性を維持しつつ局所適応を実現します。

2.1 基本的な構成

• データ: 観測データ $D = \{(X_i, Y_i)\}_{i=1}^n$ と、新しい共変量 $X_{n+1}$ に対する未観測の応答 $Y_{n+1}$。
• 候補モデル: 独立した訓練サンプルから得られた $K$ 個の回帰推定量 $\{f_1, \dots, f_K\}$。
• 局所化: 各モデル $f_k$ に対して、局所化関数（ローカライザー）$H(\cdot, \cdot)$ を用いた重み付き経験分位数に基づき、コンフォル化予測区間 $C_k$ を構築します。

2.2 対称性の維持と「安全なインデックス集合」

テスト点 $X_{n+1}$ において「最も短い区間を与えるモデル」を単純に選択すると、未観測の $Y_{n+1}$ に依存するため対称性が崩れます。これを回避するために、以下の手順を踏みます。

1. 留め置き法（Leave-one-out）と代理区間:
   各データ点 $i$ について、$D_{-i}$（$i$ 番目のデータを除いた集合）を用いて、$Y_{n+1}$ が極端に非適合な場合（$Y_{n+1} = \infty$）と完全に適合する場合（$Y_{n+1} = f_k(X_{n+1})$）を想定した上限・下限の代理区間（$C_k^+, C_k^-$）を定義します。
2. 安全なインデックス集合 $K_i(\gamma)$ の構築:
   各 $i$ に対して、以下の条件を満たすモデルの集合を定義します。
   $$K_i(\gamma) := \left\{ k : |C_k^-(D_{-i}, X_i, \gamma)| \le \min_{k'} |C_{k'}^+(D_{-i}, X_i, \gamma)| \right\}$$
   これは、「あるモデル $k$ の最悪ケース（上限）の区間長が、競合するどのモデルの最善ケース（下限）の区間長よりも小さくない」ようなモデルの集合です。
   重要な性質: この集合 $K_i(\gamma)$ には、真のオラクルモデル（期待区間長が最小となるモデル）が必ず含まれることが保証されます。
3. 許容誤差レベルの決定:
   全データ点におけるカバレッジを評価し、許容される誤差レベル $\gamma$ の範囲 $[\hat{\gamma}_L, \hat{\gamma}_U]$ を決定します。
4. 最終的な予測区間:
   許容される $\gamma$ の範囲内で、各モデルの区間長が最小となるものを選び、それらの和集合を取ることで最終的な予測区間 $C_{LCP-MS}$ を構成します。

3. 主要な貢献 (Key Contributions)

1. 理論的保証:
   提案手法は、モデル選択プロセスを含めつつも、有限サンプルにおける厳密な marginal 被覆保証（$P(Y_{n+1} \in C) \ge 1-\alpha$）を維持します。これは、モデル選択がデータ依存であっても、対称性を回復させる「安全なインデックス」の構成によって実現されています。
2. 局所適応性とモデル選択の統合:
   非パラメトリックな設定において、共変量空間の異なる領域（滑らかな領域と激しく振動する領域）に適応的にモデル（またはバンド幅）を選択しながら、予測区間の長さを短縮できます。
3. 既存手法との差別化:
   • 従来のモデル選択後手法：グローバルな被覆のみ保証し、局所適応性がない。
   • 従来の LCP：局所適応性はあるが、モデル選択のバイアスを考慮していない。
   • 本研究: 両者の利点を兼ね備え、初めて「局所適応性」と「モデル選択後の有効性」を両立させました。

4. 数値シミュレーション結果 (Results)

2 つのシミュレーション実験（パラメトリックな局所振動信号、非パラメトリックな曲率変化）により、提案手法の有効性が示されました。

• 設定:
  • パラメトリック設定: $X=0$ で周波数と振幅が変化する正弦波モデル。複数の局所パラメトリックモデルを候補とし、ノイズレベル（$\sigma=0.1, 0.3$）とサンプルサイズを変化させた。
  • 非パラメトリック設定: $Y = \sin(X^3) + \epsilon$。異なるバンド幅を持つナダラヤ・ワトソン推定量を候補とした。
• 結果:
  • 低ノイズ環境（$\sigma=0.1$）: 提案手法（LCP-MS）は、事後最適モデル（Best Single）と比較して、予測区間の長さを大幅に短縮しました（非パラメトリック設定では約 25-35% の短縮）。
  • 高ノイズ環境（$\sigma=0.3$）: 信号対雑音比が低い場合、局所化の利点は減少しますが、提案手法は依然として有効な被覆を保ちつつ、単一モデルと同等かそれ以上の性能を示しました。
  • 適応的なモデル選択: 図 1 に示されるように、曲率が高い（激しく振動する）領域では小さなバンド幅のモデルが、滑らかな領域では大きなバンド幅のモデルが自動的に選択され、真の関数の構造に追従した狭い区間を生成していました。

5. 意義と結論 (Significance)

• 理論的意義: 交換可能性を破綻させずに局所的なデータ依存決定を行うための「安全なインデックス（Safe Indexing）」という新しい概念を導入し、コンフォル推論の理論的限界を拡張しました。
• 実用的意義: 複雑な機械学習モデルや非パラメトリック推定量を組み合わせる際、モデル選択の不確実性を無視せずに、かつ空間的な構造に適応した高精度な予測区間を提供できます。特に、信号の局所的な複雑さが変化する実世界の問題（金融時系列、気象データ、生体信号など）において、より効率的な不確実性定量化を可能にします。
• 計算コスト: ローン・アウト（留め置き）計算と複数のモデル・誤差レベルの評価が必要となるため、標準的なコンフォル予測より計算量は多いですが、並列化が可能であり、そのトレードオフは区間長の大幅な短縮によって正当化されます。

総じて、この論文は、モデル選択と局所適応性を統合した最初の包括的なコンフォル推論フレームワークを提供し、現代の統計学習における不確実性定量化の重要な一歩を踏み出したと言えます。