技術要約: CLEAR: エピステミックおよびアレオリック・リスクのための較正学習（Calibrated Learning for Epistemic and Aleatoric Risk）

1. 問題提起

正確な不確実性の定量化（Uncertainty Quantification: UQ）は、信頼性の高い予測モデリングにおいて極めて重要であるが、既存の手法は両方の不確実性をバランスよく扱うことに失敗することが多い。

• アレオリック不確実性（Aleatoric Uncertainty）: 本質的なデータの変動（測定ノイズ、欠落した共変量など）に起因し、データを増やしても減少させることはできない。
• エピステミック不確実性（Epistemic Uncertainty）: 限られたデータ、モデルの誤設定、またはデータ処理における主観的な選択に起因する。これは、より多くのデータや優れたモデルを用いることで減少させることが可能であり、外挿領域においては大きくなる傾向がある。

従来のアプローチは、通常、どちらか一方の型のみに対処するか、あるいは固定された非適応的な比率（例：エピステミックとアレオリックの不確実性の重みを1:1に設定するなど）でこれらを組み合わせている。これは、平均的には良好な被覆率（周辺被覆率）を実現していても、特定のサブグループや外挿領域において信頼できる被覆を提供できないという、不適切な**条件付き被覆（Conditional Coverage）**を招く。さらに、既存の手法は多くの場合、これらの不確実性成分間のスケーリングパラメータを暗黙的に固定しており、これは各不確実性のソースの相対的な重要性がデータセットや予測タスクによって変化することを考慮すると、最適ではない可能性がある。

2. 手法: CLEAR

著者らは、2つの異なるパラメータ $\gamma_1$ および $\gamma_2$ を用いて、アレオリック不確実性とエピステミック不確実性を適応的にバランスさせる較正フレームワークである CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk) を提案する。

2.1 予測区間の方程式

CLEARは、点推定値 $\hat{f}(x)$ に対して、以下の形式で予測区間 $C(x)$ を構築する：
$$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aleatoric}_{\pm}(x) + \gamma_2 \times \text{epistemic}_{\pm}(x) \right) \right]$$
ここで $\gamma_2 = \lambda \gamma_1$ である。パラメータ $\lambda$ は、2つの不確実性の型のトレードオフを制御する：

• $\lambda = 0$: 区間はアレオリック不確実性のみを反映する。
• $\lambda \to \infty$: 区間はエピステミック不確実性のみを反映する。
• $\lambda > 0$: データ駆動型のバランスが達成される。

2.2 推定コンポーネント

CLEARはいかなるペアの推定器とも互換性があるが、以下の手法を用いて性能を発揮する：

1. アレリオック推定器: 生のターゲットではなく、残差 ($Y_i - \hat{f}(X_i)$) に対して訓練された分位点回帰モデルを使用する。著者らは、平均モデルがアンダーフィットしている場合にターゲットに対して直接分位点を適合させると、アレリオック推定が歪む可能性があるため、残差に対して適合させる方がより安定していると主張している。これらのモデルのアンサンブル（バギング）を使用して、条件付き分位点 $\hat{q}^{ale}_{\alpha/2}$ および $\hat{q}^{ale}_{1-\alpha/2}$ を推定する。
2. エピステミック推定器: **PCS（Predictability–Computability–Stability）**フレームワークから導出された区間。これは、異なるデータ前処理バージョンおよびモデルアーキテクチャにわたってモデルのアンサンブルを訓練し、その後、最も優れたパフォーマンスを示すモデルをブートストラップすることを含む。このアンサンブルの点ごとの分位点が、未較正のエピステミック不確実性バンド $\hat{q}^{epi}_{\alpha/2}$ および $\hat{q}^{epi}_{1-\alpha/2}$ を定義する。

2.3 較正手順

本手法は、検証/較正データセット上で2段階の較正プロセスを採用する：

1. $\lambda$ のグリッドサーチ: 正の値のグリッド $\Lambda$ を評価する。各候補 $\lambda$ に対して、周辺被覆 $1-\alpha$ を確保するために、標準的な分割コンフォーマル予測（split conformal prediction）を介してスケーリング係数 $\gamma_1$ が決定される。
2. 最適化: 検証セット上で分位点損失（Quantile Loss）（ピンボール損失または区間スコアと同等）を最小化することにより、最適な $\lambda^*$ が選択される。この指標は、被覆率と区間幅の両方のバランスを取り、真実性を促す。

2.4 理論的特性

論文では、緩やかな仮定（ベースとなる推定器の一致性と $\lambda$ のコンパクトなグリッド）の下で、CLEARが**漸近的な条件付き妥当性（asymptotic conditional validity）**を達成することを確立している。エピステミック成分は無限のデータ量において漸近的に消失するが、データが乏しい領域において標準的なコンフォーマル手法（CQRなど）が被覆不足に陥るのを防ぐために、有限のサンプルにおいて重要な役割を果たす。

3. 主な貢献

1. デュアルパラメータ較正: 固定された比率による組み合わせを超え、アレリオック不確実性とエピステミック不確実性のスケールをバランスさせるために、$\lambda$ によって連結された2つの異なる較正パラメータ（$\gamma_1$ と $\gamma_2$）を導入した。
2. 残差ベースのアレリオック推定: ターゲットに対して直接適合させるよりも、残差に対して適合させる方が、より理にかなった安定したアレリオック不確実性推定器が得られることを示した。
3. PCSとCQRの統合: PCSアンサンブル摂動区間（エピステミック不確実性用）と、残差に対するコンフォーマル化分位点回帰（CQR）（アレリオック不確実性用）を初めて組み合わせた。
4. 大規模ベンチマーク: 17種類の多様な実世界の回帰データセットおよび合成シミュレーションを用いた広範な評価。

4. 実験結果

論文では、CQR（アレリオックのみ）、PCSアンサンブル（エピステミックのみ）、およびそれらの個別に較正されたバージョンを含むベースラインと比較して、CLEARを評価している。

• 性能指標: CLEARは、公称被覆（95%）を維持しながら、一貫して低い正規化較正区間幅（NCIW）および分位点損失を達成している。
• 定量的利得: 17の実世界のデータセット全体で、CLEARは個別に較正されたアレリオック・ベースライン（ALEATORIC-R）と比較して平均28.3%、エピステミック・ベースライン（PCS）と比較して**17.5%**の区間幅の改善を、被覆率を維持したまま達成した。
• 堅牢性: CLEARは17のデータセット中15のデータセットでベースラインを上回った。特に、高いアレリオックまたはエピステミック不確実性が支配的なシナリオにおいて効果的であった。
• 汎用性: 同様の改善（例：ディープアンサンブルを用いた場合の28.6%の幅の減少）を示し、ディープアンサンブル（エピステミック）および同時分位点回帰（アレリオック）についてもテストされた。
• ケーススタディ: Ames Housingのケーススタディでは、CLEARはデータ特性に基づいてその重み付け（$\lambda$）を適応的にシフトさせた。情報量の少ないレジーム（特徴量が少ない場合）ではアレリオック不確実性を優先し、高次元かつ低データ量のレジームでは、エピステミック不確実性への重みを劇的にシフトさせ、支配的な不確実性のソースを正しく特定した。

5. 意義と主張

論文は、CLEARが、不確実性の型を単独で扱う、あるいは固定された非適応的な組み合わせに依存する古典的な手法よりも大幅な改善を提供すると主張している。

• 条件付き被覆: 不確実性のソースを適応的にバランスさせることにより、CLEARは、標準的なコンフォーマル手法（CQRなど）が被覆不足に陥りやすい外挿領域においても、入力空間全体にわたって近似的な条件付き被覆を維持する。
• 解釈可能性: 学習されたパラメータ $\lambda$ は、どちらの不確実性のソース（エピステミックかアレリオックか）が特定のデータセットや領域を支配しているかについての洞察を提供し、実務家がモデルの限界を理解する助けとなる。
• 堅牢性: デュアルパラメータ・アプローチにより、メソッドはベースとなる推定器の欠点（例：アレリオック不確実性が過大または過小に推定されている場合、$\gamma_1$ がそのスケールを補正できる）を補うことができる。

著者らは、CLEARの精度はベースとなる推定器の質に依存すること、および較正データセットが非常に小さい場合にはパラメータのオーバーフィッティングが発生する可能性があることを指摘し、限界を認めている。今後の課題として、CLEARを分類、時系列、および能動学習のシナリオに拡張することを提案している。