技術要約：マルチディストリビューション・ロバスト・コンフォーマル予測

問題提起

本論文は、テストデータが $K$ 個の異種ソース分布のいずれか、あるいはその混合物から生成される可能性がある場合に、有効な被覆保証（coverage guarantees）を維持する予測集合を構築するという課題に取り組んでいる。臨床リスク予測における異なる病院間での差異、ラベルのない保護されたグループ間の公平性、あるいはマルチソース学習など、多くの現実世界のシナリオにおいて、テスト分布は未知であり、訓練分布とは大きく異なる可能性がある。

訓練サンプルによって誘導される特定の混合分布に対してのみ較正（calibration）を行う標準的なコンフォーマル予測は、テストポイントが異なるソースに由来する場合、被覆を保証できない。逆に、単一のソースで較正を行うことは、テストポイントが別のソースから来た場合に被覆を保証できない。著者らは、目標を、単一の予測集合 $\hat{C}(X_{n+1})$ を構築することとして定式化している：
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
これにより、テストポイントがどのソースによって生成されたかにかかわらず、あらゆるソース分布に対して同時に被覆保証が成立することが保証される。

手法：マルチディストリビューション・コンフォーマル予測 (MDCP)

提案されたフレームワークである MDCP は、妥当性メカニズム（validity mechanism）と効率化戦略（efficiency optimization strategy）の 2 つの主要なコンポーネントで構成されている。

1. 妥当性のための Max-p 集約

本手法の基礎は、分布フリーの集約スキームである。

• 単一ソースの p 値: 各ソース $k$ に対して、適合度スコア $s_k$ が計算される。候補ラベル $y$ に対するコンフォーマル p 値 $p^{(k)}(y)$ は、ソース $k$ の較正フォールドに基づいて導出される。
• 集約: 本手法は、これらの p 値の最大値を取ることによって、それらを集約する：$p(y) = \max_{k \in [K]} p^{(k)}(y)$。
• 予測集合: 最終的な予測集合は、集約された p 値が有意水準 $\alpha$ を超えるラベルの集合である：$\hat{C}(X) = \{ y : p(y) \ge \alpha \}$。
• 理論的保証: 著者らは、この集約された集合が、単一ソースのコンフォーマル集合の和集合と正確に一致することを証明している。したがって、テストポイントのソースを知る必要なく、ソース分布のいかなる混合に対しても、有限サンプルでの一様妥当性（finite-sample uniform validity）を提供する。

2. 双対定式化による効率化

Max-p 集約は妥当性を確保するが、標準的な単一ソースのスコアにそのまま適用すると、過度に保守的（サイズが大きく）な予測集合になることが多い。これに対処するため、本論文では、一様被覆制約の下でサイズを最小化する母集団レベルの最適予測集合を導出している。

• 最適スコア: 著者らは、最適な予測集合が、「共有された」適合度スコア $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$ の上位レベル集合（superlevel set）に対応することを示している。ここで、$f_k$ はソース $k$ の条件付き密度であり、$\lambda_k^*(x)$ は非負の双対重みである。
• 重みの学習: 重み $\lambda_k^*(x)$ は、ソース間の被覆制約のバランスを取る双対最適化問題を解くことによって決定される。
• 経験的アルゴリズム: 本論文は、これらの重みを学習するためのエンドツーエンドの手順を提案している：
  1. 各ソースおよび統合モデルに対して条件付き密度モデル（または分類器）を適合させる。
  2. 重み関数 $\lambda_k(x)$ をパラメータ化する（例：スプラインやニューラルネットワークを使用）。
  3. パラメータ $\hat{\Theta}$ を学習するために、（母集団問題のラグランジアンから導出された）経験的双対目的関数を最適化する。
  4. 学習されたスコアと Max-p 集約を用いて、最終的な MDCP セットを構築する。

主な貢献

1. 汎用的な Max-p 集約スキーム: 単一ソースのコンフォーマル p 値を集約することにより、複数の異種ソースにわたって有限サンプルの一様被覆を実現する、単純で分布フリーなメカニズムの導入。
2. 最適性の特性付け: 一様被覆制約下での母集団最適予測集合の理論的導出。著者らは、適切に学習された適合度スコア（具体的には、最適な共有スコア $h^*$）と組み合わせたとき、Max-p 集約が漸近的に最適かつタイトであることを証明している。
3. エンドツーエンドのアルゴリズム: 分類および回帰の両方のタスクにおいて、双対目的関数に対する経験的リスク最小化を利用した、最適な適合度スコアを学習するための実用的なパイプライン。
4. 実証的検証: MDCP が、素朴な集約ベースラインと比較して、最悪ケースの被覆を維持しながら予測集合のサイズを大幅に縮小できることを示す広範な実験。

結果

本論文は、合成データおよび 3 つの実世界のデータセットを用いて MDCP を評価している。

• 合成実験: 分類および回帰の両方において、線形、非線形、および変動する温度（不均一性）の設定にわたり、MDCP は一貫して最悪ケースの被覆を公称レベル ($1-\alpha$) の近くに維持している。対照的に、単一ソースのベースラインは、シフトしたデータに対して被覆不足（under-coverage）に陥り、素朴な集約（BASELINE-AGG）は過度に保守的である。MDCP は、素朴な集約と比較して、分類では約 34%、回帰では約 22% 予測集合のサイズを削減しており、真の密度にアクセスできるオラクル（oracle）の効率にしばしば接近している。
• 実世界への応用:
  • FMoW (衛星画像): 6 つの地域にわたる地理的シフトに対する堅牢性を示す。MDCP は、単一ソースのセットよりも小さいセットサイズを提供しながら、すべての地域で有効な被覆を提供する。
  • PovertyMap: 都市・農村間のシフトに対処する。MDCP は、単一ソースの手法が失敗する（被覆が 0.6 まで低下）場面でもタイトな被覆を維持し、素朴な集約は広すぎる。
  • MEPS (医療支出): 推論時にグループラベルを必要とせずに、敏感なグループ（人種）間の不均一性を扱う。MDCP は、ベースラインと比較して、等価な被覆（equalized coverage）と短い区間を実現する。

意義と主張

本論文は、MDCP が、分布論的堅牢性と公平性の間の溝を埋める、不均一な環境における不確実性定量化のための堅牢なソリューションを提供すると主張している。

• 保護属性なしでの公平性: この手法は、推論時に敏感なグループ属性を観察する必要なく、グループ条件付きの被覆保証（すべてのサブグループに対して信頼性を確保すること）を可能にし、公平な機械学習における決定的な制限に対処している。
• サブポピュレーション・シフトへの保護: 任意のサブポピュレーション・シフトに対する保証を提供し、テスト分布が訓練混合物とは異なるソースの混合物である場合でも信頼性を確保する。
• 効率性と妥当性のトレードオフ: 適切な共有適合度スコアを学習すれば、最悪ケースの堅牢性に通常伴う深刻な効率性のペナルティを課すことなく、一様妥当性を達成できることを本研究は示している。

著者らは、MDCP を、有限サンプルの正確な保証と、緩やかな一貫性条件下での漸近的最適性を提供する、マルチソース設定における標準的なコンフォーマル予測に代わる実用的な選択肢として位置づけている。