A Category-Theoretic Analysis of Conformal Prediction

技術概要：適合度予測の圏論的分析

問題定義
適合度予測（CP）は、有限サンプルかつ分布フリーの被覆保証を有する予測領域を生成する、広く用いられている統計ツールである。しかし、その定量的な不確実性ツールとしての解釈は、しばしば暗黙のうちに留まっている。CP は集合値出力（予測領域）を生成するが、この出力を裏付ける構造的メカニズムや、他の確率論的枠組み（ベイズ的、頻度論的、および不確実確率）との関係は、必ずしも明示的に定式化されているわけではない。さらに、不確実性の「量」は、しばしば領域の幾何学的な大きさに還元され、CP が暗黙的に符号化するより豊かな確率構造が無視されている。

手法
本論文は、完全適合度予測（FCP）の構造的な分析を提供するために圏論（CT）を採用している。著者は、CP を単なるアルゴリズムではなく、集合値関数（対応）の特定の圏における射（構造を保つ写像）として扱う。この分析は、以下の 3 つの主要な数学的柱に依存している：

1. 圏論：圏、射、関手、および可換図式の概念を活用して、統計的手続きの合成を定式化する。
2. 集合値解析：上半連続性（安定性）と弱可測性（確率的な適切性）の観点から CP を分析する。
3. 不確実確率（IP）：単一の確率分布を超えた不確実性を表現するために、クレダル集合（確率測度の凸かつ閉集合）と**不確実最高密度領域（IHDR）**を活用する。

方法論の中核的な革新は、CP 手続きを可換図式に分解し、予測領域の直接構築を、(1) データからクレダル集合を抽出し、(2) そのクレダル集合から予測領域を導出するという、間接的な 2 段階のプロセスに因数分解することにある。

主要な貢献と結果

1. 射としての CP と構造的因数分解（第 3 節）
本論文は 2 つの圏を定義する：

• $\mathbf{UHCont}$：対象は位相空間；射は安定性を捉える上半連続対応。
• $\mathbf{WMeasuc}$：対象はコンパクトなポーランド空間；射は可測性と一様コンパクト値性を捉える弱可測対応。

定理 7は、緩やかな正則性条件（コンパクトなハウスドルフな結果空間、連続な非適合度測度、および信頼水準 $\alpha$ に関する「同点なし」条件）の下で、完全適合度予測対応が両方の圏における射であることを確立する。重要なのは、本論文が可換図式の結果を証明していることである：
$$\kappa_\alpha = \text{IHDR}_\alpha \circ \text{CRED}$$
ここで：

• $\kappa_\alpha$ は直接の適合的構築である。
• $\text{CRED}$ はデータから確率測度の集合であるクレダル集合を抽出する。
• $\text{IHDR}_\alpha$ はクレダル集合から $\alpha$ レベルの不確実最高密度領域を抽出する。

意義：この因数分解は、CP がクレダル集合を伴う間接的手続きと本質的に等価であることを示している。これは、CP が不確実性の定量化において暗黙のうちに「基数的」な層を有していることを明らかにする。予測集合の大きさを超えて、誘導されたクレダル集合から、意思決定に関連する要約（例えば、下限/上限確率、ロバストな期待損失）を導き出すことができる。

2. ベイズ的、頻度論的、および不確実推論の統合（第 4 節）
本論文は、CP とベイズ予測との間の漸近的関係を調査する。定理 11は、非適合度測度がベイズ事後予測密度から導出される場合、適合度予測領域はハウスドルフ距離において対応するベイズ予測密度のレベル集合に収束することを示す。

• 結果：漸近的に、ベイズ密度レベル集合、直接の適合的領域、および間接的なクレダル -IHDR 経路は、集合としてだけでなく、予測手続きとしても等価となる。
• 定量的収束率：命題 14は、局所経験過程と境界正則性の仮定の下で、$O_P(n^{-1/2})$ 次数の定量的収束率を提供する。
• 意義：これは、CP がベイズ予測の周りに有限サンプルの妥当性ラッパーとして機能するという直観を定式化し、頻度論的被覆保証とベイズ的解釈性および不確実確率の意味論を架橋する。

3. e-事後分布との関連（第 4.5 節）
本論文は、上限事後分布の構築がe-事後分布（Grünwald [44]）と関連する条件を特定する。命題 15は、いつ上限事後分布が e-事後分布となり得るかを特徴づけ、e 値に基づく表現と適合的 - 不確実表現が一致する条件を明確にする。命題 16はさらに、上限事後予測が加法性確率測度と一致する場合、その系は点質量に退化しなければならないことを示し、可能性に基づく（適合的）表現と加法性確率表現の異なる性質を浮き彫りにする。

関手性とプライバシー互換的な集約（第 5 節）
本論文は、IHDR エキストラクタを、包含射を伴うクレダル集合の圏から結果空間の部分集合の圏への共変関手として定式化する。

• 定理 17：写像 $\text{IHDR}_\alpha$ は関手である。
• 含意：これはプライバシー互換的な集約原理をもたらす。フェデレーテッド環境において、エージェントは生データではなく要約オブジェクト（クレダル集合）を共有できる。これらの要約が外側近似（超集合）によって秘匿化された場合、関手的性質は、生成されるグローバルな予測領域が保守的（縮小しない）であることを保証し、生データを露出させることなく被覆保証を維持する。

意義と主張
本論文の主要な貢献は、適合度予測の構造的統合であると主張している。CP を対応の圏における射として枠組みづけることで、この研究は以下の点を実現する：

• CP に内在する定量的不確実性を明示化し、単なる領域の大きさから、クレダル集合に由来する意思決定関連の関数へと移行させる。
• 正則性条件の下で予測手続きとしての漸近的等価性を示すことで、ベイズ的、頻度論的、および不確実確率的枠組み間の原理的な架け橋を提供する。
• 生データの交換ではなく、要約オブジェクトの関手的性質を通じて不確実性の定量化が維持される、フェデレーテッド学習のためのモジュール化されたプライバシー互換的な視点を提供する。

著者は、この枠組みがカテゴリカルな因数分解にとって最もクリーンな設定である完全適合度予測のために開発されたものであるが、これらの洞察は分割/帰納的適合度予測にも拡張されると予想しているが、体系的な扱いは今後の課題に委ねられていると述べている。論文は、この圏論的アプローチが、集合値統計関数の安定性、近似、および合成を研究するための新たな道を開くと結論付けている。