A Category-Theoretic Analysis of Conformal Prediction

Résumé Technique : Une Analyse Catégorielle de la Prédiction Conformale

Énoncé du Problème
La Prédiction Conformale (CP) est un outil statistique largement utilisé qui génère des régions de prédiction avec des garanties de couverture distributionnelles libres et à échantillon fini. Cependant, son interprétation en tant qu'outil d'incertitude quantitative est souvent implicite. Bien que la CP produise une sortie à valeurs ensemblistes (la région de prédiction), les mécanismes structurels sous-jacents à cette sortie et sa relation avec d'autres cadres probabilistes (bayésien, fréquentiste et probabilités imprécises) ne sont pas toujours explicitement formalisés. De plus, la « quantité » d'incertitude est souvent réduite à la taille géométrique de la région, ignorant les structures probabilistes plus riches que la CP peut encoder implicitement.

Méthodologie
L'article emploie la Théorie des Catégories (TC) pour fournir une analyse structurelle de la Prédiction Conformale Complète (FCP). L'auteur traite la CP non pas simplement comme un algorithme, mais comme un morphisme (une application préservant la structure) au sein de catégories spécifiques de fonctions à valeurs ensemblistes (correspondances). L'analyse repose sur trois piliers mathématiques principaux :

1. Théorie des Catégories : Utilisation des concepts de catégories, morphismes, foncteurs et diagrammes commutatifs pour formaliser la composition des procédures statistiques.
2. Analyse à Valeurs Ensemblistes : Analyse de la CP à travers le prisme de la demi-continuité supérieure (stabilité) et de la mesurabilité faible (bien-posé probabiliste).
3. Probabilités Imprécises (IP) : Utilisation de ensembles crédaux (ensembles convexes et fermés de mesures de probabilité) et de Régions de Densité Maximale Imprécises (IHDR) pour représenter l'incertitude au-delà des distributions de probabilité uniques.

L'innovation méthodologique centrale est la décomposition de la procédure CP en un diagramme commutatif, factorisant la construction directe d'une région de prédiction en un processus indirect à deux étapes : (1) l'extraction d'un ensemble credal à partir des données, et (2) la dérivation d'une région de prédiction à partir de cet ensemble credal.

Contributions et Résultats Clés

1. La CP comme Morphisme et Factorisation Structurelle (Section 3)
L'article définit deux catégories :

• $\mathbf{UHCont}$ : Les objets sont des espaces topologiques ; les morphismes sont des correspondances demi-continues supérieurement (capturant la stabilité).
• $\mathbf{WMeasuc}$ : Les objets sont des espaces polonais compacts ; les morphismes sont des correspondances faiblement mesurables, à valeurs uniformément compactes (capturant la mesurabilité).

Le Théorème 7 établit que, sous de légères conditions de régularité (espace des résultats compact de Hausdorff, mesures de non-conformité continues, et une condition « sans égalité » sur le niveau de confiance $\alpha$), la correspondance de Prédiction Conformale Complète est un morphisme dans les deux catégories. Crucialement, l'article prouve un résultat de diagramme commutatif :
$$\kappa_\alpha = \text{IHDR}_\alpha \circ \text{CRED}$$
où :

• $\kappa_\alpha$ est la construction conformale directe.
• $\text{CRED}$ extrait un ensemble credal (un ensemble de mesures de probabilité) à partir des données.
• $\text{IHDR}_\alpha$ extrait la Région de Densité Maximale Imprécise de niveau $\alpha$ de l'ensemble credal.

Signification : Cette factorisation démontre que la CP est intrinsèquement équivalente à une procédure indirecte impliquant un ensemble credal. Cela révèle que la CP porte une couche « cardinale » implicite de quantification de l'incertitude. Au-delà de la taille de l'ensemble de prédiction, on peut dériver des résumés pertinents pour la décision (par exemple, probabilités inférieures/supérieures, pertes attendues robustes) à partir de l'ensemble credal induit.

2. Unification du Raisonnement Bayésien, Fréquentiste et Imprécis (Section 4)
L'article examine la relation asymptotique entre la CP et la prédiction bayésienne.
Le Théorème 11 montre que si la mesure de non-conformité est dérivée d'une densité prédictive postérieure bayésienne, la région de prédiction conformale converge en distance de Hausdorff vers l'ensemble de niveau correspondant de la densité prédictive bayésienne.

• Résultat : Asymptotiquement, l'ensemble de niveau de la densité bayésienne, la région conformale directe et la voie indirecte credal-IHDR deviennent équivalents non seulement en tant qu'ensembles, mais en tant que procédures prédictives.
• Vitesses Quantitatives : La Proposition 14 fournit des vitesses de convergence quantitatives de l'ordre de $O_P(n^{-1/2})$ sous des hypothèses de régularité locale du processus empirique et de la frontière.
• Signification : Cela formalise l'intuition selon laquelle la CP agit comme un enveloppe de validité à échantillon fini autour de la prédiction bayésienne, reliant les garanties de couverture fréquentistes à l'interprétabilité bayésienne et aux sémantiques des probabilités imprécises.

3. Lien avec les e-Postérieurs (Section 4.5)
L'article identifie les conditions selon lesquelles les constructions postérieures supérieures sont liées aux e-postérieurs (Grünwald [44]). La Proposition 15 caractérise quand une postérieure supérieure est un e-postérieur, clarifiant les conditions sous lesquelles les représentations basées sur la valeur-e et conformes-imprécises coïncident. La Proposition 16 montre en outre que si la prédictive postérieure supérieure coïncide avec une mesure de probabilité additive, le système doit dégénérer en une masse ponctuelle, mettant en lumière la nature distincte des représentations basées sur la possibilité (conformales) par rapport aux représentations de probabilité additive.

4. Fonctorialité et Agrégation Compatible avec la Vie Privée (Section 5)
L'article formalise l'extracteur IHDR comme un foncteur covariant de la catégorie des ensembles crédaux (avec des morphismes d'inclusion) vers la catégorie des sous-ensembles de l'espace des résultats.

• Théorème 17 : L'application $\text{IHDR}_\alpha$ est un foncteur.
• Implication : Cela produit un principe d'agrégation compatible avec la vie privée. Dans des contextes fédérés, les agents peuvent partager des objets de résumé (ensembles crédaux) plutôt que des données brutes. Si ces résumés sont privatifiés via des approximations extérieures (sur-ensembles), la propriété fonctorielle garantit que les régions de prédiction globales résultantes sont conservatrices (elles ne rétrécissent pas), préservant ainsi les garanties de couverture sans exposer les données brutes.

Signification et Revendications
L'article revendique que sa contribution principale est une unification structurelle de la Prédiction Conformale. En encadrant la CP comme un morphisme dans des catégories de correspondances, le travail :

• Rend explicite l'incertitude quantitative inhérente à la CP, allant au-delà de la simple taille de la région vers des fonctionnels pertinents pour la décision dérivés des ensembles crédaux.
• Fournit un pont principiel entre les cadres probabilistes bayésiens, fréquentistes et imprécis, montrant leur équivalence asymptotique en tant que procédures prédictives sous des conditions de régularité.
• Offre une perspective modulaire et compatible avec la vie privée pour l'apprentissage fédéré, où la quantification de l'incertitude est préservée grâce aux propriétés fonctorielles des objets de résumé plutôt que par l'échange de données brutes.

L'auteur note que, bien que le cadre soit développé pour la Prédiction Conformale Complète (le cadre le plus propre pour la factorisation catégorielle), les auteurs s'attendent à ce que ces idées s'étendent à la Prédiction Conformale Fractionnée/Inductive, bien qu'un traitement systématique soit laissé pour un travail futur. L'article conclut en suggérant que cette approche catégorielle ouvre de nouvelles voies pour étudier la stabilité, l'approximation et la composition des fonctionnels statistiques à valeurs ensemblistes.