Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

1. Problématique

La prédiction conforme est un outil statistique puissant permettant de construire des ensembles de prédiction garantissant une couverture marginale (c'est-à-dire que la probabilité que la vraie étiquette soit dans l'ensemble est supérieure à $1-\alpha$). Cependant, la garantie marginale peut masquer des défaillances de couverture pour certains sous-groupes de données ou dans des régions spécifiques de l'espace des covariables.

L'objectif est d'atteindre une couverture conditionnelle : $P\{Y \in C(X) \mid Z = z\} \ge 1 - \alpha$ presque sûrement, où $Z$ est une variable de conditionnement (qui peut être $X$ lui-même, un groupe démographique, ou un attribut sensible).

Les défis majeurs identifiés dans la littérature sont :

• Impossibilité théorique : Une couverture conditionnelle exacte est impossible sans hypothèses distributionnelles fortes ou sans produire des ensembles de taille infinie.
• Rigidité géométrique : Les méthodes existantes (comme la calibration conditionnelle de Gibbs et al., 2025) ajustent généralement le volume d'un ensemble de prédiction prédéfini (sous-niveau d'une fonction de score fixe), mais ne peuvent pas modifier sa forme (orientation, rapport d'aspect) pour s'adapter à l'hétéroscédasticité locale.
• Attributs sensibles masqués : De nombreuses méthodes supposent que la variable de conditionnement $Z$ est disponible à la fois lors de l'étalonnage et au moment de la prédiction. Or, dans des scénarios d'équité algorithmique, $Z$ (ex: race, genre) peut être connu à l'étalonnage mais masqué au test.

2. Méthodologie : MOPI (Minimax Optimization Predictive Inference)

Les auteurs proposent un nouveau cadre appelé MOPI, qui reformule le problème de la prédiction conforme conditionnelle comme un problème d'optimisation minimax.

A. Formulation Minimax

Au lieu de simplement calibrer un seuil pour une fonction de score fixe, MOPI optimise simultanément la forme de l'ensemble de prédiction et la fonction de pondération pour satisfaire les contraintes conditionnelles.

Le problème est formulé comme suit :
$$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} \mathbb{E}\left[ f(Z) \left( \mathbb{1}\{Y \notin C(X)\} - \alpha \right) - f^2(Z) \right]$$

Où :

• $C(X)$ est l'ensemble de prédiction, paramétré par une fonction $h \in \mathcal{H}$ (ex: moyenne et covariance pour des ellipsoïdes).
• $\mathcal{C}$ est une classe de fonctions ensemblistes structurées (ex: boîtes, ellipsoïdes).
• $\mathcal{F}$ est une classe de fonctions de poids (ex: espace de Hilbert à noyau reproduisant - RKHS, ou fonctions paramétriques) définie sur $Z$.
• Le terme $-f^2(Z)$ sert de régularisation pour assurer la concavité forte par rapport à $f$, facilitant l'optimisation.

B. Avantages Clés

1. Adaptabilité de la forme (Shape-Adaptive) : En optimisant $h \in \mathcal{H}$, le modèle peut "redessiner" la géométrie de l'ensemble de prédiction (ex: changer l'orientation d'un ellipsoïde ou le rapport d'aspect d'une boîte) pour correspondre à la densité locale des données, au-delà d'un simple ajustement de seuil.
2. Gestion des attributs masqués : Le cadre découple la contrainte de couverture (dépendante de $Z$ dans l'optimisation interne) de la fonction de prédiction (dépendante de $X$ dans l'optimisation externe). Cela permet d'utiliser $Z$ pendant l'étalonnage pour apprendre une fonction de seuil ou de forme adaptée, même si $Z$ n'est pas disponible lors du test.
3. Interprétation statistique : L'objectif minimax est équivalent à la minimisation de l'Erreur Quadratique Moyenne de Couverture (MSCE) : $\text{MSCE}(C) = \mathbb{E}[(P\{Y \notin C(X) \mid Z\} - \alpha)^2]$, sous des conditions de richesse de la classe $\mathcal{F}$.

C. Implémentation

• Approximation empirique : L'indicateur de non-couverture $\mathbb{1}\{Y \notin C(X)\}$ est non différentiable. Les auteurs le remplacent par un surrogate lisse (fonction sigmoïde ou erreur gaussienne) pour permettre l'utilisation de la descente de gradient stochastique.
• Formes fermées : Pour des choix pratiques de $\mathcal{F}$ (fini-dimensionnel ou RKHS), la maximisation interne admet une forme analytique fermée, transformant le problème en une minimisation de risque empirique standard.

3. Contributions Théoriques

1. Inégalités Oracle Non-Asymptotiques : Les auteurs établissent des bornes supérieures sur la MSCE de l'estimateur empirique MOPI. Ils montrent que le taux de convergence atteint l'ordre optimal (à des facteurs logarithmiques près) dans des conditions régulières.
2. Analyse de l'Erreur d'Approximation : Ils démontrent que l'erreur d'approximation dépend de la corrélation entre la covariable $X$ et la variable de conditionnement $Z$. Si $Z$ est une fonction déterministe de $X$, la couverture conditionnelle parfaite est atteignable.
3. Convergence pour les Classes Infinies : L'analyse s'étend aux cas où les classes de fonctions sont infinies (RKHS), en utilisant des techniques de complexité de Rademacher localisées et des arguments de concentration de marge.

4. Résultats Expérimentaux

Les auteurs évaluent MOPI sur des données synthétiques et réelles, en comparaison avec des méthodes de référence (SCP, CC, RLCP).

• Données Synthétiques (Labels multidimensionnels) :

  • MOPI produit des ensembles de prédiction plus compacts (volume réduit) tout en maintenant une couverture conditionnelle robuste, contrairement aux méthodes de base qui produisent des ensembles trop larges ou mal orientés.
  • Dans les scénarios de couverture égale (attributs sensibles masqués au test), MOPI est le seul à maintenir une couverture équilibrée entre les groupes, car il peut exploiter $Z$ lors de l'étalonnage pour apprendre la structure de la variance conditionnelle.

• Données Réelles :

  • Households Dataset : MOPI montre une couverture locale plus uniforme sur les niveaux de revenus et les groupes à faible dépense.
  • Communities and Crime : Dans le cas "masqué" (race non observée au test), MOPI maintient une couverture équitable entre les groupes raciaux, tandis que les méthodes de base échouent à corriger les biais.
  • Assurance Médicale et FashionMNIST : Des résultats supplémentaires confirment la supériorité de MOPI sur la couverture conditionnelle et la taille des ensembles.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la prédiction conforme pour plusieurs raisons :

• Flexibilité Géométrique : Il brise la rigidité des méthodes basées sur les sous-niveaux de scores fixes, permettant une adaptation fine à l'hétéroscédasticité locale, cruciale pour les régressions multivariées.
• Équité Algorithmique : Il offre un cadre théorique et pratique solide pour garantir l'équité (couverture égale) même lorsque les attributs sensibles ne sont pas disponibles au moment de la décision, un problème majeur dans les applications réelles.
• Fondement Théorique Solide : En reliant l'optimisation minimax à la minimisation de l'erreur quadratique de couverture, l'article fournit des garanties non-asymptotiques rigoureuses, comblant le fossé entre les approches heuristiques et les garanties statistiques formelles.

En résumé, MOPI propose une méthode adaptative, géométriquement flexible et statistiquement garantie pour la prédiction conforme conditionnelle, surpassant les états de l'art en termes d'efficacité (taille des ensembles) et de robustesse (couverture conditionnelle).