Résumé Technique : Prédiction Conformale Postérieure (PCP)

1. Énoncé du Problème

La prédiction conforme (CP) est une technique largement utilisée, indépendante du modèle, pour construire des intervalles de prédiction avec des garanties de couverture sans hypothèse de distribution. Cependant, les méthodes CP standard, telles que la Prédiction Conformale Partitionnée (SCP), ne fournissent qu'une validité marginale. Cela signifie que la garantie de couverture ($1-\alpha$) vaut en moyenne sur l'ensemble de la population, mais peut échouer pour des sous-groupes ou des individus spécifiques, en particulier lorsque les données de test sont tirées d'une sous-population disposant de peu de données d'entraînement (par exemple, les comtés ruraux dans les prévisions électorales ou les groupes démographiques sous-représentés).

Atteindre une validité conditionnelle — garantir une couverture pour chaque vecteur de caractéristiques $X$ spécifique — est théoriquement impossible dans des contextes sans hypothèse de distribution sans faire des hypothèses fortes (par exemple, la régularité), car cela nécessiterait des longueurs d'intervalles attendues infinies. Les approches existantes pour approximer la validité conditionnelle, telles que la localisation (pondération des voisins par la distance des caractéristiques) ou le regroupement (partitionnement par attributs sensibles), présentent des limites :

• Localisation : Dans les espaces de haute dimension, les « voisins » peuvent être éloignés, entraînant des données clairsemées et des intervalles instables.
• Regroupement : Le partitionnement par attributs sensibles peut entraîner une perte de couverture pour les individus minoritaires au sein de ces groupes (par exemple, les femmes de grande taille dans un groupe majoritairement féminin) en raison de la petite taille des échantillons.

L'article répond au besoin d'une méthode qui équilibre validité marginale et conditionnelle en identifiant des « types latents » de points de données basés sur leur comportement de résidus plutôt que sur la proximité brute des caractéristiques.

2. Méthodologie : Prédiction Conformale Postérieure (PCP)

La PCP introduit un cadre qui modélise la distribution des scores de non-conformité (résidus) comme un mélange fini de distributions de clusters. Au lieu de définir la similarité basée sur les caractéristiques brutes $X$, la PCP définit la similarité basée sur les probabilités d'appartenance aux clusters des résidus.

Mécanisme Central

1. Modélisation par Mélange : Les scores de non-conformité $R_i = |Y_i - \hat{\mu}(X_i)|$ sont supposés suivre un modèle de mélange :
   $$R_i | X_i \sim \sum_{k=1}^K \pi_k(X_i) f_k$$
   où $\pi(X_i)$ est un vecteur de probabilités d'appartenance aux clusters et $f_k$ sont des distributions de clusters distinctes.
2. Poids Randomisés : Pour construire un intervalle de prédiction pour un point de test $X_{n+1}$, la PCP n'utilise pas le vrai $\pi(X_{n+1})$ (inconnu). Elle introduit plutôt une étape de randomisation :
   • Elle tire un échantillon $L^* \sim \text{Multi}(m, \pi(X_{n+1}))$ (ou une version estimée $\hat{\pi}$) pour obtenir des fréquences empiriques $\pi^*(X_{n+1}) = L^*/m$.
   • Ce « bruitage » de la probabilité d'appartenance empêche l'identification unique du point de test, préservant l'échangeabilité.
3. Quantile Pondéré : L'intervalle de prédiction est construit en utilisant un quantile empirique pondéré des résidus. Le poids $w_i$ pour un point de validation $i$ est proportionnel à la vraisemblance que son appartenance au cluster $\pi(X_i)$ ait généré l'observation randomisée $\pi^*(X_{n+1})$ :
   $$w_i \propto \prod_{k=1}^K [\pi_k(X_i)]^{m \pi^*_k(X_{n+1})}$$
   Cela surpondère efficacement les points de validation dont les distributions de résidus (appartenances aux clusters) sont similaires à celles du point de test, même si leurs caractéristiques brutes sont éloignées.

Gestion des Paramètres Inconnus

Puisque le vrai $\pi(X)$ est inconnu, la PCP l'apprend à partir des données. L'algorithme :

• Impute la réponse de test $Y_{n+1} = y$ pour tous les candidats $y$.
• Utilise un algorithme d'apprentissage symétrique pour estimer les probabilités d'appartenance $\hat{\pi}_y$ à partir du jeu de données augmenté.
• Emploie un algorithme d'appariement efficace (grillage, ajustement et clustering) avec une complexité linéaire par rapport à la taille de l'échantillon pour estimer ces probabilités sans réajuster des modèles complexes pour chaque candidat $y$.

3. Contributions Clés et Garanties Théoriques

Validité Théorique

• Validité Conditionnelle sur l'Appartenance au Cluster : Le théorème 1 établit que l'intervalle PCP satisfait $P(Y_{n+1} \notin \hat{C}_n(X_{n+1}) \mid \pi^*(X_{n+1})) \le \alpha$. Cela garantit la validité conditionnelle à l'affectation aléatoire au cluster du point de test.
• Validité Conditionnelle Approchée : À mesure que le paramètre de précision $m$ augmente, $\pi^*(X_{n+1})$ se concentre autour du vrai $\pi(X_{n+1})$. L'article montre que l'intervalle approche la validité conditionnelle au point de test lui-même, à condition que le modèle de mélange approxime bien la vraie distribution des résidus.
• Longueur d'Intervalle Finie : Contrairement aux méthodes de localisation strictes qui peuvent produire des intervalles infinis en haute dimension, la PCP peut maintenir des intervalles finis même avec un grand $m$ si un nombre suffisant de points de validation partagent des probabilités d'appartenance au cluster similaires (Théorème 2).
• Garanties PAC : Sous des hypothèses de stabilité sur l'algorithme d'apprentissage du mélange, la PCP satisfait des garanties « Probablement Correcte Approximativement » (PAC), assurant que la validité tient avec une probabilité élevée sur la réalisation des données de validation (Section D).

Extensions

• Couverture Conditionnelle Égalisée : La PCP est appliquée pour garantir la couverture des sous-groupes (par exemple, le genre) tout en assurant que l'intervalle est asymptotiquement indépendant de l'appartenance au sous-groupe. Cela prévient la perte de couverture « minorité au sein d'une minorité » observée dans les méthodes de partition standard (Proposition 3).
• Couverture Adaptative au Niveau pour la Classification : Pour les réponses catégorielles, la PCP ajuste le niveau de couverture cible en fonction des probabilités prédictives du classifieur. Si un classifieur est bien calibré et confiant, la PCP produit des ensembles de prédiction plus petits (singletons) tout en maintenant la validité (Proposition 4).

4. Résultats Expérimentaux

Les auteurs évaluent la PCP sur des jeux de données synthétiques et réels, en la comparant à la SCP, à la SCP avec Calibration Conditionnelle (SCP+CC), et à la Prédiction Conformale Localisée Aléatoirement (RLCP).

• Jeu de Données « Communities and Crime » : La PCP atteint un taux de couverture conditionnelle « pire tranche » proche de l'objectif (0,9), surperformant significativement la SCP (environ 0,8) et égalant des méthodes avancées comme la RLCP et la SCP+CC. Crucialement, la PCP maintient des longueurs d'intervalles comparables à la SCP, tandis que la RLCP produit des intervalles significativement plus larges.
• Données Synthétiques (Résidus Non Linéaires) : Dans des contextes où la variance des résidus dépend de manière non linéaire d'une caractéristique, la PCP identifie avec succès la caractéristique pertinente et adapte les largeurs d'intervalles, maintenant la couverture sur toute la plage de la caractéristique. La RLCP et la SCP+CC échouent à capturer ces non-linéarités, entraînant des lacunes de couverture.
• Enquête sur les Dépenses Médicales (MEPS) : Dans un scénario avec des sous-groupes déséquilibrés (par exemple, le genre), les méthodes de partitionnement standard (SCP+Partition) échouent à couvrir les individus minoritaires au sein du groupe majoritaire. La PCP corrige cela en élargissant les intervalles pour les individus sous-représentés tout en les rétrécissant pour les bien représentés, atteignant une couverture uniforme à travers les sous-groupes sans sacrifier l'efficacité globale.
• HAM10000 (Lésions Cutanées) : Pour la classification, la PCP génère des ensembles de prédiction plus petits pour les classifieurs bien calibrés par rapport aux ensembles conformes standard, alignant la taille de l'ensemble sur la confiance du classifieur.

5. Importance et Revendications

L'article revendique que la PCP offre une approche radicalement différente pour modéliser la similarité dans la prédiction conforme. En déplaçant l'attention de l'espace des caractéristiques brutes vers la distribution des scores de non-conformité, la PCP exploite des informations non locales pour construire des intervalles plus étroits et plus robustes.

L'importance réside dans sa capacité à :

1. Combler le fossé entre validité marginale et conditionnelle sans nécessiter d'hypothèses de distribution sur les caractéristiques.
2. Équilibrer automatiquement le compromis entre couverture conditionnelle et longueur d'intervalle, évitant la « malédiction de la dimensionnalité » qui afflige les méthodes de localisation.
3. Améliorer l'équité en assurant la couverture des individus sous-représentés au sein des sous-groupes, répondant à un mode d'échec spécifique des méthodes basées sur le partitionnement.
4. S'adapter à la confiance du classifieur dans les tâches de classification, produisant des ensembles de prédiction plus actionnables.

Les auteurs soulignent que bien que la PCP repose sur l'apprentissage d'un modèle de mélange, elle reste une méthode sans hypothèse de distribution dans le sens où elle n'assume pas une forme paramétrique spécifique pour la distribution conditionnelle de $Y|X$, seulement que les résidus peuvent être approxima par un mélange de clusters. La méthode s'avère être computationnellement efficace (linéaire par rapport à la taille de l'échantillon) et efficace dans divers domaines, y compris les sciences socio-économiques, la science des matériaux et la santé.