Résumé Technique : Systèmes Prédictifs Conformes Généralisés sous Décalages de Distribution

1. Énoncé du Problème

Les systèmes d'apprentissage automatique déployés dans des contextes de prise de décision nécessitent non seulement des prédictions ponctuelles précises, mais aussi une quantification de l'incertitude statistiquement fiable. Plus précisément, les distributions prédictives doivent être calibrées, ce qui signifie que les probabilités prédites doivent correspondire aux fréquences empiriques, et que les intervalles de prédiction doivent atteindre leur couverture cible.

Un obstacle majeur à l'obtention d'une calibration hors échantillon est le décalage de distribution (distributional shift). Les méthodes classiques de prédiction conforme reposent sur l'hypothèse d'échangeabilité (que les points de données sont distribués de manière identique et indépendants de l'ordre). Cette hypothèse est régulièrement violée en pratique par :

• Le décalage de covariables (covariate shift) : changements dans la distribution des entrées.
• Le décalage de labels (label shift).
• La dérive temporelle (temporal drift).
• La collecte de données adaptative ou pilotée par rétroaction (ex. : en conception biomoléculaire).

Bien que des travaux antérieurs aient étendu les Systèmes Prédictifs Conformes (CPS) à des régimes de décalage spécifiques (ex. : décalage de covariables connu via des rapports de vraisemblance), il manquait un cadre général pour les Systèmes Prédictifs Conformes Généralisés (GCPS) capables de gérer des décalages de distribution arbitraires tout en tenant compte de l'incertitude liée à l'estimation des poids de décalage. Le défi central consiste à construire des enveloppes prédictives (des ensembles de fonctions de répartition, CDF) qui restent valides et calibrées même lorsque le point de test est tiré d'une distribution différente de celle des données d'entraînement, et lorsque les poids corrigeant ce décalage sont estimés plutôt que connus.

2. Méthodologie

2.1. Cadre Théorique : Poids de Permutation

Les auteurs étendent les GCPS aux contextes non échangeables en modélisant les effets d'ordonnancement par des poids de permutation. Au lieu de supposer que le point de test $Z_{n+1}$ est échangeable avec l'ensemble d'entraînement $\{Z_1, \dots, Z_n\}$, la méthode conditionne sur le multi-ensemble non ordonné des atomes observés. L'identité du point de test parmi ces atomes est modélisée comme un tirage pondéré avec des probabilités $w_i$.

• Loi Empirique Pondérée : Pour une valeur de réponse candidate $y'$, la méthode construit une mesure observée pondérée $\mu_{obs}$ et une mesure hypothétique complète $\tilde{\mu}$ incorporant le point de test avec son poids réalisé $w_{n+1}$.
• Enveloppes Sensibles au Décalage : Le système prédictif est construit en insérant l'atome de test avec son poids spécifique dans l'ensemble de calibration. Le Théorème 1 établit que si la procédure de régression distributionnelle sous-jacente $G$ est calibrée en échantillon (probabiliste, isotonique ou auto-calibrée), le système prédictif résultant $\Pi[X_{n+1}]$ contient une CDF prédictive calibrée pour $Y_{n+1}$ sous la loi réelle (potentiellement non échangeable).

2.2. Gestion de l'Incertitude des Poids

En pratique, les poids de décalage sont rarement connus et doivent être estimés (ex. : via des rapports de densité), introduisant une incertitude épistémique. Pour y remédier, les auteurs introduisent des boîtes d'incertitude de poids :

• Définition : Une borne multiplicative coordonnée autour des poids estimés $\hat{w}_i$, définie par $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$.
• Région de Confiance : Cette boîte $WWU_\alpha$ est traitée comme une région de confiance $(1-\alpha)$ pour les vrais poids.
• Enveloppes Robustes : La méthode construit des enveloppes de CDF robustes aux poids en optimisant les bornes du système prédictif sur tous les vecteurs de poids à l'intérieur de la boîte d'incertitude. Cela produit un ensemble de CDF qui garantit le confinement d'une distribution calibrée avec une probabilité d'au moins $1-\alpha$, même si les poids sont mal spécifiés dans la boîte.

2.3. Calcul Efficace

L'article dérive des règles de calcul efficaces pour trois instances spécifiques de $G$, évitant ainsi le besoin d'un balayage naïf sur toutes les valeurs candidates de $y'$ :

1. Conformal Binning (CBIN) : Utilise des CDF empiriques pondérées à l'intérieur de classes (bins). Les enveloppes robustes possèdent des expressions en forme close dérivées en poussant les atomes avec $Y_i \leq y$ vers leurs bornes de poids supérieures et ceux avec $Y_i > y$ vers leurs bornes inférieures.
2. Conformity-Measure CPS (CMCPS) : Applique la même logique que CBIN mais opère sur des scores de conformité plutôt que sur des résultats bruts.
3. Conformal Isotonic Distributional Regression (CIDR) : Utilise la régression antitonique. Les enveloppes robustes sont calculées en exécutant la routine de régression isotonique (PAVA) deux fois : une fois avec les poids fixés à leurs bornes supérieures et une fois avec les bornes inférieures, selon les valeurs indicatrices.

3. Contributions Clés

Le papier présente trois contributions principales :

1. Extension à la Non-Échangeabilité : Il étend les GCPS aux séquences non échangeables en encodant les écarts par rapport à l'échangeabilité via des poids de permutation, construisant des enveloppes prédictives sensibles au décalage qui restent valides sous des décalages de distribution arbitraires.
2. Robustesse à l'Incertitude des Poids : Il développe des systèmes prédictifs robustes basés sur des boîtes d'incertitude de poids. Celles-ci fournissent des garanties de confiance en échantillon fini ou asymptotiques que l'enveloppe contient une CDF prédictive calibrée, l'épaisseur de l'enveloppe reflétant à la fois l'incertitude de l'échantillon fini et la mauvaise spécification des poids.
3. Algorithmes Efficaces et Validation Empirique : Il fournit des règles d'évaluation efficaces et des formes closes pour CBIN, CMCPS et CIDR. Il démontre empiriquement que le pondération sensible au décalage améliore les performances prédictives et préserve la calibration sous un décalage de covariable par rétroaction, tandis que la largeur de la bande quantifie efficacement l'incertitude épistémique.

4. Résultats Expérimentaux

4.1. Décalage de Covariable Synthétique

Des expériences ont été menées sur une tâche de régression en 5D avec décalage de covariables.

• Calibration : Les méthodes non pondérées ont significativement sous-couvert (couverture $\approx 0,83-0,88$ contre un nominal de $0,90$).
• Méthodes Pondérées : Le pondérage "Oracle" et le pondérage estimé ont restauré la couverture à des niveaux proches du nominal ($\approx 0,91-0,93$).
• Propagation de l'Incertitude : Le "CI weighting estimé" (utilisant la boîte d'incertitude) a été le plus conservateur, atteignant une couverture allant jusqu'à $\approx 0,97$. Cela s'est fait au prix d'un CRPS (Continuous Ranked Probability Score) légèrement plus élevé et de bandes plus larges, reflétant correctement l'incertitude épistémique supplémentaire due à l'estimation des poids.
• Taille de l'Échantillon : À mesure que la taille des échantillons d'entraînement et de calibration augmentait, les bandes conformes se resserraient, indiquant une réduction de l'incertitude épistémique.

4.2. Conception Biomoléculaire Pilotée par Rétroaction (Capsides AAV)

La méthode a été appliquée à la conception de l'encapsidation des capsides du virus adéno-associé (AAV), un scénario impliquant un Décalage de Covariable par Rétroaction (FCS) où les distributions de test sont conçues sur la base des prédictions du modèle.

• Configuration : Les distributions de test ont été générées avec divers paramètres de "température inverse" ($\lambda$), déplaçant la masse vers des séquences ayant une haute aptitude de packaging prédite.
• Performance : Le pondérage par importance a restauré une couverture proche du niveau nominal sur toute la gamme de décalages par rapport aux variantes non pondérées.
• Décalages Extrêmes : Au décalage le plus extrême ($\lambda=7$), les méthodes pondérées ont montré un CRPS légèrement moins bon et des bandes plus larges, cohérent avec un effondrement de la taille d'échantillon effective et une augmentation de l'incertitude épistémique.
• Fiabilité : Les procédures pondérées ont maintenu une bonne calibration pour les événements rares à haute valeur, confirmant leur utilité dans les contextes de conception à enjeux élevés.

5. Signification et Revendications

Le papier affirme établir la première garantie de calibration hors échantillon pour les prédicteurs de type Venn-Abers (un cas particulier de la régression distributionnelle conforme IDR) sous des décalages de distribution et une incertitude de poids au sein d'un cadre de systèmes prédictifs unifié.

Les auteurs soulignent que la largeur de la bande prédictive est une métrique informative de l'incertitude épistémique. Dans leur configuration sensible au décalage, la largeur de la bande capture à la fois l'incertitude de l'apprentissage de la distribution conditionnelle $Y|X$ et l'incertitude de l'estimation des poids de décalage. Cela permet aux praticiens de :

• Rapporter une prédiction représentative unique pour un usage courant.
• Rapporter simultanément des bornes impliquées par la bande sur des quantités pertinentes pour la décision (ex. : risques de queue) afin de garantir que les décisions sont robustes à l'incertitude épistémique.

Ce travail positionne les GCPS non pas simplement comme un habillage (wrapper) pour les scores de conformité, mais comme un cadre de calibration flexible pouvant envelopper toute procédure de régression distributionnelle calibrée en échantillon, étendant leur validité bien au-delà de l'hypothèse d'échangeabilité.

6. Limites

Les auteurs notent deux limites spécifiques :

1. Régions de Confiance Jointes : Le Théorème 2 exige que la boîte d'incertitude des poids soit une région de confiance conjointe valide pour les vrais poids. Dans les expériences, celle-ci a été construite de manière asymptotique via un modèle de propension ajusté.
2. Ensembles Actifs Fixes : Les enveloppes en forme close pour CBIN et CIDR supposent que l'ensemble actif (pour le binning) ou l'ordonnancement (pour l'IDR) est fixe à travers la boîte d'incertitude. Cela restreint les choix de binning et d'ordonnancement aux définitions établies avant le pondérage.